Skip to main content

moregeek program

RAID5和RAID10,哪种RAID更适合你(下)-多极客编程

本文将接续上篇,继续从RAID原理来分析存储系统的瓶颈。    我们知道,在存储系统的采购过程中,厂商往往能够提供漂亮的性能参数,但实际运行中,该系统的实际性能表现并不能达到我们所期望的状态,那么在运行环境中存储系统的实际性能究竟受哪些环节和瓶颈的影响呢?    之所以要和大家来讨论这个问题,是因为在本人的工作中曾遇到一个实际的Case,在这个case中,一个恢复压力很大的standby(这里主要

Read More

RAID5和RAID10,哪种RAID更适合你(上)-多极客编程

存储是目前IT产业发展的一大热点,而RAID技术是构造高性能、海量存储的基础技术,也是构建网络存储的基础技术。专家认为,磁盘阵列的性能优势得益于磁盘运行的并行性,提高设备运行并行度可以提高磁盘的性能和数据安全性。    20年来,RAID 推出了一系列级别,包括RAID 0、RAID 1、RAID 2、RAID 3、RAID4、RAID 5,以及各种组合如 RAID 0+1 等。其中最广泛的包括R

Read More

容灾案例-多极客编程

XX医院网络系统容灾方案 一、项目背景 XX医院院作为XX市城东地区唯一大型综合性医院,鉴于医疗卫生机构在信息化方面的要求,我们发现,本院信息化安全保障方面已经不能满足医疗要求。 机房内除HIS数据服务器外均无冗余,HIS数据服务器也仅是2台IBM3650做了群集,共用一个磁盘阵列,一台发生故障后另外一台可以在短时间内启用。这样做存在一个非常严重的安全隐患,群集中存在单点连接,一旦磁盘柜出现问题,

Read More

Cassandra和HBase主要设计思路对比-多极客编程

CassandraHBase一致性QuorumNRW策略 通过Gossip协议同步MerkleTree,维护集群节点间的数据一致性单节点,无复制,强一致性可用性1,基于ConsistentHash相邻节点复制数据,数据存在于多个节点,无单点故障。 2,某节点宕机,hash到该节点的新数据自动路由到下一节点做hintedhandoff,源节点恢复后,推送回源节点。3,通过Gossip协议维护集群所有

Read More

HBase二级索引与Join-多极客编程

分享按钮二级索引与索引Join是多数业务系统要求存储引擎提供的基本特性,RDBMS早已支持,NOSQL阵营也在摸索着符合自身特点的最佳解决方案。这篇文章会以HBase做为对象来讨论如何基于Hbase构建二级索引与实现索引join。文末同时会列出目前已知的包括0.19.3版secondaryindex,ITHbase,Facebook方案和官方Coprocessor的介绍。理论目标在HBase中实现

Read More

也来玩玩MongoDB-多极客编程

最近NoSQL(或者NoRelation)很火,咱不想Out了,所以也来凑凑热闹。概念、优点之类的东西就不在这里重复啰嗦了,直接动手玩一下。MongoDB(包括Java驱动)的官方文档写得不够认真,连个最普通的CRUD例子都没有,看过网站上那篇“Java–SavingObjectsUsingDBObject”文章的人肯定被气晕了。。。安装:1)下载MongoDB数据库(这里使用Windows32b

Read More

海量存储系列之四-多极客编程

上一篇事务原理http://aliapp.blog.51cto.com/blog/8192229/1325423单机事务:其实在上面介绍ACID的时候我们已经提到了一种最简单的实现方式,就是锁的实现方式。从原理来看,事务是个变态而复杂的事情。其实如果是序列化的话呢,那么实现起来一定是非常简单的。但问题就在于,这样性能实在比较低,于是,就有了非常多的方案,为了能哪怕减少一个地方的锁,或者降低一个地方

Read More

海量存储系列之七-多极客编程

http://aliapp.blog.51cto.com/blog/8192229/1327609上一篇在上一个章节,我们阐述了分布式场景下,事务的问题和一些可能的处理方式后,我们来到了下一章节Key-value存储这一章,我们将进入k-v场景,其实,在大部分场景下,如果某个产品宣称自己的写读tps超过其他存储n倍,一般来说都是从k-v这个角度入手进行优化的,主要入手的点是树的数据结构优化和锁的细

Read More

海量存储系列之八-多极客编程

http://aliapp.blog.51cto.com/blog/8192229/1325406上一篇首先来回答一个问题:为什么在磁盘中要使用b+树来进行文件存储呢?原因还是因为树的高度低得缘故,磁盘本身是一个顺序读写快,随机读写慢的系统,那么如果想高效的从磁盘中找到数据,势必需要满足一个最重要的条件:减少寻道次数。我们以平衡树为例进行对比,就会发现问题所在了:先上个图这是个平衡树,可以看到基本

Read More

数据映射–有序数组-多极客编程

一般来说,如果你希望数据能够被快速的找到,那么最主要的两种技术手段就是二分查找,或者使用Hash函数。今天来介绍一个最简单的数据结构,有序数组来组织的二分查找,当然,我的主要目标是介绍前人解决问题的思路,而非算法本身,所以不会尝试用比较难理解的公式和伪码来描述问题。使用二分查找的前提条件是:1.数据能够按照某种条件进行排序,比如S={0,1,2,3,4,5,6,7,100,101,102}就是排好

Read More

数据映射–平衡二叉有序树-多极客编程

上次我们提到了使用有序的数组来进行二分查找,从而提高映射查询的效率,使时间复杂度从O(n)降低到O(log2N).本周让我来介绍一下二叉树。一谈到二叉树,相信很多人一定会有一个疑问:这玩意儿有什么用?(当然这么多人里面肯定包括大学时候的我--)其实,我个人觉得这并不怪我们,是教科书写的有点问题,开始的时候没有给到大家明确的学习意义,开始就去讲如何遍历,如何从树变森林,如何做树的前序中序后序遍历。但

Read More

redis主从同步修复-多极客编程

Redis从端无法从主端同步数据,在日志中有如下报错信息:找了一份2.6.16的源码,根据错误信息,定位到如下代码:根据以上代码,到Redis主端执行BGSAVE,会报如下错误信息:由此可以判定,是由于Redis主端无法写入落地文件导致,于是查看Redis主端的日志:查阅相关资料,做如下操作:1、执行Redis命令config set stop-writes-on-bgsave-error no2

Read More

阿里巴巴MySQL DBA面试题-多极客编程

1、MySQL的复制原理以及流程(1)、先问基本原理流程,3个线程以及之间的关联;(2)、再问一致性延时性,数据恢复;(3)、再问各种工作遇到的复制bug的解决方法。2、MySQL中myisam与innodb的区别,至少5点(1)、问5点不同;(2)、问各种不同mysql版本的2者的改进;(3)、2者的索引的实现方式。3、问MySQL中varchar与char的区别以及varchar(50)中的3

Read More

存储lun概念介绍【转自ITPUB舍得】-多极客编程

a、lun的概念     lun的全称是logical unit number,也就是逻辑单元号。我们知道scsi总线上可挂接的设备数量是有限的,一般为6个或者15个,我们可以用target ID(也有称为scsi id的)来描述这些设备,设备只要一加入系统,就有一个代号,我们在区别设备的时候,只要说几号几号就ok了。     而实际上我们需要用来描述的对象,是远远超过该数字的,于是我们

Read More

存储-RAID简介-多极客编程

    RAID – Redundant Array of Inexpensive Disks将多块硬盘分组虚拟成一个单独的硬盘,使其得到更大的空间,更快的速度以及更高的实用性。如下图所示:  RAID的优势是:容量、可管理性、性能优势、可靠性等。  RAID的级别:  1.RAID0:一个系统上层IO对多个磁盘进行同时读写,提供最快读写速度,无校验。要求至少两个磁盘。特征为周伯通的左右互搏

Read More

symantec backup exec中编录与列清单的含义-多极客编程

编录:即catalog,就是让磁带机读取磁带之前所备份过的内容的目录列表,可以让你知道之前做过什么备份。像从 a server 备份的磁带 , 拿去 b server 恢复时就要去做 catalog, 就是去找磁带里头的所有数据 , 要花比较多时间列清单:inventory,跟编录是不同,inventory是查询磁带机(磁带库)内有些什么磁带(一般是读取磁带索引或者从备份软件里读取数据库跟条形码对

Read More

Symantec Backup exec 使用心得-多极客编程

使用Backup Exec11d有一段时间了,对于学习的过程,可谓喜忧参半。刚拿到产品和LTO3磁带机时,硬件的安装倒很轻松,软件安装的过程却因为授权的问题折腾了我好几天,Backup Exec的安装序列号,每张光盘上都有,我一共收到了五张光盘,并且每张上面都有重复的Anget授权,而且SN号都不一样,结果到最后实在没有办法了,将所有的SN号都录入才解决60天试用的问题。对于初学者,洋洋洒洒的千多

Read More

差异备份与增量备份-多极客编程

差异备份与增量备份差异备份的定义:备份自上一次完全备份之后有变化的数据。增量备份的定义:备份自上一次备份(包含完全备份、差异备份、增量备份)之后有变化的数据。增量备份和差异备份的区别:完全备份:备份全部选中的文件夹,并不依赖文件的存档属性来确定备份那些文件。(在备份过程中,任何现有的标记都被清除,每个文件都被标记为已备份,换言之,清除存档属性)。差异备份:差异备份是针对完全备份:备份上一次的完全备

Read More

xtrabackup原理及实施-多极客编程

转载于:http://www.baidu-ops.com/2013/05/26/xtrabackup/ xtrabackup是基于InnoDB存储引擎灾难恢复的。它复制InnoDB的数据文件,尽管数据文件在内部是非一致性的,但在执行灾难恢复时可以保证这些数据文件是一致的,并且可用。官方原理 在InnoDB内部会维护一个redo日志文件,我们也可以叫做事务日志文件。事务日志会存储每一个InnoD

Read More

linux下scsi_id和start_udev命令-多极客编程

Linux下scsi_id命令Retrieve and generate a unique SCSIidentifier检索和生成一个独一无二的SCSI标示符Query a SCSI device via the SISI inquiryvital product data ,use the data to generate a value that is unique across allSCS

Read More