和你在一起
和你在一起 · 共 42 篇文章
[置顶] 说说IO(八)- 三分天下
DAS、SAN和NAS 为了满足人们不断扩大的需求,存储方案也是在发展的。而DAS、SAN、NAS直接反映这种反映了这种趋势。 单台主机 。在这种情况下,存储作为主机的一个或多个磁盘存在,这样局限性也是很明显的。由于受限于主机空间,一个主机只能装一块到几块硬盘,而硬盘空间时受限的,当磁盘满了以后,你不得不为主机更换更大空间的硬盘。 独立存储空间 。为了解决空间的问题,于是考虑把磁盘独立出来,于是有了DAS(Direct Attached Storage),即:直连存储。DAS就是一组磁盘的集合体,数据读取和写入等也都是由主机来控制。但是,随之而来,DAS又面临了一个他无法解决的问题——存储空…
2011-06-06 21:18 · java路上 · 评论(1)
[置顶] 说说IO(七)- RAID
Raid很基础,但是在存储系统中占据非常重要的地位,所有涉及存储的书籍都会提到RAID。RAID通过磁盘冗余的方式提高了可用性和可高性,一方面增加了数据读写速度,另一方面增加了数据的安全性。 RAID 0 对数据进行条带化。使用两个磁盘交替存放连续数据。因此可以实现并发读写,但带来的问题是如果一个磁盘损坏,另外一个磁盘的数据将失去意义。RAID 0最少需要2块盘。 RAID 1 对数据进行镜像。数据写入时,相同的数据同时写入两块盘。因此两个盘的数据完全一致,如果一块盘损坏,另外一块盘可以顶替使用,RAID 1带来了很好的可靠性。同时读的时候,数据可以从两个盘上进行读取。但是RAID 1带来的…
2011-03-01 21:33 · java路上 · 评论(0)
[置顶] 说说IO(六)- Driver & IO Channel
这部分值得一说的是多路径问题。IO部分的高可用性在整个应用系统中可以说是最关键的,应用层可以坏掉一两台机器没有问题,但是如果IO不通了,整个系统都没法使用。如图为一个典型的SAN网络,从主机到磁盘,所有路径上都提供了冗余,以备发生通路中断的情况。 OS配置了2块光纤卡,分别连不同交换机 SAN网络配置了2个交换机 存储配置了2个Controller,分别连不同交换机 如上图结构,由于存在两条路径,对于存储划分的一个空间,在OS端会看到两个(两块磁盘或者两个lun)。可怕的是,OS并不知道这两个东西对应的其实是一块空间,如果路径再多,则OS会看到更多。还是那句经典的话,“计算机中碰到的问题,往…
2011-03-01 21:32 · java路上 · 评论(0)
[置顶] 说说IO(五)- 逻辑卷管理
LVM(逻辑卷管理),位于操作系统和硬盘之间,LVM屏蔽了底层硬盘带来的复杂性。最简单的,LVM使得N块硬盘在OS看来成为一块硬盘,大大提高了系统可用性。 LVM的引入,使得文件系统和底层磁盘之间的关系变得更为灵活,而且更方便关系。LVM有以下特点: 统一进行磁盘管理。按需分配空间,提供动态扩展。 条带化(Striped) 镜像(mirrored) 快照(snapshot) LVM可以做动态磁盘扩展,想想看,当系统管理员发现应用空间不足时,敲两个命令就完成空间扩展,估计做梦都要笑醒:) LVM的磁盘管理方式 LVM中有几个很重要的概念: PV(physical volume) :物理卷。在L…
2011-02-20 21:09 · java路上 · 评论(1)
[置顶] 说说IO(四)- 文件系统
文件系统各有不同,其最主要的目标就是解决磁盘空间的管理问题,同时提供高效性、安全性。如果在分布式环境下,则有相应的分布式文件系统。Linux上有ext系列,Windows上有Fat和NTFS。如图为一个linux下文件系统的结构。 其中VFS(Virtual File System)是Linux Kernel文件系统的一个模块,简单看就是一个Adapter,对下屏蔽了下层不同文件系统之间的差异,对上为操作系统提供了统一的接口. 中间部分为各个不同文件系统的实现。 再往下是Buffer Cache和Driver。 文件系统的结构 各种文件系统实现方式不同,因此性能、管理性、可靠性等也有所不同。…
2011-01-09 21:33 · java路上 · 评论(1)
[置顶] 说说IO(三)- IO性能的重要指标
最重要的三个指标 IOPS IOPS,即每秒钟处理的IO请求数量。IOPS是随机访问类型业务(OLTP类)很重要的一个参考指标。 一块物理硬盘能提供多少IOPS? 从磁盘上进行数据读取时,比较重要的几个时间是: 寻址时间 (找到数据块的起始位置), 旋转时间 (等待磁盘旋转到数据块的起始位置), 传输时间 (读取数据的时间和返回的时间)。其中寻址时间是固定的(磁头定位到数据的存储的扇区即可),旋转时间受磁盘转速的影响,传输时间受数据量大小的影响和接口类型的影响(不用硬盘接口速度不同),但是在随机访问类业务中,他的时间也很少。因此,在硬盘接口相同的情况下,IOPS主要受限于寻址时间和传输时间。…
2010-12-26 12:45 · java路上 · 评论(3)
[置顶] 说说IO(二)- IO模型
这部分的东西在网络编程经常能看到,不过在所有IO处理中都是类似的。 IO请求的两个阶段 : 等待资源阶段 :IO请求一般需要请求特殊的资源(如磁盘、RAM、文件),当资源被上一个使用者使用没有被释放时,IO请求就会被阻塞,直到能够使用这个资源。 使用资源阶段 :真正进行数据接收和发生。 举例说就是 排队 和 服务。 在 等待数据 阶段,IO分为阻塞IO和非阻塞IO。 阻塞IO :资源不可用时,IO请求一直阻塞,直到反馈结果(有数据或超时)。 非阻塞IO :资源不可用时,IO请求离开返回,返回数据标识资源不可用 在 使用资源 阶段,IO分为同步IO和异步IO。 同步IO :应用阻塞在发送或接收…
2010-12-20 22:52 · java路上 · 评论(6)
[置顶] 说说IO(一)- IO的分层
IO性能对于一个系统的影响是至关重要的。一个系统经过多项优化以后,瓶颈往往落在数据库;而数据库经过多种优化以后,瓶颈最终会落到IO。而IO性能的发展,明显落后于CPU的发展。Memchached也好,NoSql也好,这些流行技术的背后都在直接或者间接地回避IO瓶颈,从而提高系统性能。 IO系统的分层: 三层结构 上图层次比较多,但总的就是三部分。 磁盘 (存储)、 VM (卷管理)和 文件系统 。专有名词不好理解,打个比方说:磁盘就相当于一块待用的空地;LVM相当于空地上的围墙(把空地划分成多个部分);文件系统则相当于每块空地上建的楼房(决定了有多少房间、房屋编号如何,能容纳多少人住);而房…
2010-12-20 22:06 · java路上 · 评论(7)
[转载]【外刊IT评论】你是一个产品
不久前的某一天,我突然得到了一个启示。我意识到用“程序员”和“雇员”这两个词来描述自己是很不充分的。我应该是个产品,而且你也是。如果你想发展你的职业生涯,你应该把你的职业生涯当作一个产品来开发。 你为了各种东西售卖自己:金钱,身份地位,做有兴趣的事情的机会,跟优秀人的共事的机会,等等。在这篇文章里,我将把这些都称作“回报”,但请不要以为回报只是指金钱。 供给和需求 就像一个产品,你也有供和需。你的供给就是你能为雇你的公司提供的东西。它可以是你的能够开发出一个漂亮的网站的能力。它可以是你的能够调配一个数据库的能力。它可以是你的比他人更能出色的完成任务的能力。你的供给是指你将要为雇你的公司提供的…
2010-12-22 21:06 · 评论(1)
淘宝iDataForum归来
今天参加了淘宝的iDataForum,收获不少。详细的PPT过段时间能发在 官方网站 上。 Topic 1:淘宝架构的变迁。 这个topic主要讲淘宝这几年数据库面临的一些问题以及问题的解决。下面的数据还是老一些的数据。 淘宝现在有 10亿种 商品。 小文件和图片加起来有 1000T CDN流量为 138G/s 13亿/天 (个人算了下,忙时3w~4w/s)的PV 读写比例大致为 10:1 单个核心DB(Oracle+IBM小机+EMC高端存储),处理数的SQL为 4w/s 用户中心的api请求数为 60亿次/天 search index,每秒增量build一次,每天全量build一次。bu…
2010-12-12 21:42 · java路上 · 评论(4)
一次诡异的调优
最近碰到的一个Java应用,费了半天劲还是没定位到是哪儿的问。发上来给大家看看,给点建议。 环境 DB Server:32core HPUX DB2 App Server * 2:8core HPUX WAS6.1 每个节点2个app 初次测试现象 WAS,DB2CPU均上不去,CPU、内存、磁盘、网络等都正常。 从loadrunner报告来看,有两个用例很奇怪,在16/24/50用户下,呈线性增长。根据经验,这两个用例可能存在资源争用,造成串行的地方。 检查DB2,正常,语句执行都很快,部分用例有锁,但与造成问题的两个用例无关。 第一次尝试:初步定位是WAS的问题,针对WAS进行排查。 关…
2010-10-24 14:06 · java路上 · 评论(3)
在云端
云计算有多热大家都知道,可是到底什么是“云”估计谁也说不清。就像云的变化多端、无形无像一样,不管是什么软件,都可以套上云的头衔,可是你又说不清他到底在哪儿云了?虚拟化、分布式、移动互联这些组成了云计算的特点,可是这些技术早在云计算出现之前早就有了,即便没有云计算,他们也会应运而生,云计算就是这些吗?我想也不是。 云计算常常被称为XaaS,X可以是Software,可以是Platform,可以是Infastructrue,也还有其他的。其实不管X怎么变,你会发现最后面的S总是不变,我想这不是巧合,这个S恰恰就代表了云计算的本质—— 云计算不是某种技术或者某些技术的集合,而是一种服务(Servi…
2010-09-02 22:41 · 随笔 · 评论(1)
流氓企鹅
看看这个 “ 英雄杀 ”,还有前几天的葫芦娃大战群妖,对于腾讯这种恬不知耻的抄袭,真是无语了。这个英雄杀里的人物能力、装备、锦囊、基本牌跟三国杀的设定都是一样,令人更无语的是,抄也就算了,但是连名字都懒得改一下,这算什么?? 腾讯就是从抄开始发家的,当它还是小公司的时候,这种抄袭可以理解,但是如今的腾讯可是中国首屈一指的互联网公司,而它还在抄,而且抄的都是无数小公司用实践换来的相对成熟的模式,难道腾讯就这么心安理得吗? 在互联网行业,抄其实没什么,关键看你是否能抄出自己的特色,三国杀也是从国外抄过来的,但是融入了中国文化;《僵尸》抄的是塔防游戏的模式,但是他的植物图鉴绝对是一个很好设定。相比…
2010-08-24 23:48 · 随笔 · 评论(3)
[转载]【外刊IT评论】不要放弃你的梦想
也许我很傻,但我宁愿犯傻,宁愿活在我的梦想里拼搏,也不要找出一堆的借口。金钱的利诱不会带来真正的成功,真正的成功来自于爱和热情。你必须爱你所做的事情,你必须对你所做的事有热情。失败并不可怕。可怕的是当你60岁时回首往事才发现“也许我应该给自己一次实现梦想的机会,也许我会成功的,也许我应该守住梦想”。 在生活的压力和梦想之间,你会如何选择呢?无论如何艰难,给自己一个实现梦想的机会,哪怕最后一败涂地,但至少无愧于心。 ====================我是分隔线============================ 原文链接 周末的时候我正准备和几个朋友打游戏,热身的过程中同一个不是很熟…
2010-08-10 17:19 · 随笔 · 评论(0)