今天参加了淘宝的iDataForum,收获不少。详细的PPT过段时间能发在官方网站上。
Topic 1:淘宝架构的变迁。
这个topic主要讲淘宝这几年数据库面临的一些问题以及问题的解决。下面的数据还是老一些的数据。
-
淘宝现在有10亿种商品。
-
小文件和图片加起来有1000T
-
CDN流量为138G/s
-
13亿/天(个人算了下,忙时3w~4w/s)的PV
-
读写比例大致为10:1
-
单个核心DB(Oracle+IBM小机+EMC高端存储),处理数的SQL为4w/s
-
用户中心的api请求数为60亿次/天
- search index,每秒增量build一次,每天全量build一次。build时间很快,因为数据分散到很多机器。
-
淘宝现在的核心DB数量小于10个,mysql库有500+个。这个数据很有意义,可以看到在这种业务量级下的服务器数量。还不包括应用服务器和CDN服务器。
- 使用Oracle Dataguard进行数据备份
- 淘宝原先是基于lamp构建,后改为java/Oracle等,现在又考虑把一些非核心的使用mysql进行替代。
-
Mysql和Oracle的关系是考虑读写分离,Oracle上主要负责数据存储和持久化,Mysql为读取库(Master-Slave方式)。数据同步时延小于200ms。
- 淘宝对数据进行了垂直拆分的方式,把数据划分为“用户中心”、“商品中心”、“交易中心”等。这种中心的方式,使得各个中心能够隔离,同时可以针对各部分进行优化。
- 中心的拆分带来的问题是完整数据可能需要从多个中心进行,淘宝使用了HFS(类似RPC方式,注重高效)负责各中心之间数据的交互。
- 淘宝正在研发自主的数据库OceanBase。一个很抢眼的特性是,能够把随机IO合并为顺序IO。
Topic 2:数据库性能模型与容量规划
提出了以响应时间为核心的规划思想,有点意思。hellodba的博主,之前看过他的blog,讲的也是这方面的,这次更透彻了。
- 数据库的时间模型,详见ppt吧。
- 影响IOPS的因素:磁盘转速,寻道时延
- 影响吞吐量的因素:磁盘转速,接口类型,内外部接口传输速率
-
Oracle的redolog:连续的随机IO。一个很贴切的说法。小于5ms是比较合理的。
-
Oracle的datalog:小于10ms是合理的。
-
对Oracle数据库而言,CPU和IO时间外的其他等待事件应该小于5%
Topic 3:NoSQL数据库研发之路
对应NoSQL个人了解不是太多,讲的又是ttserver这种具体的应用。没记下什么东西。感觉一直在说的一个问题是,NoSQL产品很多,各自特性不同,需要根据自己的业务特点来选取适合自己的产品。
Topic 4:淘宝分布式数据层的前世今生
一个很好的东西,解决了Oralce数据到MySQL数据的复制问题。
- 简称tddl
- 重写的JDBC部分,加入的数据复制、数据拆分的功能
- 接管了上层应用的SQL请求,由他负责进行和不同数据源交互
- 实现了基于自定义规则的数据拆分
- 使用了消息通知的异步方式进行数据复制(写入或更新成功后发送消息),由专门的服务器完成后续复制
分享到:
相关推荐
淘宝数据应用开发平台iData
NULL 博文链接:https://liuxinglanyue.iteye.com/blog/851951
7月10日iDataForum专场 iDataForum --- 主论坛 【9:30 - 10:30】 开场致辞 阳振坤/正祥(淘宝网) 【10:30 - 11:30】 开放环境下的数据管理 周晓方(澳大利亚昆士兰大学) 【11:00 - 12:00】 MySQL+SSD数据库优化...
2012年8月南方idata数据工厂说明书,南方iData数据工厂是广东南方数码科技有限公司结合近20年来在测绘和GIS领域软件开发的经验,历经三年时间自主研发的新一代一体化测绘数据生产、处理平台。
大数据云计算技术 淘宝网基于Hadoop的数据应用开发平台iData(共27页).rar
移动iData同步驱动,用于PDA终端连接电脑所用的驱动
广东南方数码科技股份有限公司的idata 3d测图版操作手册
用于idata的移动物联终端怎么样在项目中使用它的红外扫描枪的用
移动iData补丁,用于PDA移动终端所必须的
pda刷机工具,用于idata95w/v刷机,内含说明,使用看型号说明
本开发源码包主要是针对idata95扫描枪开发的源码包,里面包含通过iscan服务广播模式收集条码及二维码的全开发样例子。
背景——进入淘宝数据平台 数据规模 数据产品 总台架构 概览——数据应用开发架构 产品架构 技术架构 深入——关键服务介绍 知识库(元数据) 调度 数据集成 IDE 成本优化 生命周期 展望——数据创造未来
idata开发资料包,里面保护条码扫描的代码
iData 90机器原装wifi助手,支持信号强度、wifi信道分析、ping测试等辅助测试程序
idata手持终端如何恢复出厂设置的两个方法:机器内部设置恢复出厂设置和用按键恢复出厂设置
idata 组件是基于 Indy10 开发的, 由服务端作为中间层服务器,建立客户端与后台数据库的通信。 idata是高效、安全、稳定的数据访问组件,你可以构建自己的登录认证系统,同时数据传输(SQL指令、参数、数据集)是...
Primeton iDataTM为企业数据应用提供了基础能力,包括前端展现、ETL、作业调度等功能,...使用iData,可以让数据应用具备更绚丽的跨平台展现能力、更快速的数据集成开发能力、海量任务的自动化调度/监控与管理能力。
以A市精品旅游环线1∶2000地形图测绘项目的地形图成果为实验数据,阐述了基于两种数据平台—FME和iData数据工厂从MicroStation软件平台到iData数据工厂进行Dgn数据格式到MDB数据格式的无损转换;重点对iData数据工厂新...
Data 依然坚持使用开放的数据格式作为存储标准。我们不认为增加一种自我封 闭的数据格式作为技术壁垒是一件好事,所以 iData 使用插件式的数据读写接口。
广东南方数码科技股份有限公司的idata数据工厂三调版用户手册,共621页