我对企业级大数据的小小个人分析

好长时间没有写东西了，前几天去面试别人总是问我有没有处理过大数据的经验，说实话工作这3年来还真没有处理过太大的数据，呵呵。不过个人对企业级应用中数据库的处理大致是如下思考的(只是自己的遇见，欢迎高手拍砖)。

1、项目初期分析数据可能存储量，对可能存储大数据的数据进行垂直分表(把一个很多字段的表才分为多个小表，一定程度上遵循范式原则)。

2、对于冷数据(不经常改变的数据，但查询观看)可以考虑使用缓存技术。

3、对于日益增长的数据访问，可以使用数据库集群，双击热备。

优点：方便，风险低，基本上不需要改变原有程序代码。

缺点：数据库集群只是把读写分离了，但是数据表的数据还是会日益增长。

4、水平分表，比方说淘宝双十一这天可能一天就会产生几千万或者上亿的数据集，那么我们这里只考虑订单这个数据集，我们可以按照时间(小时为单位)按照一定算法(hash也好，还是自己杜撰的也罢)把一张大的订单表按照相同结构不同表名称(小时为单位弄出来一定规律的表名称)来分辨存储这莫多订单数据，比方这里弄了24张表。

优点：可以解决大数据问题。

缺点：对以前的项目数据访问层要做修改(表名称变了)，而且对于查询统计整个订单时候会有一定难度，如果不是24个表而是240个表，那我们要把这240个表全部查询一遍然后合并，可想而知噩梦啊。(这里还没有找到好的方法，请高手指点)

还有一点需要说明的是对Mysql引擎里面的MYISAM和INNODB。MYISAM在对表读写操作的时候会对表锁定，而INNODB只会对行锁定。所以这里我建议经常读取的表就用MYISAM,经常更新的表就用INNODB。还有一点就是INNODB支持对事物的处理。

下面是引用网上大神的一句话：

一般来说，MyISAM适合：
1、做很多count 的计算;
2、插入不频繁，查询非常频繁;
3、没有事务。InnoDB适合：(1)可靠性要求比较高，或者要求事务;(2)表更新和查询都相当的频繁，并且表锁定的机会比较大的情况。