1. 一:mycat中间件(做路由)
2. 二:分库,分区,分片,单库分表
3. 三:mysql集群
4. 四:大数据量在数据采集和数据分析都会遇到瓶颈
5. 五:存储引擎:mysun(数据量大的时候锁表) innodb
6. 六:单表数据量五千万,索引一般4-5位优
7. 七:主从(读写分离) 1主4从
8. 八:50万数据-加载到内存中-多线程写入(若无数据分析活业务逻辑)
9. 九:hive做存储 hbase修改操作效率高 sparksql做操作
10. 十:尽量读内存中数据,而不是磁盘
11. 十一:添加适当的索引,来提高效率
12. 十二:修改mysql中的配置参数
13. 十三:根据业务,近一个月的数据(查询效率)
14. 剩下的没有听完,等有机会,我会再进行补充的。
标签:数据分析,听大,神论,系统优化,索引,内存,数据量,mysql,数据
From: https://blog.51cto.com/u_16021118/6150889