首页 > 其他分享 >听大神论系统优化

听大神论系统优化

时间:2023-03-26 22:03:03浏览次数:41  
标签:数据分析 听大 神论 系统优化 索引 内存 数据量 mysql 数据

1. 一:mycat中间件(做路由)
2.  二:分库,分区,分片,单库分表
3.  三:mysql集群
4.  四:大数据量在数据采集和数据分析都会遇到瓶颈
5.  五:存储引擎:mysun(数据量大的时候锁表) innodb
6.  六:单表数据量五千万,索引一般4-5位优
7.  七:主从(读写分离) 1主4从
8.  八:50万数据-加载到内存中-多线程写入(若无数据分析活业务逻辑)
9.  九:hive做存储 hbase修改操作效率高 sparksql做操作
10.  十:尽量读内存中数据,而不是磁盘
11.  十一:添加适当的索引,来提高效率
12.  十二:修改mysql中的配置参数
13.  十三:根据业务,近一个月的数据(查询效率)
14.  剩下的没有听完,等有机会,我会再进行补充的。

标签:数据分析,听大,神论,系统优化,索引,内存,数据量,mysql,数据
From: https://blog.51cto.com/u_16021118/6150889

相关文章

  • 老系统优化方案
    前言:接手一个老系统,我们可以从哪些方面去思考如何优化呢?参考链接:常见性能优化策略的总结,作者:美团技术团队 首先,需要了解项目背景,以及优化诉求; 再次,分析问......
  • 朴素系统优化思维的实践
    作者:京东物流严孝男一、问题去年年中时候,我有个好朋友(可以叫他华哥)顶着当时还很严重的疫情形式激情创业,斥巨资承包了他原公司食堂的几个摊位,摇身一变成了老板。当了老板......
  • JVM系统优化实践(10):G1混合回收
    您好,我是湘王,这是我的51CTO博客,欢迎您来,欢迎您再来~G1替代了ParNew+CMS这对搭档组合,既能实现年轻代的垃圾回收,也能实现老年代的垃圾回收。现在继续来说说它的混合回收问题。......
  • 信息系统优化、解构、逆向的建议
    信息系统优化、解构、逆向是一种分析和改进信息系统的方法。下面我将分别介绍它们的基本思路和方法。1,信息系统优化信息系统优化是指通过对系统进行分析和改进,以提高其......
  • JVM系统优化实践(7):垃圾回收器与垃圾回收算法
    您好,我是湘王,这是我的51CTO博客,欢迎您来,欢迎您再来~上回说到了年轻代、老年代与数据计算的一个案例。接下来就先讲一讲年轻代和老年代的两个垃圾回收器:ParNew和CMS。和Serial......
  • JVM系统优化实践(6):年轻代、老年代与数据计算
    您好,我是湘王,这是我的51CTO博客,欢迎您来,欢迎您再来~上回说道如果当前Survivor区中年龄相同的一批对象总大小≥Survivor总数×50%,那么这批对象及比它们年龄更大的对象,就都......
  • mac上好用10款系统优化软件
    如果你是一名Mac用户,那么你一定希望自己的电脑运行得更加流畅和高效。为了达到这个目的,系统优化软件是必不可少的工具。下面介绍了10款Mac上好用的系统优化软件。1......
  • JVM系统优化实践(5):什么时候GC以及有哪些GC
    您好,我是湘王,这是我的51CTO博客,欢迎您来,欢迎您再来~既然程序运行会产生大量的废弃物,也就是「垃圾」,那总不能一直堆着不管吧。现在就来粗浅地谈谈Java里面什么时候会触发GC以......
  • chatGPT在电力系统优化领域的初步测评
    最近终于有时间初步尝试了一下chatGPT,感觉还是很令人吃惊。综合以下几个方面进行评估:知识范围:十分广,基本上电力系统的很多知识都有所了解。表达能力:较强,比较清晰完整。数......
  • JVM系统优化实践(5):什么时候GC以及有哪些GC
    您好,我是湘王,这是我的博客园,欢迎您来,欢迎您再来~   既然程序运行会产生大量的废弃物,也就是「垃圾」,那总不能一直堆着不管吧。现在就来粗浅地谈谈Java里面什么时候会......