【系统架构设计师】案例专题六（8大系统架构设计之8）： 大数据架构设计考点梳理

更多内容请见： 备考系统架构设计师-核心总结目录

文章目录

• • 一、传统数据处理系统存在的问题
  • 二、大数据处理系统架构分析
  • • 1、大数据处理系统面临挑战
    • 2、大数据处理系统架构特征
  • 三、Lambda架构
  • • 1、Lambda架构对大数据处理系统的理解
    • 2、Lambda架构应用场景
    • 3、Lambda架构介绍
    • 4、Lambda架构的实现
    • 5、Lambda架构优缺点
    • 6、Lambda与其他架构模式对比
  • 四、Kappa架构
  • • 1、Kappa架构下对大数据处理系统的理解
    • 2、Kappa架构介绍
    • 3、Kappa架构的实现
    • 4、Kappa架构的优缺点
    • 5、常见Kappa架构变形
  • 五、Lambda架构与Kappa架构的对比和设计选择
  • • 1、Lambda架构与Kappa架构的特性对比
    • 2、Lambda架构与Kappa架构的设计选择
  • 六、大数据架构设计案例分析
  • • 1、Lambda架构在某网奥运中的大数据应用
    • 2、Lambda架构在某网广告平台的应用与演进
    • 3、某证券公司大数据系统
    • 4、某电商智能决策大数据系统

一、传统数据处理系统存在的问题

1.传统数据库的数据过载问题
传统应用的数据系统架构设计时，应用直接访问数据库系统。当用户访问量增加时，数据库无法支撑日益增长的用户请求的负载，从而导致数据库服务器无法及时响应用户请求，出现超时的错误。关于这个问题的常用解决方法如下:

• (1)增加异步处理队列，通过工作处理层批量处理异步处理队列中的数据修改请求。
• (2)建立数据库水平分区，通常建立 Key 分区，以主键/唯一键 Hash 值作为 Key。
• (3)建立数据库分片或重新分片，通常专门编写脚本来自动完成，且要进行充分测试。
• (4)引入读写分离技术，主数据库处理写请求，通过复制机制分发至从数据库。
• (5)引入分库分表技术，按照业务上下文边界拆分数据组织结构，拆分单数据库压力。