首页 > 其他分享 >大数据技术常见的几种应用架构

大数据技术常见的几种应用架构

时间:2024-09-13 23:25:42浏览次数:7  
标签:架构 收集 推荐 常见 实时 几种 日志 数据

1、离线计算

T+1离线分析的一种经典架构:

1、利用Flume从应用中收集用户行为日志;

2、将用户行为日志存储在HDFS当中;

3、利用Hive将SQL翻译为MapReduce可以处理的作业;

4、在作业中再批处理的结果写入到数据库当中存储;

5、再从数据库当中查询出我们的报表数据。 

 

2、实时计算

T+0实时计算的一种经典架构:

1、利用Kafka收集用户日志(如果物联网的话,采用MQTT收集数据,可能将存入Clickhouse);

2、再利用Flink完成流式实时计算;

3、Flink再将计算结果写入分布式存储系统(如HBase、ElasticSearch)

3、实时推荐

T+0实时推荐系统的一种经典架构:

1、先收集用户的行为数据;

2、再将数据存入推荐算法模型所需要的存储系统当中;

3、利用推荐算法模型完成实时推荐。

 

标签:架构,收集,推荐,常见,实时,几种,日志,数据
From: https://www.cnblogs.com/lhrogerluo/p/18413086

相关文章

  • 在arm64 架构上安装dotnet 8.0.8 LTS
    树莓派4B是arm64的。在arm64上面运行aptlistdotnet是不会出来可用的dotnet的,即使aptupdate多次也一样。 好在dotnet本身是支持arm/arm64架构的,只是安装的时候不能使用apt罢了。那么久使用scripts来进行安装好了。 wget下载到本地之后,先chmod+x,就我自己的体验......
  • 8、【实战中提升自己】华为 华三中小型企业网络架构搭建 【无线架构之三层漫游】
     1 拓扑与说明         某公司的网络架构,这样的架构在目前的网络中是在常见的,假设您接收一个这样的网络,应该如何部署,该实战系列,就是一步一步讲解,如何规划、设计、部署这样一个环境,这里会针对不同的情况给出不同的讲解,比如拓扑中有2个ISP,假设客户需求是,想实现主备的......
  • 自然语言处理系列六十八》搜索引擎项目实战》搜索引擎系统架构设计
    注:此文章内容均节选自充电了么创始人,CEO兼CTO陈敬雷老师的新书《自然语言处理原理与实战》(人工智能科学与技术丛书)【陈敬雷编著】【清华大学出版社】文章目录自然语言处理系列六十八搜索引擎项目实战》搜索引擎系统架构设计搜索引擎项目代码实战总结自然语言处理系......
  • 计算机毕业设计-基于Java+SSM架构的演唱会购票系统项目开发实战(附源码+论文)
    大家好!我是职场程序猿,感谢您阅读本文,欢迎一键三连哦。......
  • 2024Mysql And Redis基础与进阶操作系列(7)作者——LJS[含MySQL 聚合、数学、字符创、日
    目录MySQL函数1.聚合函数 格式补充 示例将所有员工的名字合并成一行指定分隔符合并指定排序方式和分隔符2.数学函数(即用即查,重在融会贯通与运用)3.字符串函数(即用即查,重在融会贯通与运用)4.日期函数(即用即查,重在融会贯通与运用)5.控制流函数(即用即查,重在融会贯通与运用)if逻辑判......
  • 百度扩容常见问题及解决办法分享
    文章目录概要一:不开通SVIP直接扩容二:扩容多少合适?是否可以无限扩容?三:扩容过程中速度很慢的原因?四:文件扫描卡顿问题五:占位符不小心被删除怎么办?六:爆盘后的处理方式七:封号后的应对方法八:占位符文件夹自动移动问题九:扩容空间是否永久存在?概要百度扩容常......
  • 吊打面试官!从多维度理解架构
    大家好,我是汤师爷~在工作当中,我们经常会听到以下说法:产品负责人说,现在的业务架构太复杂,需要仔细梳理下。技术领导说,这个项目很复杂,需要做下系统架构方案评审。研发经理说,这次秒杀活动访问量非常大,需要用到高并发架构方案。一线研发说,互联网大厂都会用到微服务架构,我要学学微......
  • 架构师备考的一些思考(四)
    前言对于数学,我们之前学的是对的,但不是真的,所以我们没有数学思维。对于计算机,我们学校教的是对的,但不是真的,所以仅仅从学校学习知识的应届毕业生,不论985,211,本科,专科都一样,都是一张白纸,啥也不会。案例分析案例分析是5选3,第一题必答。问题一的类型架构风格对比问题二的类型......
  • 全面掌握信息架构:数字化转型的最佳实践与应用指南
    在全球化和信息化高度发展的今天,企业正面临前所未有的挑战与机遇数字化转型已成为各大企业保持竞争力的必由之路,而成功的数字化转型离不开稳健且灵活的信息架构。《信息架构:商业智能&分析与元数据管理参考模型》正是一本为企业提供全方位信息架构指导的权威书籍。《信息架构:商......
  • QA处理训练数据常见的4种方法
       大语言模型训练需要数万亿的各类型数据。如何构造海量“高质量”数据对于大语言模型的训练具有至关重要的作用。构造高质量的训练数据就是QA同学的头等大事,截止到目前,还没有非常好的大模型的理论分析和解释,也缺乏对语言模型训练数据的严格说明和定义。   预训......