1、离线计算
T+1离线分析的一种经典架构:
1、利用Flume从应用中收集用户行为日志;
2、将用户行为日志存储在HDFS当中;
3、利用Hive将SQL翻译为MapReduce可以处理的作业;
4、在作业中再批处理的结果写入到数据库当中存储;
5、再从数据库当中查询出我们的报表数据。
2、实时计算
T+0实时计算的一种经典架构:
1、利用Kafka收集用户日志(如果物联网的话,采用MQTT收集数据,可能将存入Clickhouse);
2、再利用Flink完成流式实时计算;
3、Flink再将计算结果写入分布式存储系统(如HBase、ElasticSearch)
3、实时推荐
T+0实时推荐系统的一种经典架构:
1、先收集用户的行为数据;
2、再将数据存入推荐算法模型所需要的存储系统当中;
3、利用推荐算法模型完成实时推荐。
标签:架构,收集,推荐,常见,实时,几种,日志,数据 From: https://www.cnblogs.com/lhrogerluo/p/18413086