在大数据开发从业人员中相信很多涉及的工作内容以离线计算居多，对数据是怎么采集的，如何采集，数据结构该设计没有清晰的了解
在查阅相关数据产品后发现了某开源的SDK，数据模型设计非常的巧妙，支持全量埋点和自定义埋点数据采集，本接口经过相关测试，已可兼容该SDK采集数据
后续可接入Flume、Flink、Spark、Hive等相关大数据进行数据分析，希望能帮助企业快速搭建大数据分析平台
本接口项目基于openresty开发
该代码进行了初略的性能测试，在400QPS下，8C32G服务器CPU占用仅10%左右，消息数据采用异步提交，在单机压力在4000QPS情况下不需要通过日志轮转的形式去采集数据
项目地址：https://gitee.com/shenglx/big-data-acquisition
如有侵权请联系处理
标签：知识点,只会,离线,采集,埋点,数据,SDK From： https://www.cnblogs.com/sixclub/p/16875825.html