首页 > 其他分享 >高频数据收集

高频数据收集

时间:2023-03-09 13:44:42浏览次数:48  
标签:收集 查询 MySQL HBase 高频 数据 埋点 ES

日活用户高达 500 万,基于现有业务模式,业务侧要求我们根据用户的行为做埋点,旨在记录用户在特定页面的所有行为、开展数据分析与第三方进行费用结算

 

 

 

 

 

 技术选型思路

原始数据海量: 对于这点,我们初步考虑使用 HBase 进行持久化

后台查询原始数据: 如果使用 HBase 直接作为查询引擎,查询速度太慢了,所以我们还需要使用 ES 来保存查询页面上作为查询条件的字段和活动 id。

根据埋点日志生成费用结算数据: 我们将费用结算数据保存在 MySQL 中。

需要一个框架将缓存中的数据进行处理,并保存到 ES、HBase 和 MySQL 中。 因为业务有准实时查询的需求,所以我们需要使用实时处理工具。目前,市面上流行的实时处理工具主要分为 Storm、Spark Streaming、Apache Flink 这三种

 

标签:收集,查询,MySQL,HBase,高频,数据,埋点,ES
From: https://www.cnblogs.com/jiaozg/p/17198054.html

相关文章

  • 数据挖掘(2.2)--数据预处理
    目录​​二、数据描述​​​​1.描述数据中心趋势​​​​1.1平均值和截断均值 ​​​​1.2加权平均值​​​​1.3中位数(Median)和众数(Mode)​​​​2.描述数据的分散程度......
  • Java数据类型详解
    Java数据类型详解基本数据类型(8种)整数类型byte1个字节-128-127short2个字节负的3万多到正的三万多-32768-32767int4个字节负的20多亿到正的20多亿......
  • uniapp使用push新增数据
    uniapp使用push在数组的末尾新增元素push在数组的末尾增加一个元素,一次可以增加多个。var_self;exportdefault{data(){return{List:[......
  • Django当中的数据库查询优化
    了解Django框架中进行数据查询优化,需要了解几点:1.查询集是惰性的,这意味着在你对查询集执行某些操作(例如对其进行迭代)之前,不会发出相应的数据库请求;2.始终通过指定要返回......
  • Redis基本数据类型
    Redis数据类型Redis与其他Key-Value型数据库相比,支持更多的数据类型,如string、hash、list、set、zset。类型简介特性场景String二进制安全可以包含任何数据......
  • 数据源配置
    spring:#数据源配置datasource:type:com.alibaba.druid.pool.DruidDataSourcedriver-class-name:com.mysql.cj.jdbc.Driverurl:jdbc:mysql://127.0.0.......
  • mysql 数据库小工具: 小写转大写
    SELECTconcat( 'renametable',TABLE_NAME,'to',UCASE(TABLE_NAME),';')AS'修改脚本sql'FROMinformation_schema.TABLEStWHERETABLE_SCHEMA='newal......
  • ES6-ES11 ES6模块 暴露数据 & 引入模块数据 语法汇总
    index.html<!DOCTYPEhtml><htmllang="en"><head><metacharset="UTF-8"><metaname="viewport"content="width=device-width,initial-scale=1.0"><t......
  • MegEngine 使用小技巧:借助 DataLoader 获取分批数据
    在使用MegEngine进行模型训练时,首先要进行的是数据加载和预处理。在此过程中,MegEngine中的megengine.data模块,提供了数据分批功能,其内部实现流程如下图:通过使用Datal......
  • utils&js - 判断数据类型
    utils&js-判断数据类型/***判断文件**如果你需要类型判断,请不要再使用Object.prototype.toString.call()方法*直接调用我们下方封装好的is函数即可*我......