首页 > 其他分享 >在线教育数仓项目(数据采集部分1)

在线教育数仓项目(数据采集部分1)

时间：2024-07-28 18:27:10浏览次数：13  
标签：数仓 item 采集 在线教育 course yudan hadoop102 type id

文章目录

数据仓库概念

数据仓库（ Data Warehouse ），是为企业制定决策，提供数据支持的。可以帮助企业改进业务流程、提高产品质量等。

数据仓库的输入数据通常包括：业务数据、用户行为数据和爬虫数据等

业务数据：就是各行业在处理事务过程中产生的数据。比如用户在网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据。业务数据通常存储在MySQL、Oracle等数据库中。

用户行为数据：用户在使用产品过程中，通过埋点收集与客户端产品交互过程中产生的数据，并发往日志服务器进行保存。比如页面浏览、点击、停留、评论、点赞、收藏等。用户行为数据通常存储在日志文件中。

爬虫数据：通常是通过技术手段获取其他公司网站的数据。

项目需求及架构设计

项目需求分析

1）采集平台
（1）用户行为数据采集平台搭建
（2）业务数据采集平台搭建

2）离线需求
在这里插入图片描述
3）实时需求
在这里插入图片描述

系统数据流程设计

在这里插入图片描述

框架版本选型

在这里插入图片描述

集群规模估算

在这里插入图片描述

集群资源规划设计

下面是根据您提供的信息转换成的Markdown表格：

服务名称子服务hadoop102hadoop103hadoop104
hadoop102服务器√--
hadoop103服务器-√-
hadoop104服务器---
HDFSNameNode√--
HDFSDataNode√√√
HDFSSecondaryNameNode--√
YarnNodeManager√√√
YarnResourcemanager-√-
ZookeeperZookeeper Server√√√
Flume（采集日志）Flume√√-
KafkaKafka√√√
Flume（消费Kafka日志）Flume--√
Flume（消费Kafka业务）Flume--√
Hive√√√
MySQLMySQL√--
DataX√√√
Spark√√√
DolphinSchedulerApiApplicationServer√--
DolphinSchedulerAlertServer√--
DolphinSchedulerMasterServer√--
DolphinSchedulerWorkerServer√√√
DolphinSchedulerLoggerServer√√√
SupersetSuperset√--
服务数总计161112

数据生成模块

目标数据

我们要收集和分析的数据主要包括页面数据、事件数据、曝光数据、启动数据、播放数据和错误数据。

页面

页面数据主要记录一个页面的用户访问情况，包括访问时间、停留时间、页面路径等信息。

1）日志范例如下

{
  "actions": [
…
  ],
  "common": {
…
  },
  "displays": [
    …
  ],
  "page": {
    "during_time": 11622,
    "item": "57",
    "item_type": "course_id",
    "last_page_id": "course_list",
    "page_id": "course_detail"
  },
  "ts": 1645529967261
}

2）所有页面类型如下：

home("首页")
course_list("列表页")
course_detail("商品详情")
chapter_video("章节视频")
cart("购物车")
order("下单结算")
payment("支付页面")
exam("考试")
mine("我的")

3）所有页面对象类型如下：

course_id("课程Id")
keyword("搜索关键词")
video_id("视频id")
chapter_id("章节id")
coupon_id("购物券id")
order_id("订单id")
paper_id("考卷id")
exam_id("考试id")

事件

事件数据主要记录应用内一个具体操作行为，包括操作类型、操作对象、操作对象描述等信息。

1）日志范例：

{
  "actions": [
    {
      "action_id": "favor_add",
      "item": "57",
      "item_type": "course_id",
      "ts": 1645529967261
    },
    {
      "action_id": "cart_add",
      "item": "57",
      "item_type": "course_id",
      "ts": 1645529967261
    }
  ],
  "common": {
…
  },
  "displays": [
…
  ],
  "page": {
…
  },
  "ts": 1645529967261
}

注：对于下单、支付等业务数据，可从业务数据库获取。

2）所有动作类型如下

favor_add（新增收藏）
review_add（新增课程评价）
comment_add（新增章节评价）
cart_add（加购物车）

3）所有动作目标类型如下：

course_id("课程Id")
keyword("搜索关键词")
video_id("视频id")
chapter_id("章节id")
coupon_id("购物券id")
order_id("订单id")
paper_id("考卷id")
exam_id("考试id")

曝光

曝光数据主要记录页面所展示的内容，包括曝光对象，曝光类型等信息。

1）曝光日志范例：

{
  "actions": [
    …
  ],
  "common": {
    …
  },
  "displays": [
    {
      "display_type": "query",
      "item": "6",
      "item_type": "course_id",
      "order": 1,
      "pos_id": 4
    },
    {
      "display_type": "query",
      "item": "8",
      "item_type": "course_id",
      "order": 2,
      "pos_id": 5
    },
    {
      "display_type": "query",
      "item": "1",
      "item_type": "course_id",
      "order": 3,
      "pos_id": 4
    },
    {
      "display_type": "query",
      "item": "10",
      "item_type": "course_id",
      "order": 4,
      "pos_id": 1
    },
    {
      "display_type": "promotion",
      "item": "4",
      "item_type": "course_id",
      "order": 5,
      "pos_id": 4
    },
    {
      "display_type": "promotion",
      "item": "4",
      "item_type": "course_id",
      "order": 6,
      "pos_id": 4
    },
    {
      "display_type": "query",
      "item": "9",
      "item_type": "course_id",
      "order": 7,
      "pos_id": 1
    }
  ],
  "page": {
    …
  },
  "ts": 1645529967261
}

2）所有曝光类型如下：

promotion("商品推广")
recommend("算法推荐商品")
query("查询结果商品")
activity("促销活动")

3）所有曝光对象类型如下：

course_id("课程Id")
keyword("搜索关键词")
video_id("视频id")
chapter_id("章节id")
coupon_id("购物券id")
order_id("订单id")
paper_id("考卷id")
exam_id("考试id")

启动

启动数据记录应用的启动信息。

1）启动日志范例:

{
  "common": {
    …
  },
  "start": {
    "entry": "notice",
    "first_open": 0,
    "loading_time": 17970,
    "open_ad_id": 20,
    "open_ad_ms": 2876,
    "open_ad_skip_ms": 0
  },
  "ts": 1645532980257
}

2）所有启动入口类型如下：

icon("图标"),
notice("通知"),
install("安装后启动");

播放

播放日志记录播放信息。

1）播放日志范例：

{
  "appVideo": {
    "play_sec": 19,
    "video_id": "3904"
  },
  "common": {
…
  },
  "ts": 1645526307119
}

错误

错误数据记录应用使用过程中的错误信息，包括错误编号及错误信息。

上述五种日志都有可能包含错误信息，此处仅对 appVideo 的错误日志进行展示。

1）错误日志范例

{
    "appVideo":{
  …
    },
    "common":{
  …
    },
    "err":{
        "error_code":3485,
        "msg":" Exception in thread \\  java.net.SocketTimeoutException\\n \\tat com.yudan.edu2021.mock.log.AppError.main(AppError.java:xxxxxx)"
    },
    "ts":1645538276217
}

数据埋点

主流埋点方式（了解）

目前主流的埋点方式，有代码埋点（前端/后端）、可视化埋点、全埋点三种。

  • 代码埋点是通过调用埋点SDK函数，在需要埋点的业务逻辑功能位置调用接口，上报埋点数据。例如，我们对页面中的某个按钮埋点后，当这个按钮被点击时，可以在这个按钮对应的 OnClick 函数里面调用SDK提供的数据发送接口，来发送数据。
  • 可视化埋点只需要研发人员集成采集 SDK，不需要写埋点代码，业务人员就可以通过访问分析平台的“圈选”功能，来“圈”出需要对用户行为进行捕捉的控件，并对该事件进行命名。圈选完毕后，这些配置会同步到各个用户的终端上，由采集 SDK 按照圈选的配置自动进行用户行为数据的采集和发送。
  • 全埋点是通过在产品中嵌入SDK，前端自动采集页面上的全部用户行为事件，上报埋点数据，相当于做了一个统一的埋点。然后再通过界面配置哪些数据需要在系统里面进行分析。

埋点数据上报时机

埋点数据上报时机包括两种方式。

方式一，在离开该页面时，上传在这个页面产生的所有数据（页面、事件、曝光、错误等）。优点，批处理，减少了服务器接收数据压力。缺点，不是特别及时。

方式二，每个事件、动作、错误等，产生后，立即发送。优点，响应及时。缺点，对服务器接收数据压力比较大。

埋点数据日志结构

我们的日志结构大致可分为三类，一是普通页面埋点日志，二是启动日志，三是播放日志。

普通页面日志结构如下，每条日志包含了，当前页面的页面信息，所有事件（动作）、所有曝光信息以及错误信息。除此之外，还包含了一系列公共信息，包括设备信息，地理位置，应用信息等，即下边的common字段。

1）普通页面埋点日志格式

{
  "actions": [
    {
      "action_id": "favor_add",
      "item": "57",
      "item_type": "course_id",
      "ts": 1645529967261
    },
    {
      "action_id": "cart_add",
      "item": "57",
      "item_type": "course_id",
      "ts": 1645529967261
    }
  ],
  "common": {
    "ar": "16",
    "ba": "iPhone",
    "ch": "Appstore",
    "is_new": "1",--是否首日使用，首次使用的当日，该字段值为1，过了24:00，该字段置为0。
    "md": "iPhone 8",
    "mid": "mid_161",
    "os": "iOS 13.3.1",
    "sc": "2",
    "sid": "9acef85b-067d-49f9-9520-a0dda943304e",
    "uid": "272",
    "vc": "v2.1.134"
  },
  "displays": [
    {
      "display_type": "query",
      "item": "6",
      "item_type": "course_id",
      "order": 1,
      "pos_id": 4
    },
    {
      "display_type": "query",
      "item": "8",
      "item_type": "course_id",
      "order": 2,
      "pos_id": 5
    },
    {
      "display_type": "query",
      "item": "1",
      "item_type": "course_id",
      "order": 3,
      "pos_id": 4
    },
    {
      "display_type": "query",
      "item": "10",
      "item_type": "course_id",
      "order": 4,
      "pos_id": 1
    },
    {
      "display_type": "promotion",
      "item": "4",
      "item_type": "course_id",
      "order": 5,
      "pos_id": 4
    },
    {
      "display_type": "promotion",
      "item": "4",
      "item_type": "course_id",
      "order": 6,
      "pos_id": 4
    },
    {
      "display_type": "query",
      "item": "9",
      "item_type": "course_id",
      "order": 7,
      "pos_id": 1
    }
  ],
  "page": {
    "during_time": 11622,
    "item": "57",
    "item_type": "course_id",
    "last_page_id": "course_list",
    "page_id": "course_detail"
  },
  "err":{
    "error_code":1359,
    "msg":" Exception in thread \\  java.net.SocketTimeoutException\\n \\tat com.yudan.edu2021.mock.log.AppError.main(AppError.java:xxxxxx)"
  },
  "ts": 1645529967261
}

2）启动日志格式

启动日志结构相对简单，主要包含公共信息，启动信息和错误信息。

{
  "common": {
    "ar": "1",
    "ba": "Redmi",
    "ch": "wandoujia",
    "is_new": "1",
    "md": "Redmi k30",
    "mid": "mid_356",
    "os": "Android 11.0",
    "sc": "2",
    "sid": "76909678-abaf-41c4-916d-a0a72f546bc1",
    "uid": "161",
    "vc": "v2.1.134"
  },
  "start": {
    "entry": "notice",
    "first_open": 0,
    "loading_time": 17970,
    "open_ad_id": 20,
    "open_ad_ms": 2876,
    "open_ad_skip_ms": 0
  },
  "err":{
    "error_code":2959,
    "msg":" Exception in thread \\  java.net.SocketTimeoutException\\n \\tat com.yudan.edu2021.mock.log.AppError.main(AppError.java:xxxxxx)"
  },
  "ts": 1645532980257
}

3）播放日志

播放日志结构相对简单，主要包含公共信息，播放信息和错误信息。

{
  "appVideo": {
    "play_sec": 19,
    "video_id": "3904"
  },
  "common": {
    "ar": "4",
    "ba": "Sumsung",
    "ch": "oppo",
    "is_new": "0",
    "md": "Sumsung Galaxy S20",
    "mid": "mid_253",
    "os": "Android 11.0",
    "sc": "1",
    "sid": "47157c4a-4790-4b9a-a859-f0d36cd62a10",
    "uid": "329",
    "vc": "v2.1.134"
  },
  "err":{
    "error_code":3485,
    "msg":" Exception in thread \\  java.net.SocketTimeoutException\\n \\tat com.yudan.edu2021.mock.log.AppError.main(AppError.java:xxxxxx)"
  },
  "ts": 1645526307119
}

服务器和JDK准备

服务器准备

安装如下文档配置步骤，分别安装hadoop102、hadoop103、hadoop104三台主机。
具体配置链接

编写集群分发脚本xsync

1）xsync集群分发脚本

  • 需求：循环复制文件到所有节点的相同目录下

  • 需求分析

    ①rsync命令原始拷贝：

    rsync -av /opt/module root@hadoop103:/opt/

    ②期望脚本：
    xsync要同步的文件名称

    ③说明：在/home/yudan/bin这个目录下存放的脚本，atguigu用户可以在系统任何地方直接执行。

  • 脚本实现

    ①在用的家目录/home/atguigu下创建bin文件夹

      [yudan@hadoop102 ~]$ mkdir bin

    ②在/home/yudan/bin目录下创建xsync文件，以便全局调用

      [yudan@hadoop102 ~]$ cd /home/yudan/bin
  [yudan@hadoop102 ~]$ vim xsync

    #!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
  echo Not Enough Arguement!
  exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
  echo ====================  $host  ====================
  #3. 遍历所有目录，挨个发送
  for file in $@
  do
    #4 判断文件是否存在
    if [ -e $file ]
    then
      #5. 获取父目录
      pdir=$(cd -P $(dirname $file); pwd)
      #6. 获取当前文件的名称
      fname=$(basename $file)
      ssh $host "mkdir -p $pdir"
      rsync -av $pdir/$fname $host:$pdir
    else
      echo $file does not exists!
    fi
  done
done

    ③修改脚本xsync具有执行权限

      [yudan@hadoop102 bin]$ chmod +x xsync

    ④测试脚本

      [yudan@hadoop102 bin]$ xsync xsync

SSH无密登录配置

  • hadoop102上生成公钥和私钥：

      [yudan@hadoop102 .ssh]$ ssh-keygen -t rsa

    然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

  • 将hadoop102公钥拷贝到要免密登录的目标机器上

      [yudan@hadoop102 .ssh]$ ssh-copy-id hadoop102
  [yudan@hadoop102 .ssh]$ ssh-copy-id hadoop103
  [yudan@hadoop102 .ssh]$ ssh-copy-id hadoop104

  • hadoop103上生成公钥和私钥：

      [yudan@hadoop103 .ssh]$ ssh-keygen -t rsa

    然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

  • 将hadoop103公钥拷贝到要免密登录的目标机器上

      [yudan@hadoop103 .ssh]$ ssh-copy-id hadoop102
  [yudan@hadoop103 .ssh]$ ssh-copy-id hadoop103
  [yudan@hadoop103 .ssh]$ ssh-copy-id hadoop104

  • hadoop104上生成公钥和私钥：

      [yudan@hadoop104 .ssh]$ ssh-keygen -t rsa

    然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

  • 将hadoop104公钥拷贝到要免密登录的目标机器上

      [yudan@hadoop102 .ssh]$ ssh-copy-id hadoop102
  [yudan@hadoop103 .ssh]$ ssh-copy-id hadoop103
  [yudan@hadoop104 .ssh]$ ssh-copy-id hadoop104

JDK准备

  • 卸载现有JDK（3台节点）

      [yudan@hadoop102 opt]# sudo rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps
  
  [yudan@hadoop103 opt]# sudo rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps
  
  [yudan@hadoop104 opt]# sudo rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps

    （1）rpm -qa：表示查询所有已经安装的软件包
    （2）grep -i：表示过滤时不区分大小写
    （3）xargs -n1：表示一次获取上次执行结果的一个值
    （4）rpm -e --nodeps：表示卸载软件

  • 将JDK导入到hadoop102的/opt/software文件夹下面

    JDK安装包
    链接: https://pan.baidu.com/s/1-bY0-GN85TJRhp-levcoSg?pwd=8ah6
    提取码: 8ah6

  • 在Linux系统下的opt目录中查看软件包是否导入成功

      [yudan@hadoop102 software]# ls /opt/software/

  看到如下结果：
  jdk-8u212-linux-x64.tar.gz

  • 解压JDK到/opt/module目录下

      [yudan@hadoop102 software]# tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

  • 配置JDK环境变量

    • 新建/etc/profile.d/my_env.sh文件

        [yudan@hadoop102 module]# sudo vim /etc/profile.d/my_env.sh

  #JAVA_HOME
  export JAVA_HOME=/opt/module/jdk1.8.0_212
  export PATH=$PATH:$JAVA_HOME/bin

    • 让环境变量生效

        [yudan@hadoop102 software]$ source /etc/profile.d/my_env.sh

  • 测试JDK是否安装成功

      [yudan@hadoop102 module]# java -version

  如果能看到以下结果、则Java正常安装
  java version "1.8.0_212"

  • 分发JDK

      [yudan@hadoop102 module]$ xsync /opt/module/jdk1.8.0_212/

  • 分发环境变量配置文件
    [yudan@hadoop102 module]$ sudo /home/yudan/bin/xsync /etc/profile.d/my_env.sh

  • 分别在hadoop103、hadoop104上执行source

      [yudan@hadoop103 module]$ source /etc/profile.d/my_env.sh
  [yudan@hadoop104 module]$ source /etc/profile.d/my_env.sh

环境变量配置说明

Linux的环境变量可在多个文件中配置，如/etc/profile，/etc/profile.d/*.sh，/.bashrc，/.bash_profile等，下面说明上述几个文件之间的关系和区别。

bash的运行模式可分为login shell和non-login shell。

例如，我们通过终端，输入用户名、密码，登录系统之后，得到就是一个login shell。而当我们执行以下命令ssh hadoop103 command，在hadoop103执行command的就是一个non-login shell。

登录Shell和非登录Shell的区别

在这里插入图片描述
这两种shell的主要区别在于，它们启动时会加载不同的配置文件，login shell启动时会加载/etc/profile，/.bash_profile，/.bashrc。non-login shell启动时会加载~/.bashrc。

模拟数据

使用说明

模拟数据生成文件地址
链接: https://pan.baidu.com/s/1ZYFLlkhI4JqvzugvySs_Sg
提取码: k93s

  1. 将application.yml、edu2021-mock-2022-06-18.jar、path.json、edu0222.sql、logback.xml上传到hadoop102的/opt/module/data_mocker目录下

    创建applog路径

     [yudan@hadoop102 module]$ mkdir /opt/module/data_mocker

  2. 需要安装配置MySQL
    MySQL安装包
    链接: https://pan.baidu.com/s/1Yov8DpOPaji58Axzp6VDWA?pwd=us87
    提取码: us87

    （1）将MySQL安装文件拷贝到/opt/software

     01_mysql-community-common-5.7.16-1.el7.x86_64.rpm
 02_mysql-community-libs-5.7.16-1.el7.x86_64.rpm
 03_mysql-community-libs-compat-5.7.16-1.el7.x86_64.rpm
 04_mysql-community-client-5.7.16-1.el7.x86_64.rpm
 05_mysql-community-server-5.7.16-1.el7.x86_64.rpm
 mysql-connector-java-5.1.27-bin.jar

    （2）卸载自带的Mysql-libs（如果之前安装过MySQL，要全都卸载掉）

     [yudan@hadoop102 software]$ rpm -qa | grep -i -E mysql\|mariadb | xargs -n1 sudo rpm -e --nodeps

    （3）安装 MySQL 依赖

     [yudan@hadoop102 software]$ sudo rpm -ivh 01_mysql-community-common-5.7.16-1.el7.x86_64.rpm
 [yudan@hadoop102 software]$ sudo rpm -ivh 02_mysql-community-libs-5.7.16-1.el7.x86_64.rpm
 [yudan@hadoop102 software]$ sudo rpm -ivh 03_mysql-community-libs-compat-5.7.16-1.el7.x86_64.rpm

    （4）安装 mysql-client

     [yudan@hadoop102 software]$ sudo rpm -ivh 04_mysql-community-client-5.7.16-1.el7.x86_64.rpm

    （5）安装 mysql-server

     [yudan@hadoop102 software]$ sudo rpm -ivh 05_mysql-community-server-5.7.16-1.el7.x86_64.rpm

    注意：如果报如下错误，这是由于yum安装了旧版本的GPG keys所造成，从rpm版本4.1后，在安装或升级软件包时会自动检查软件包的签名。

     warning: 05_mysql-community-server-5.7.16-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
 error: Failed dependencies:
 libaio.so.1()(64bit) is needed by mysql-community-server-5.7.16-1.el7.x86_64

 解决办法
 [yudan@hadoop102 software]$ sudo rpm -ivh 05_mysql-community-server-5.7.16-1.el7.x86_64.rpm --force --nodeps

    （6）启动 MySQL

     [yudan@hadoop102 software]$ sudo systemctl start mysqld

    （7）查看 MySQL 密码

     [yudan@hadoop102 software]$ sudo cat /var/log/mysqld.log | grep password

    （8）配置只要是root用户 + 密码，在任何主机上都能登录MySQL数据库。

     i）用刚刚查到的密码进入MySQL（如果报错，给密码加单引号）
 [yudan@hadoop102 software]$ mysql -uroot -p'password'
 
 ii）设置复杂密码（由于MySQL密码策略，此密码必须足够复杂）
 mysql> set password=password("Qs23=zs32");
 
 iii）更改MySQL密码策略
 mysql> set global validate_password_length=4;
 mysql> set global validate_password_policy=0;
 
 iv）设置简单好记的密码
 mysql> set password=password("000000");
 
 v）进入MySQL库
 mysql> use mysql
 
 vi）查询user表
 mysql> select user, host from user;
 
 vii）修改user表，把Host表内容修改为%
 mysql> update user set host="%" where user="root";
 
 viii）刷新
 mysql> flush privileges;
 
 ix）退出
 mysql> quit;

  3. 需要安装配置MySQL

    sql文件地址
    通过网盘分享的文件：edu.sql
    链接: https://pan.baidu.com/s/1gQ3z-boyI7aSaPC8t2Yz3A?pwd=fyxm
    提取码: fyxm

（1）登录Navicat等连接MySQL工具，创建数据库edu

（2）在数据库edu下，运行edu.sql文件

集群日志及业务数据生成脚本

在hadoop102的/home/atguigu目录下创建bin目录，这样脚本可以在服务器的任何目录执行。

[yudan@hadoop102 ~]$ echo $PATH
/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/yudan/.local/bin:/home/yudan/bin

1）在/home/yudan/bin目录下创建脚本mock.sh

[yudan@hadoop102 bin]$ vim mock.sh

2）在脚本中编写如下内容

#! /bin/bash
ssh hadoop102 "cd /opt/module/data_mocker/;java -jar edu2021-mock-2022-06-18.jar 1>/dev/null 2>&1 &"

3）修改脚本执行权限

[yudan@hadoop102 bin]$ chmod +x mock.sh

4）测试脚本

[yudan@hadoop102 module]$ mock.sh

5）在hadoop102的/opt/module/data_mocker/log目录上查看生成的数据

[yudan@hadoop102 log]$ ls
app.log

标签：数仓,item,采集,在线教育,course,yudan,hadoop102,type,id
From： https://blog.csdn.net/xd__xy/article/details/140640671

相关文章

  • 【瑞芯微RV1126(板端摄像头图像数据采集)】②使用v4l2视频设备驱动框架采集图像数据
    RV1126开发板：使用v4l2视频设备驱动框架采集图像数据前言一、按键二、LCD显示三、V4L2摄像头应用编程四、完整代码前言本系列的目的是，不仅仅将能够进行图片推理的模型部署于板端，还提供了两种摄像头数据采集的方法，集成到自己的深度学习推理代码之后，可以根据应用场景......
  • Linux平台x86_64(麒麟|统信UOS)|aarch64(飞腾)如何实现摄像头|屏幕和麦克风|扬声器采
    技术背景为什么要在Linux平台麒麟、统信、飞腾平台实现RTMP推送、RTMP|RTSP播放和轻量级RTSP服务？归根结底，还是提升信息安全与自主可控能力，促进经济发展与产业升级。以无纸化会议系统为例，由于无纸化系统涉及大量敏感信息和重要数据的传输与处理，国产化能够确保信息在传输、存储......
  • 宏集物联网工控屏&网关实现Modbus TCP数据采集并通过TCP转发
    前言在日常的生产活动中，许多企业需要使用底层PLC或传感器数据，但部分企业的终端平台仅支持TCP协议，而不支持常见的PLC或Modbus协议。为了实现兼容性，需要使用协议转换网关，将底层协议转换为TCP协议。宏集物联网工控屏&网关支持200多种通信协议，包括常见的ModbusRTU/TCP、OPCUA，以......
  • 医院存储文件采集至关重要，如何可靠安全进行？
    医院的存储文件是医院日常运营中不可或缺的一部分，它包括了许多重要的文件类型：病历档案：包括患者的门诊病历、住院病历、手术记录、护理记录等，是患者医疗过程的重要记录。文书档案：医院在各项医疗业务活动、职能管理中形成的具有查考使用价值的各种纸质文件材料，如会议纪要、通知、......
  • Shopee虾皮api python获取虾皮购物平台的商品数据信息 数据采集
    虾皮购物(英语：Shopee)是一个电商平台，总公司设在新加坡，归属于SeaGroup(之前称之为Garena)，该企业于2009年由李小冬(ForrestLi)创办。虾皮购物于2015年初次在新加坡推出，现阶段已拓展到马来西亚、泰国、印度尼西亚、越南和菲律宾。虾皮购物为全球华人地区的客户提供线上购物和销售......
  • flume采集数据到kafka脚本编写
    3.2.1数据采集思路：a)配置kafka，启动zookeeper和kafka集群；b)创建kafka主题；c)启动kafka控制台消费者（此消费者只用于测试使用）；d)配置flume，监控日志文件；e)启动flume监控任务；f)运行日志生产脚本；g)观察测试。1）启动zookeeper，kafka集群$/opt/module/kafka/bin/kafka-se......
  • 【python】Python中采集Prometheus数据，进行数据分析和可视化展示
    ✨✨欢迎大家来到景天科技苑✨✨......
  • Python网络爬虫详解：实战豆瓣电影信息采集
    文章目录前言一、爬虫是什么？二、常用库及其作用1.Requests2.BeautifulSoup3.lxml4.Scrapy5.Selenium6.PyQuery7.Pandas8.JSON9.Time三、实现步骤步骤一：环境准备步骤二：数据采集步骤三：数据处理步骤四：数据存储总结前言随着互联网的迅猛发展和数据分析需求的不......
  • 简单架构：采集库dll、检测算法dll、项目程序exe，框架库dll
    一般项目exe通过调用各种封装的dll来完成工作。视觉项目exe调用采集库dll、检测算法dll就可以了，有一定积累后凝练出框架库dll（日志、队列、线程池等必不可少的部分封装）它们之间通过“接口函数+数据”来配合。针对采集dll：IGrabber.h里放接口函数，如开始采集、停止采集、set参数......
  • 如何实现可视化、智能化、自动化的文件采集？一文了解！
    内部数据文件采集需求在多个行业中都非常重要，以下是一些涉及此场景需求的行业：1.大数据行业：随着大数据的行业应用不断深入，物联网、智能家居、数字政务等领域的大数据技术应用逐渐成熟，数据采集的需求也将被逐步激发，带动数据采集软件及服务的市场规模日益增长。2.人工智能行业：在人......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99