• 2024-09-03深入浅出Stream流
    Java8的新特性之一就是流stream,配合同版本出现的Lambda,使得操作集合(Collection)提供了极大的便利。案例引入在JAVA中,涉及到对数组、Collection等集合类中的元素进行操作的时候,通常会通过循环的方式进行逐个处理,或者使用Stream的方式进行处理。假设遇到了这么一个需求:从给定句
  • 2024-09-03深入浅出Stream流
    Java8的新特性之一就是流stream,配合同版本出现的Lambda,使得操作集合(Collection)提供了极大的便利。案例引入在JAVA中,涉及到对数组、Collection等集合类中的元素进行操作的时候,通常会通过循环的方式进行逐个处理,或者使用Stream的方式进行处理。假设遇到了这么一个需求:从给定句
  • 2024-08-28gstreamer教程(5)——构建应用之element的使用
    Element 元素:对于应用程序程序员来说, GstElement 对象是GStreamer中最重要的对象。element(元素)是媒体Pipeline的基本构建块。您使用的所有不同的高级组件都派生自 GstElement。每个解码器、编码器、解复用器、视频或音频输出事实上都是一个 GstElement。什么是元素:
  • 2024-08-24大数据技术之 Flume概述、安装(1)
    目录Flume概述 Flume定义为什么选用Flume Flume基础架构 AgentSourceSink Channel EventFlume安装 Flume安装部署 安装地址 安装部署Flume概述 Flume定义Flume是Cloudera提供的一个高可用的、高可靠的、分布式的海量日志采集、聚合和传
  • 2024-08-17【模板】网络流最大流
    最大流题目要求:给出n点m边srcsink然后每条边有uvcapacity求最大流题目链接P3376【模板】网络最大流EK(Edmonds–Karp)算法:\[\begin{align}&\color{Red}时间复杂度O(nm^2)\\&\color{Red}空间复杂度O(n+m)\\\end{align}\]#include<iostream>#include
  • 2024-07-25MySQL Sink 是否需要主键
    需要主键的情况:更新和删除操作:如果你希望MySQL表能够正确处理更新和删除操作,那么表中需要定义主键。主键用于唯一标识每一行数据,这样当Flink发送撤回消息(删除操作)或添加消息(更新操作)时,MySQL能够准确地找到并更新或删除对应的记录。数据一致性:主键有助于确保数据的一致性
  • 2024-07-25Asp.Net Core Serilog日志自定义Sink
    项目的日志框架使用了Serilog,现在有需求要将异常日志记录一份到数据库中。目前网上可以找到适配各个数据库的Sink。https://github.com/serilog/serilog/wiki/Provided-Sinks但是由于项目需要适配多个不同类型的数据库,故打算自定义一个DatabaseSink,使用SqlSugar进行数据库操作。
  • 2024-07-17Type-c接口及其协议介绍
    Type-c接口及其协议介绍Type-c接口支持的功能支持接口正反插;定义Vbus的电流传输能力;定义功率传输角色,即供电端及受电端;定义数据传输角色,主机或从机;支持PD协议,实现大功率充电;支持USB2.0/3.2/4.0/雷电/DisplayPort协议,实现高速数据传输。Type-c接口支持的协议Type-c接口是
  • 2024-07-11StarRocks跨集群迁移最佳实践|得物技术
    一、引言2024年之前,DBA维护的StarRocks集群存在在用低版本多、稳定性受组件bug影响大的问题,给日常运维带来一定压力,版本升级迫在眉睫。于是,我们在今年年初安排了针对2.5以下版本升级2.5.13的专项。这里和大家分享下,针对因版本兼容问题而不能原地升级的场景下,进行跨集群升级
  • 2024-07-1165、Flink 的 DataStream Connectors 概述
    1)概览1.预定义的Source和Sink预定义的datasources支持从文件、目录、socket,以及collections和iterators中读取数据。预定义的datasinks支持把数据写入文件、标准输出(stdout)、标准错误输出(stderr)和socket。2.附带的连接器连接器可以和多种多样的第三方系
  • 2024-07-09Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
    章节内容上一节我们完成了:HiveServer2的介绍和配置安装修改core-sizehdfs-site实现集群的启动Beeline简单上手HCatalog简单上手背景介绍这里是三台公网云服务器,每台2C4G,搭建一个Hadoop的学习环境,供我学习。之前已经在VM虚拟机上搭建过一次,但是没留下笔记,这次
  • 2024-06-22SqlserverCDCcrudSourceSink mssql数据实时同步demo
    packageorg.hu.fk.datastream_connector;importcom.alibaba.fastjson.JSON;importcom.alibaba.fastjson.JSONObject;importcom.ververica.cdc.connectors.base.options.StartupOptions;importcom.ververica.cdc.connectors.shaded.org.apache.kafka.connect.data.Fie
  • 2024-06-20Flink Sink中jdbc sink
    这里介绍一下FlinkSink中jdbcsink的使用方法,以mysql为例,这里代码分为两种,事务和非事务此处sink只处理append,主要是事务和非事务的调用方法,upsert等未实现非事务代码importorg.apache.flink.connector.jdbc.JdbcConnectionOptions;importorg.apache.flink.connector.jdb
  • 2024-06-12飞书Webhook触发操作指南,实现事件驱动型工作流自动化
    本文提供了利用数据触发FeishuWebhook的具体操作指南,包括Webhook的设置以及编写触发代码的方法,为读者提供了实践参考,希望能帮助解决你目前遇到的问题。描述用于使用数据触发FeishuWebhook。例如,如果来自上游的数据是[age:12,name:tyrantlucifer],则请求的body内容将是
  • 2024-06-01spdlog日志库源码:日志记录器logger类
    特性一个logger类对象代表一个日志记录器,为用户提供日志记录接口。每个logger对象都有一个唯一的名称,用于标识该logger。logger对象维护一个日志等级(如DEBUG、INFO、WARN、ERROR等)。只有当日志消息的等级高于或等于logger的当前等级时,消息才会被记录下来。logger
  • 2024-06-01spdlog日志库源码:输出通道sink
    概述在spdlog日志库中,sinks并不是一个单独的类,而是一系列类的集合,这些类以基类-派生类的形式组织,每一个sink派生类代表了一种输出日志消息的方式。输出目标可以是普通文件、标准输出(stdout)、标准错误输出(stderr)、系统日志(syslog)等等。其文件位于include/spd
  • 2024-05-28简单理解Flume之Channel和Sink
    ChannelMemoryChannel1,MemoryChannel将数据临时存储的到内存队列2,属性属性默认值解释capacity100队列容量,默认情况队列中最多临时存储100条数据,实际过程这个值一般被调节成30W~50WtransacCapacity100PutList向Channel发送的数据条数,实际中一般会调节成3000~5000Fil
  • 2024-03-252-Flume之Sink与Channel
    FlumeSinkHDFSSink将数据写到HDFS上。数据以文件形式落地到HDFS上,文件名默认是以FlumeData开头,可以通过hdfs.filePrefix来修改HDFSSink默认每隔30s会滚动一次生成一个文件,因此会导致在HDFS上生成大量的小文件,实际过程中,需要通过hdfs.rollInterval来修改,一般设置为36
  • 2024-03-20Flume - [05] Hbase sink
      一、概述  此接收器将数据写入Hbase。Hbase配置是从类路径中遇到的第一个Hbase-site.xml获取的。由配置指定的实现HbaseEventSerializer的类用于将事件转换为hbase、put和/或增量。然后将这些put和增量写入hbase。此接收器提供与hbase相同的一致性保证,hbase目前是逐行
  • 2024-03-20Flume - [03] HDFS Sink
      一、概述  将事件写入Hadoop分布式文件系统(HDFS)。目前支持创建文本和序列文件。支持两种文件类型的压缩。可以根据经过的时间、数据大小或事件数周期性地滚动文件(关闭当前文件并创建文件)。根据事件起源的时间戳或机器等属性对数据进行存储/分区。HDFS目录路径可能包好
  • 2024-03-09spdlog 源码解析
    spdlog是开源、高性能、跨平台,支持header-only/compiled的C++日志库。本文主要目的是对spdlogv1.13.0的源码进行分析(编译运行环境为6.5.0-18-generic#18~22.04.1-Ubuntu),以探讨spdlog如何构建高性能、可扩展的日志框架的。github链接gabime/spdlog:FastC++loggingli
  • 2024-03-08Flink CDC 写 StarRocks
    Flink版本:1.17.1CDC版本:2.3.0StarRocks版本:2.5.8前言最近需要实时同步几个Mysql表到StarRocks,薅出之前写的Demo代码,简单改造了一下,加了个配置文件,可以通过修改配置文件指定source、sink表,这样就不用讲表名什么的写死到代码里面。再利用flinksession模式,把一堆任
  • 2024-02-15gnuradio笔记[3]-播放音频并观测幅度谱
    摘要使用GNURadio观测音频文件的幅度谱并播放音频,将数据保存到wav文件.关键信息GNURadioCompanion:3.10.8.0(Python3.10.13)实现音频文件参数名称参数值音频组成信标信号+音乐文件信标波形正弦波信标频率800Hz信标幅度(Vpp)1000mV信标持续
  • 2024-01-23Hadoop进级教程之-Flume架构原理
    ApacheFlume是一个分布式的、可靠和易用的日志收集系统,用于将大量日志数据从许多不同的源进行收集、聚合,最终移动到一个集中的数据中心进行存储。Flume的使用不仅仅限于日志数据聚合,由于数据源是可定制的,Flume可以用于传输大量数据,包括但不限于网络流量数据、社交媒体生成的数据
  • 2024-01-10投屏项目中Sink端CPU占用过高问题
    一、背景今天来总结一下,自己在项目中遇到的一个CPU占用过高的问题,详细的结束从发现到定位在到解决问题的过程。原因是性能测试那边提出了一个bug,就是在投屏过程中,平板端也就是Sink端功耗非常高的问题,二、排查问题经过排查后发现:需要手机投平板后在手机侧拖动平板断开,平板端的