首页 > 其他分享 >处理不同的数据源(端口,HDFS)

处理不同的数据源(端口,HDFS)

时间:2022-08-31 16:33:28浏览次数:67  
标签:HDFS val 数据源 端口 StreamingContext spark ssc

端口

// 地址,端口号,级别(将数据存储在所设置的级别中,这里设置级别为spark的内存)
val ds: DStream[String] = ssc.socketTextStream("node1", 44444, StorageLevel.MEMORY_ONLY)

读取HDFS中的数据

import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}

object ByHDFS {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setMaster("local[3]").setAppName("hdfs")
    val ssc: StreamingContext = new StreamingContext(conf, Seconds(10))
    /*
    定义从HDFS数据源读取流式数据  目录
    看一定时间内目录下追加的新文件的个数
     */
    val ds = ssc.textFileStream("hdfs://node1:9000/stream")
    ds.print()
    ssc.start()
    ssc.awaitTermination()
  }
}

标签:HDFS,val,数据源,端口,StreamingContext,spark,ssc
From: https://www.cnblogs.com/jsqup/p/16643480.html

相关文章

  • OPNsense 防火墙系列二:SSL 证书和监听端口更改
    SSL证书默认OPNsense在初始化时,就默认监听80和443端口,强制SSL跳转,规定使用自签名的证书,有效期一年.我们只需要添加第三方证书并设置使用即可。申请证书需要拥......
  • 学习汇报7 hdfs集群角色属性
    主从角色namenode:核心,架构中的主角色管理和维护文件系统的元数据,包括目录树结构、文件和块的位置信息、访问权限等信息namenode是访问hdfs的唯一入口仅存储元数据知......
  • Linux操作系统中修改putty工具的ssh端口号(22)
    Linux服务器为了保证安全,需修改putty远程的默认端口22,具体操作步骤:1.在Linux服务器中登录用户名和密码(用root用户登录);2.输入vim /etc/ssh/sshd_config3.上下箭头移动......
  • VTP | DTP | 端口镜像 | 端口聚合 | 端口隔离
    1、VTP(vlan数据库同步协议):凡是同个网络中开启了VTP协议的网络设备,客户端上的vlan全部来自与服务端的vlan。就是全网vlan数据库同步,不用自己一个一个的去配置。①VTP具有......
  • 暑假学习6 hdfs shell命令
    命令行操作:cliHadoop的命令shell:Hadoopfs-lsfile:          操作本地的文件系统hadoopfs-lshdfs://node1:8020         ......
  • [Bug0044] NT Kernel & System进程占用80端口并且关闭不掉
    1、问题NTKernel&System进程占用80端口并且关闭不掉问题排查cmd命令行运行netstat-ano发现80端口被pid=4的进程占用打开任务管理器,发现pid=4的进程,其实是system......
  • 端口、进程和socket
    端口:端口是tcp/ip五层模型中的概念,用来唯一标识一个应用程序。socket:插座是网络进程通信中的概念,用来唯一标识一个网络进程。因为pid或者其他只能唯一标识本地的进程,如......
  • echarts-dataset数据源配置项
     如下效果图:   代码入下:letbox4=document.querySelector('.box4')letmyCharts3=echarts.init(box4)myCharts3.setOption({......
  • EdgeX使用问题日志:端口被占用
    问题:本来以为可以只使用C语言就可以完成EdgeXFoundry的开发,最终发现go语言是绕不过去的坎,于是从头开始,把go语言相关的教程做一遍,但是在安装了ZeroMq和VsCode之后,Edge的部......
  • 3.Linux更新数据源
    在一个没有安装vim等命令的Linux环境中,没办法更新数据源,没办法软件的安装等的解决方案:编辑数据源vi/etc/apt/sources.list删除全部内容并修改为debhttp://mirrors......