- 2024-06-03C#代码中的正反斜杠写法
在C#代码中,涉及到路径字符串的正反斜杠,有如下几种写法:stringpath1="F:/aaa/bbb/ccc/TextFile.txt";stringpath2 =@"F:\aaa\bbb\ccc\TextFile.txt";stringpath3 ="F:\\aaa\\bbb\\ccc\\TextFile.txt";在对应文件夹中新建了对应的文件写法一:写法二:写法三:
- 2024-01-24学习记录12
本次学习学习了共享变量的相关知识内容以及文件系统的读写本地文件系统的数据读写读scala>valtextFile=sc.textFile("file:///usr/local/spark/mycode/wordcount/word.txt")因为Spark采用了惰性机制,在执行转换操作的时候,即使输入了错误的语句,spark-shell也不会马
- 2023-10-28每日随笔——使用 Spark Shell 编写代码
安装完spark之后,学习使用SparkShell编写代码默认spark已经安装成功,且环境变量已经配置完成启动SparkShellcd/export/server/sparkbin/spark-shell 加载文本文件valtextFile=sc.textFile("file://export/server/spark/README.md")退出SparkShellquit
- 2023-08-29Prometheus监控实战系列九:主机监控
前面我们介绍了Prometheus的基础概念,包括数据格式、PromQL语法等,本节我们将讲解如何通过Prometheus实现主机的监控。 Prometheus使用各种Exporter来监控资源。Exporter可以看成是监控的agent端,它负责收集对应资源的指标,并提供接口给到Prometheus读取。不同资源的监控对应不同
- 2023-08-11Spark 快速入门
Spark快速入门目录[−]使用Spark进行交互式分析基本操作更多的RDD操作缓存独立应用深入了解本教程快速介绍了Spark的使用。首先我们介绍了通过Spark交互式shell调用API(Python或者scala代码),然后演示如何使用Java,Scala或者Python编写独立程序。你可以查看Spark编程指南了
- 2023-08-05Spark2.2快速入门
快速入门通过Spark的交互式shell简单介绍一下(Python或Scala)API,然后展示如何使用Java、Scala以及Python编写一个Spark应用程序。Spark2.0版本之前,Spark的核心编程接口是弹性分布式数据集(RDD)。Spark2.0版本之后,RDD被Dataset所取代,Dataset跟RDD
- 2023-04-03005-spark standalone模式安装
sparkstandalone模式不同于单节点本地模式,它有主从节点,分别为Master和workerSparkstandlone规划Master节点: 192.168.2.20Worker节点:192.168.2.20,192.168.2.33其中:地址和域名的映射关系为192.168.2.20mycluster192.168.2.33clo
- 2022-12-14Prometheus技术分享——如何监控宿主机和容器
这一期主要来跟大家聊一下,使用node_exporter工具来暴露主机和因公程序上的指标,利用prometheus来监控宿主机;以及通过通过Cadvisor监控docker容器。一、部署node_exporter监
- 2022-11-19UnicodeDecodeError:'gbk' codec can't decode byte 0x80 in position 0 illegal multibyte
UnicodeDecodeError:'gbk'codeccan'tdecodebyte0x80inposition0illegalmultibytesequence 回答1ifyouwillopenfilewithutf-8,thenyouneedwrite:o
- 2022-10-10csplit 分割文件
csplit按行分割,split按大小分割。csplit命令是split的一个变体,split只能够根据文件大小或行数来分割,但csplit能够根据文件本身特点来分割文件。csplit命令用于将一个大