每日随笔——使用 Spark Shell 编写代码

今天学习如何使用Spark技术。一、下载spark下载spark-3.4.0-bin-without-hadoop.tgz文件，百度网盘链接：https://pan.baidu.com/s/181shkgg-i0WEytQMqeeqxA（提取码：9ekc）二、安装hadoop和Javajdk（这些在之前博客中已经发布，默认已经安装成功）三、安装sparksudotar-zxf/export/ser......

黑马视频地址：https://www.bilibili.com/video/BV1cr4y1671t?p=49&spm_id_from=pageDriver&vd_source=79bbd5b76bfd74c2ef1501653cee29d6 csdn地址：https://blog.csdn.net/weixin_50523986/article/details/131815165          stringRedisTemplate.......

SOA： 【Service Oriented Architecture  服务导向架构】 面向服务架构,把系统按照实际业务，拆分成刚刚好大小的、合适的、独立部署的模块，每个模块之间相互独立。ESB：  【Enterprise Service Bus  企业服务总线】  -警用实在平台  连接多个厂家的不同设备REST： REST......

github地址：https://github.com/Johnny-Demo/deploy/tree/k8s-cluster有不理解的地方可以私信我......

在许多情况下，我们需要保护我们的shell脚本源码不被别人轻易查看。这时，使用shc工具将shell脚本编译成二进制文件是一个有效的方法。本文将详细介绍如何在线和离线条件下安装shc，并将其用于编译你的脚本。什么是SHC？shc是一个由C语言编写的Shell脚本加密程序，它可以将你的脚本编译成......

任意文件下载（ArbitraryFileDownload）是一种常见的Web攻击技术，用于窃取服务器上任意文件的内容。攻击者利用应用程序中的漏洞，通过构造恶意请求，使应用程序将任意文件（如配置文件、敏感数据等）发送给攻击者。一旦攻击者成功利用这种漏洞，就可以从服务器上获取应用程序所拥有的任意文......

一、Shell 编程之条件结构1、Shell 条件测试语法test 测试表达式利用test命令进行条件测试表达式， test命令与测试表达式之间至少有一个空格[测试表达式]通过[]中括号进行条件测试表达式， []中括号边界与测试表达式之间至少有一个空格[[测试表达式]]通过[[]]双中括......

遇事莫慌，笔者当时的情况是刚配好spark，突然发现xshell中node1节点的连接掉了，重连也连不上，于是打开虚拟机，发现页面卡住，强制关也关不掉。于是从bing上找解决方案：直接打开服务，想装*就win+r，services.msc，找到vmware的相关进程，好像是四个，将启动类型全部改为禁止，然后关机..重启完再打开进......

可以现在build.sh中source需要的config.sh配置文件，并export其中包含的变量。此时，变量在当前shell终端中生效。Makefile中只用变量应为${VAL}https://blog.csdn.net/mouday/article/details/128966176https://blog.csdn.net/QCZTZSWT357/article/details/102577134......

单词统计的示例1：客户端登录 2：使用链式编程输出结果文件sc.textFile("hdfs://bda1node01.sqtxj.com:8020/txj/resources/chedai/chedai.csv").flatMap(_.split(",")).map((_,1)).reduceByKey(_+_).saveAsTextFile("/spark/out")spark安装后示例（求pai）1：......