选择要添加的模块Step9、新建一个Scalaclass，类型为ObjectStep10、编写spark程序示例代码如下： package com.atguigu.sparkdemoimport org.apache.spark.{SparkConf, SparkContext}import org.slf4j.LoggerFactoryobject WordCountDemo {  val logger = Lo

解决方法：首先启动两个服务再连接：这是前台服务，会占用两个独立的窗口，再复制第三个窗口连接hive[root@hadoop102hive]$bin/hive--servicehiveserver2[root@hadoop202hive]$hive--servicemetastore最后在进行jdbc连接[root@hadoop102hive]$bin/beeline-ujdb

2024-2025-120241314《计算机基础与程序设计》第九周学习总结作业信息这个作业属于哪个课程2024-2025-1-计算机基础与程序设计这个作业要求在哪里2024-2025-1计算机基础与程序设计第九周作业这个作业的目标操作系统责任内存与进程管理分时系统CPU调度文件、

Yarn模式1、解压缩文件[user@hadoop102software]$tar-zxvfspark-3.0.0-bin-hadoop3.2.tgz-C/opt/module[user@hadoop102software]$cd/opt/module[user@hadoop102module]$mvspark-3.0.0-bin-hadoop3.2spark-yarn2、修改配置文件（1）修改hadoop配置文件/opt/module

Shell操作一、基本语法hadoopfs具体命令hdfsdfs具体命令二、命令大全[user@hadoop102~]$hadoopfsUsage:hadoopfs[genericoptions] [-appendToFile<localsrc>...<dst>] [-cat[-ignoreCrc]<src>...] [-checksum<src>...] [-chgrp[-R]GROUPP

完全分布式运行模式一、SSH无密登录配置1、基本语法ssh另一台电脑的IP地址[user@hadoop102~]$sshhadoop103退回hadoop102[user@hadoop103~]$exit2、配置（1）生成公钥和私钥[user@hadoop102.ssh]$pwd/home/atguigu/.ssh[user@hadoop102.ssh]$ssh-keygen-tr

文章目录数据仓库概念项目需求及架构设计项目需求分析系统数据流程设计框架版本选型集群规模估算集群资源规划设计数据生成模块目标数据页面事件曝光启动播放错误数据埋点主流埋点方式（了解）埋点数据上报时机埋点数据日志结构服务器和JDK准备服务器准备编写集群分发脚本

目录一、HBase数据模型1）NameSpace2）Table3）Row4）Column5）TimeStamp6）Cell二、HBase的逻辑结构三、HBase的物理结构四、HBase基本架构1）Master2）RegionServer3）Zookeeper4）HDFS 五、安装HBase数据库1）上传、解压2）配置环境变量3）修改HBase配置文件4）分发HBase到另外两

尚硅谷大数据技术之Kafka（作者：尚硅谷研究院）版本：V4.0第1章Kafka概述1.1定义1.2消息队列目前企业中比较常见的消息队列产品主要有Kafka、ActiveMQ、RabbitMQ、RocketMQ等。在大数据场景主 要采用Kafka作为消息队列。在JavaEE开发中主要采用ActiveMQ、RabbitMQ、RocketMQ。

本次学习学习了Spark的Streaming的一些外来输入源进行操作的形式文件流创建一个文件[atguigu@hadoop102~]$cd/usr/local/spark/mycode/[atguigu@hadoop102mycode]$mkdirstreaming[atguigu@hadoop102mycode]$cdstreaming[atguigu@hadoop102streaming]$mkdir

本次主要对综合案例进行了学习案例1：求TOP值任务描述：orderid,userid,payment,productidfile1.txt1,1768,50,1552,1218,600,2113,2239,788,2424,3101,28,5995,4899,290,1296,3110,54,12017,4436,259,8778,2369,7890,27file2.txt100,4287,226,233101,65

本次学习学习了共享变量的相关知识内容以及文件系统的读写本地文件系统的数据读写读scala>valtextFile=sc.textFile("file:///usr/local/spark/mycode/wordcount/word.txt")因为Spark采用了惰性机制，在执行转换操作的时候，即使输入了错误的语句，spark-shell也不会马

（1）启动hiveserver2前台启动[atguigu@hadoop102hive]$bin/hiveserver2后台启动[atguigu@hadoop102hive]$nohupbin/hiveserver2>/dev/null2>&1& （1）启动hiveserver2[atguigu@hadoop102hive]$bin/hive--servicehiveserver2或者[atguigu@hadoop102hive]$

1、完全分布式搭建hadoop102[namenode,datanode],hadoop103[datanode],hadoop104[secondarynamenode,datanode]缺少104,配置104选择完全克隆103机器的名称hadoop104配置机器的IP192.168.18.104修改vim /etc/sysconfig/network-scripts/ifcfg-ens33重启⽹络

这些天一直在搞虚拟机的配置，昨天配置了hdfs集群，但遇到了很多问题，今天继续配置，hdfs集群配置好了，但遇到了新的问题 问题：配置免密登录时显示root@hadoop103'spassword:sh:.ssh/authorized_keys:权限不够解决：在hadoop103上重启ssh服务，systemctlrestartsshd 问题：[atguigu

配置zookeeper集群启动脚本#!/bin/bashcase$1in"start"){foriinhadoop102hadoop103hadoop104doforiinhadoop102hadoop103hadoop104doecho--------------------zookeeper$i启动----------------

今天，上了一些课，讲讲收获吧，首先，对于深度学习学不了一点；进行了zookeeper的配置：本地模式安装输入java-version验证是否有jdk拷贝apache-zookeeper-3.5.7-bin.tar.gz到/opt/software/中解压到opt/moduletar-zxvfapache-zookeeper-3.5.7-bin.tar.gz-C/opt/module/进入opt/

   本周，学习了大数据相关的知识，首先先是在中国大学mood上看了会课程，了解了基本的概念，然后进行配置，然后配置过程太简略，一直配置失败，就在b站上找相关的课程，在黑马程序员那里看的有点人少，毕竟出来bug也不知怎么解决，然后就找到了b站的尚硅谷的大数据进行学习，学习了几天，还行，至少

1.集群配置1.1集群部署规划资源上有抢夺冲突的，尽量不要部署在一起；工作上需要互相配合的，尽量部署在一起。\Hadoop102Hadoop103Hadoop104HDFSNameNode&DataNodeDataNode2rdNameNode&DataNodeYARNNodeManagerResourceManager&NodeManagerNodeManag