• 2023-10-08Hadoop问题解决(3)
    在启动hadoop过程中,出现如下错误:192.168.10.100:Invalidmaximumheapsize:-Xmx0m192.168.10.100:CouldnotcreatetheJavavirtualmachine.192.168.10.100:jobtracker已死,但pid文件仍存此时查看jobtracker的日志,1[root@ccloud100manager]#vim/var/log/hado
  • 2023-06-04比较简洁的Hadoop介绍
    Hadoop集群的物理分布这里是一个由两个机架组成的机群,图中有两种颜色绿色和黄色,不难看出黄色为主节点(Master),NameNode和JobTracker都独占一个服务器,只有一个是唯一,绿色为从节点(Slave)有多个。而上面所说的JobTracker、NameNode,DataNode,TaskTracker本质都是Java进程,这些进程进行相
  • 2023-01-05Hadoop中的MapReduce框架
    一个MapReduce作业通常会把输入的数据集切分为若干独立的数据块,由Map任务以完全并行的方式去处理它们。          框架会对Map的输出
  • 2022-12-08sh脚本小记
    #!/bin/bashwhiletrue;dosleep5;echo5;if["$(ps-ef|grepjobtracker|gawk'$0!~/grep/{print$2}'|tr-s'\n''')"=
  • 2022-09-29二进制部署k8s集群v1.23.9版本-21-安装LTS任务调度
    21.1、准备镜像192.168.1.200服务器操作lts-jobtracker镜像dockerpullharbor.qgutech.com/qx-apaas/lts-jobtracker:v1dockertag8f1e3d395515harbor.qgutech.com/
  • 2022-09-23我眼中的大数据(三)——MapReduce
    ​这次来聊聊Hadoop中使用广泛的分布式计算方案——MapReduce。MapReduce是一种编程模型,还是一个分布式计算框架。MapReduce作为一种编程模型功能强大,使用简单。运算内容
  • 2022-08-31hadoop小结
    Hadoop是一个适合海量数据的分布式存储和分布式计算的平台主要有以下功能:HadoopCommon:基础型功能HadoopDistributedFileSystem(HDFS™):一种分布式文件系统,可提供对