• 2024-07-02Yarn的安装与配置
    Yarn是一个快速、可靠且安全的JavaScript包管理器,最初由Facebook开发,旨在提供比npm更快的依赖安装速度和更一致的包管理体验。以下是Yarn的安装与配置教程:安装Yarn方法1:使用npm安装如果你的系统已经安装了Node.js和npm,你可以通过npm直接安装Yarn:n
  • 2024-07-01hadoop集群部署【二】YARN & MapReduce 的部署
    提前注意:请注意路径是否和我的相同,放置的位置不同,请修改标红处 HDFS部署HDFS介绍及部署http://t.csdnimg.cn/Q3H3Y部署说明HadoopHDFS分布式文件系统,我们会启动:NameNode进程作为管理节点DataNode进程作为工作节点SecondaryNamenode作为辅助同理,HadoopYARN分布式资源
  • 2024-07-01YARN & MapReduce 介绍
    MapReduce是基于YARN运行的,即没有YARN”无法”运行MapReduce程序(并不是完全但是看作是这样的)导入 分布式计算概述 分布式计算概述http://t.csdnimg.cn/LOW1p MapReduce概述MapReduce概述http://t.csdnimg.cn/WwMB8YARN概述 分布式资源调度-YARN  资源调度 
  • 2024-07-01Hadoop基础及安装
    Hadoop基础了解hadoop我们生活在一个数据大爆炸的时代,数据飞速的增长,急需解决海量数据的存储和计算问题Hadoop适合海量数据分布式存储和分布式计算Hadoop的作者是DougCutting,Hadoop这个名字是他的孩子给他的毛绒象玩具起的名字Hadoop3.x的细节优化Hadoop三
  • 2024-06-30Hadoop:全面深入解析
       Hadoop是一个用于大规模数据处理的开源框架,其设计旨在通过集群的方式进行分布式存储和计算。本篇博文将从Hadoop的定义、架构、原理、应用场景以及常见命令等多个方面进行详细探讨,帮助读者全面深入地了解Hadoop。1.Hadoop的定义1.1什么是Hadoop   Hadoop是
  • 2024-06-23深入探索YARN集群:NodeManager内存配置与管理全攻略
    深入探索YARN集群:NodeManager内存配置与管理全攻略引言ApacheHadoopYARN(YetAnotherResourceNegotiator)作为Hadoop生态系统中的一个关键组件,为集群资源管理和作业调度提供了强大的支持。在YARN集群中,NodeManager(NM)扮演着资源管理和任务执行的重要角色。本文将深入探讨
  • 2024-06-23YARN集群的高可用性秘诀:ResourceManager故障转移全指南
    标题:YARN集群的高可用性秘诀:ResourceManager故障转移全指南引言在大数据时代,YARN作为Hadoop生态系统中的资源管理器,其稳定性和可靠性对于整个数据处理流程至关重要。当ResourceManager(RM)遇到故障时,如何快速恢复并继续执行任务,是衡量YARN集群健壮性的重要指标。本文将深入
  • 2024-06-23Apache Spark 安装和基础使用
    Spark概述ApacheSpark是一个开源的集群计算框架,以其快速、易用、通用和高度可扩展性而著称。Spark支持多种编程语言,包括Java、Scala、Python和R,并提供了丰富的库,如SparkSQL、MLlib、GraphX和SparkStreaming。Spark的主要特点快速:Spark通过在内存中存储中间数据,
  • 2024-06-22MapReduce和YARN
    一:MapReduce概述MapReduce是hadoop三大组件之一,是分布式计算组件Map阶段:将数据拆分到不同的服务器后执行Maptask任务,得到一个中间结果Reduce阶段:将Maptask执行的结果进行汇总,按照Reducetask的计算规则获得一个唯一的结果我们在MapReduce计算框架的使用过程
  • 2024-06-22已安装yarn,cmd可以使用,vscode中却无法识别
    使用VScode的终端时,全局安装的插件无法使用,如:yarn、cnpm、vue/cli、live-server、umi等。 解决方法:1.以管理员身份打开vscode2.在vscode终端执行get-ExecutionPolicy ===》查看结果为Restricted3.执行set-ExecutionPolicyRemoteSigned  ===》将ExecutionPolicy设
  • 2024-06-21高效管理大型项目:Yarn 在复杂依赖安装中的实践与技巧
    Yarn是一个现代的包管理工具,它通过提高速度、可靠性和安全性,极大地改善了JavaScript项目中依赖的管理。对于大型项目,依赖数量可能非常庞大,这就需要一些高级技巧来确保依赖安装的效率和稳定性。本文将详细介绍如何在Yarn中处理大型项目的依赖安装。大型项目依赖管理的
  • 2024-06-21深入解析:Yarn 锁文件的工作原理与最佳实践
    Yarn是一个现代的包管理器,旨在提供快速、可靠和安全的依赖管理。它在JavaScript项目中广泛使用,尤其是在使用React等前端框架时。Yarn的一个核心特性是它的锁文件,它确保了项目依赖的一致性和可重复性。本文将深入探讨Yarn锁文件的工作原理,并提供一些最佳实践,以帮助开
  • 2024-06-21深入解析:Yarn与npm的比较与差异
    在JavaScript生态系统中,包管理器是不可或缺的工具,它们帮助开发者管理项目依赖,确保代码的可维护性和可扩展性。npm(NodePackageManager)作为最早的包管理器之一,长期以来一直是JavaScript项目的首选。然而,随着Yarn的问世,开发者们开始有了更多的选择。本文将深入探讨Yarn与npm
  • 2024-06-21yarn的安装及使用教程
     Yarn的安装及使用教程Yarn是一个JavaScript包管理工具,由Facebook创建,目的是解决npm的一些痛点,比如速度、安全性和确定性。以下是安装和使用Yarn的详细教程。 安装Yarn 1.使用npm安装Yarn如果你已经安装了Node.js和npm,可以使用npm来安装Yarn:shnpm
  • 2024-06-20重温经典:使用腾讯云轻量搭建在线红白机游戏平台
    在电子游戏的历史长河中,红白机(FC)以其独特的魅力,成为了一代又一代玩家心中的经典。那些熟悉的《超级马里奥兄弟》、《魂斗罗》等游戏声音,至今仍在我们心中回响。如今,通过腾讯云轻量应用服务器,我们能够重温这份怀旧情怀,甚至更上一层楼——搭建自己的在线红白机游戏服务器,让这份快乐
  • 2024-06-19在 VS Code 上配置 Grafana 的本地开发环境
    为了在VSCode上顺利进行Grafana的本地开发,需要配置Node.js环境、安装Yarn和依赖、并确保开发工具能够正常工作。以下是配置和启动本地开发环境的详细步骤,包括使用yarndlx命令来确保VSCode正确配置。步骤1:安装并使用正确版本的Node.js首先,确保你使用的是Node.j
  • 2024-06-0505 Hadoop简单使用
    目录一、hadoop安装配置二、运行hadoop三、hadoop2.x和hadoop3.x变化四、HDFS常用命令五、Java操作HDFS六、MapReduce七、压缩八、yarn常用命令一、hadoop安装配置​1、下载解压hadoop-x.x.x.tar.gztar-xzvfhadoop-x.x.x.tar.gz​2、下载解压jdktar-xzvfj
  • 2024-06-05在使用npm时因为版本太低使用nvs
    nvs是什么?nvs时一款管理nodejs版本的控制工具。百度搜索nvs官网,下载是一个msi的包,直接安装;默认是带入带环境变量的;nvs初始化:nvsinstallnvs查看所有的nodejs版本;nvslistnvs下载一个nodejs版本nvsinstalllts(最新)nvsinstall14.20.0nvsinstall12.12.20n
  • 2024-06-05Hadoop完全分布式安装
    Hadoop完全分布式安装一.集群搭建前期准备1.三台机器防火墙都是关闭的2.确保三台机器网络配置畅通3.三台机器确保/etc/hosts⽂件配置了ip和hostname的映射关系4.确保三台机器配置了ssh免密登录认证二.前期环境搭建免密登录1.修改主机名为server1,配置hosts文件vi/e
  • 2024-06-03【大数据】Hadoop集群搭建(8249字)
    文章目录@[toc]NAT配置IP配置SecureCRT配置PropertiesTerminalEmulationAppearanceJava安装环境变量配置Hadoop1.0安装建立临时文件夹修改配置文件mastersslavescore-site.xmlmapred-site.xmlhdfs-site.xmlhadoop-env.sh环境变量配置Hadoop2.0安装修改配置文件ha
  • 2024-06-02Nocobase快速上手 - 开发第一个插件
    在前面的几篇博文中,记录了在Nocobase中配置collection和界面,这篇文章开始插件的开发。插件可以扩展Nocobase的业务能力,解锁更强大的功能。环境搭建创建插件需要配置nocobase的开发环境,笔者采用的是clone官方代码repo的方式。gitclonehttps://github.com/nocobase/noco
  • 2024-06-01npm install安装时一直idealTree:npm: sill idealTree buildDeps问题
    解决方案:采用新的镜像地址,进入cmd之后输入:npm命令:npmconfigsetregistryhttps://registry.npmmirror.comyarn命令:yarnconfigsetregistryhttps://registry.npmmirror.com查看配置是完成npmconfiggetregistryyarnconfiggetregistry参考:https:
  • 2024-05-31yarn的安装,并使用yarn安装vue脚手架
    首先全局安装yarnnpminstallyarn-g设置yarn的下载源为淘宝镜像yarnconfigsetregistry https://registry.npm.taobao.org官方镜像地址: https://registry.yarnpkg.com查看镜像是否切设置成功yarnconfiggetregistry全局安装vue-cli脚手架yarnglobaladd@vue/cli查
  • 2024-05-31【Yarn】yarn logs 日志过大 The total log size is too large The log size limit is 10240M
    1.概述今天要排查一个现场,然后需要下载日志查看,结果发现日志过大,无法下载[mr@cqsec10075~]$yarnlogs-applicationIdapplication_1679365191066_0008>aa.txt2023-03-2814:24:42
  • 2024-05-25react19.0.0 仓库安装
    react19.0.0仓库安装克隆仓库到本地:gitclonehttps://github.com/facebook/react.gitReactVersions中可以看到当前版本为19.0.0在项目下有个.nvmrc文件,指定了node版本为18.20.0(react18.3.1配套的node版本为14.17.6这跨度有点大啊)安装node18.20.0nvmins