• 2025-01-03Vue3 启动报错:failed to load config from D:\file\vue\examination_front\vite.config.ts error
    今天在创建vue3项目的时候报错了一个启动开发服务器时遇到了一个构建错误 查询了一下,执行npm i的时候,他并没有帮我安装vitePSD:\file\vue\hello_vue3>npmlistvitehello_vue3@0.0.0D:\file\vue\hello_vue3└──(empty)最后执行安装,就能启动了PSD:\file\vue\h
  • 2025-01-02Linux mint的hadoop安装方法
    参考网址http://www.powerxing.com/install-hadoop/1.创建hadoop账户这条命令创建了可以登陆的hadoop用户,并使用/bin/bash作为shell。sudouseradd-mhadoop-s/bin/bash2.接着使用如下命令设置密码,可简单设置为hadoop,按提示输入两次密码:sudopasswdhadoop3.可为h
  • 2025-01-02请说说npm/cnpm/yarn/pnpm的区别
    在前端开发中,npm、cnpm、yarn和pnpm都是常用的包管理工具,它们各自有特定的设计理念和功能特性。以下是对这些工具的主要区别的清晰归纳:npm(NodePackageManager):是Node.js的默认和官方包管理器,随Node.js一起发布。使用扁平化依赖结构,可能导致同一个依赖的不同版本存在于
  • 2024-12-31Hadoop三大组件:大数据世界的瑞士军刀
    Hadoop是一个能够在大量计算机集群上处理和存储海量数据的软件框架。它有三个非常重要的组件,分别是HDFS(HadoopDistributedFileSystem,分布式文件系统)、MapReduce和YARN(YetAnotherResourceNegotiator,资源协商器)。HDFS(分布式文件系统)想象一下,你有一个非常大的图书馆,里面
  • 2024-12-28Yarn基础概念和使用
    目录Yarn简介安装与配置基础命令日常使用Yarn简介历史背景Yarn作为一个包管理器,最初是由Facebook在2016年3月发布的。它的诞生主要是为了解决npm(NodePackageManager)在大规模项目和组织中遇到的一些性能和可靠性问题。随着JavaScript生态系统的迅速增长,npm
  • 2024-12-28Yarn工作空间和高级命令
    目录工作空间高级命令性能优化错误处理与调试工作空间Monorepo概念Monorepo(单仓库)是一种软件工程实践,它将多个相关的项目或包存储在一个单一的Git仓库中。这种做法有多个好处:简化依赖管理:共享依赖可以避免重复安装和版本冲突。统一构建和测试:所有项目都可以使用相
  • 2024-12-28[4433] 19 安装提效:部署流程中的依赖安装效率优化
    上节课我们主要介绍了几个典型的部署工具及其特点。课后的思考题是如果所在企业需要选择一款CI/CD工具,你选择的依据有哪些?如果是我会从这几个方面思考:选择付费系统还是免费系统,选择云服务还是自运维,所选的方案是否便于对接上下游系统流程,使用配置是否便捷,对用户而言是否有学习成
  • 2024-12-28Hadoop YARN:调度性能优化实践11
     背景YARN作为Hadoop的资源管理系统,负责Hadoop集群上计算资源的管理和作业调度。美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。离线业务主要运行的是HiveonMapReduce,SparkSQL为主的数据仓库作业。实时业务主要运行S
  • 2024-12-27Hadoop YARN:调度性能优化实践15
      背景YARN作为Hadoop的资源管理系统,负责Hadoop集群上计算资源的管理和作业调度。美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。离线业务主要运行的是HiveonMapReduce,SparkSQL为主的数据仓库作业。实时业务主要运
  • 2024-12-27Hadoop YARN:调度性能优化实践15
      背景YARN作为Hadoop的资源管理系统,负责Hadoop集群上计算资源的管理和作业调度。美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。离线业务主要运行的是HiveonMapReduce,SparkSQL为主的数据仓库作业。实时业务主要运
  • 2024-12-27Hadoop YARN:调度性能优化实践13
      背景YARN作为Hadoop的资源管理系统,负责Hadoop集群上计算资源的管理和作业调度。美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。离线业务主要运行的是HiveonMapReduce,SparkSQL为主的数据仓库作业。实时业务主要运
  • 2024-12-27Hadoop YARN:调度性能优化实践14
      背景YARN作为Hadoop的资源管理系统,负责Hadoop集群上计算资源的管理和作业调度。美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。离线业务主要运行的是HiveonMapReduce,SparkSQL为主的数据仓库作业。实时业务主要运
  • 2024-12-27Hadoop YARN:调度性能优化实践12
      背景YARN作为Hadoop的资源管理系统,负责Hadoop集群上计算资源的管理和作业调度。美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。离线业务主要运行的是HiveonMapReduce,SparkSQL为主的数据仓库作业。实时业务主要运
  • 2024-12-27yarn install 安装报错:Workspaces can only be enabled in private projects.
    在本地运行项目的时候,使用yarninstall安装模块依赖的时候,遇到报错:Workspacescanonlybeenabledinprivateprojects.一、原因分析报这个错误是因为你使用了yarn的workspace,但并未将工程标记为private。二、解决办法在项目根目录中的package.json文件中添加p
  • 2024-12-25Hadoop YARN:调度性能优化实践1
     背景YARN作为Hadoop的资源管理系统,负责Hadoop集群上计算资源的管理和作业调度。美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。离线业务主要运行的是HiveonMapReduce,SparkSQL为主的数据仓库作业。实时业务主要运行S
  • 2024-12-25Hadoop YARN:调度性能优化实践15
     背景YARN作为Hadoop的资源管理系统,负责Hadoop集群上计算资源的管理和作业调度。美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。离线业务主要运行的是HiveonMapReduce,SparkSQL为主的数据仓库作业。实时业务主要运行S
  • 2024-12-25Hadoop YARN:调度性能优化实践1
     背景YARN作为Hadoop的资源管理系统,负责Hadoop集群上计算资源的管理和作业调度。美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。离线业务主要运行的是HiveonMapReduce,SparkSQL为主的数据仓库作业。实时业务主要运行S
  • 2024-12-25Hadoop YARN:调度性能优化实践4
     背景YARN作为Hadoop的资源管理系统,负责Hadoop集群上计算资源的管理和作业调度。美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。离线业务主要运行的是HiveonMapReduce,SparkSQL为主的数据仓库作业。实时业务主要运行S
  • 2024-12-25Hadoop YARN:调度性能优化实践1
     背景YARN作为Hadoop的资源管理系统,负责Hadoop集群上计算资源的管理和作业调度。美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。离线业务主要运行的是HiveonMapReduce,SparkSQL为主的数据仓库作业。实时业务主要运行S
  • 2024-12-25Hadoop YARN:调度性能优化实践3
     背景YARN作为Hadoop的资源管理系统,负责Hadoop集群上计算资源的管理和作业调度。美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。离线业务主要运行的是HiveonMapReduce,SparkSQL为主的数据仓库作业。实时业务主要运行S
  • 2024-12-25Hadoop YARN:调度性能优化实践15
     背景YARN作为Hadoop的资源管理系统,负责Hadoop集群上计算资源的管理和作业调度。美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。离线业务主要运行的是HiveonMapReduce,SparkSQL为主的数据仓库作业。实时业务主要运行S
  • 2024-12-25hadoop集群部署
    1.前置条件及准备工作SSH免密登录JDK1.8上传tar包远程调用脚本及远程同步脚本远程调用脚本#!/bin/bashp_cnt=$#if((p_cnt<1));then echonoargs; exit;ficuser=`whoami`forhostinnode1node2node3do echo---------$host----------- ssh-p6
  • 2024-12-24docker运行Hadoop、Spark3,Flink1.x
    windowsdockerdesktopdocker-compose.ymlservices:#Hadoopnamenode:image:bde2020/hadoop-namenode:2.0.0-hadoop3.2.1-java8container_name:namenodeports:-9870:9870-9000:9000volumes:-.\hadoop\dfs\name:/had
  • 2024-12-23nvm npm yarn 相关配置
    一、NVM1、NVM下载安装包下载地址:https://github.com/coreybutler/nvm-windows/releases2、卸载旧版Node.js如果电脑上之前已经单独安装了Node.js,先卸载删除,环境变量也删除。3、安装解压后双击exe文件安装 安装完成后,自动添加了如下环境变量 命令行窗口输入nvm,如下
  • 2024-12-22【亲测有效】Flink1.20分布式集群搭建-最新版本
    一、Flink部署模式由于在一些企业应用场景中,对于集群资源分配和占用的方式,可能会有特定的需求,所以Flink为各种场景提供了不同的部署模式,主要包含以下三种模式。会话模式(SessionMode):如图所示,在会话模式中,会先启动一个Flink集群保持一个会话,然后通过客户端提交Flink作业。