首页 > 其他分享 >spark打包小知识

spark打包小知识

时间:2024-12-19 11:34:03浏览次数:4  
标签:文件 sbt scala 知识 jar MergeFiles spark 打包

打包scala代码为jar包时的不同情况(1.只有一个scala文件;  2.项目结构中有多个scala文件)

例如:

 (1)如果只有一个scala文件时:

①在build.sbt中指定主类

mainClass in Compile := Some("com.example.MergeFiles") // 指定要打包的主类

②使用命令对整个项目进行打包

sbt assembly

(2)如果有多个scala文件并且只需要打包其中的某个scala文件为jar包

  • 删除其他文件的 main 方法

    如果您的项目包含多个 Scala 文件,但您只希望打包某一个包含 main 方法的文件(如:MergeFiles.scala),确保项目中其他文件没有 main 方法。然后,在 build.sbt 中指定要打包的主类:

    mainClass in Compile := Some("com.example.MergeFiles") // 只指定 MergeFiles 类
  • 使用 sbt package 打包

    如果您的项目中不需要依赖 sbt-assembly 插件(不需要创建 fat JAR),您可以直接使用 sbt package 来生成 JAR 文件。

    运行以下命令:

    sbt package

    这将生成一个 JAR 文件,但该文件不包含项目的所有依赖(只包含项目的代码)。生成的 JAR 文件位于 target/scala-2.12/ 目录下。

 

 

 

 

小注意:build.sbt文件中的name就是打包过后jar包的名字,在打包不同的代码为jar包时,记得修改名字,否则会覆盖之前的jar包

 

 

 

标签:文件,sbt,scala,知识,jar,MergeFiles,spark,打包
From: https://www.cnblogs.com/lian369/p/18616793

相关文章

  • java小知识-ShutdownHook(优雅关闭)
    作者:京东物流崔冬冬一、先提出一个问题我们如果在JVM退出的时候做一些事情,比如关闭远程链接,怎么实现呢?二、ShutdownHook简介java里有个方法Runtime.getRuntime#addShutdownHook,是否了解呢?ShutdownHook是什么意思呢,看单词解释“关闭钩子”,addShutdownHook就是添加一个关闭钩......
  • Angular 打包 ng build 不压缩混淆
    ngbuild后,js代码被压缩混淆了,好像不太利于学习,何解?无解???非也,非也。试试ngbuild--help,何如?可解,可解。Angular微微抬头,语重心长曰:“小伙子,运行这个命令——ngbuild-cdevelopment。”Huajianketangbuiltittolearnit.......
  • 自然语言处理NLP——基于电影知识图谱和大型语言模型(LLM)的KBQA问答机器人(增加自然语言
    文章目录参考可视化逻辑运行演示参考https://github.com/Xiaoheizi2023/NLP_KBQA可视化逻辑提取出实体后去neo4j搜寻实体相关的图谱,然后返回数据再进行可视化可视化工具cytoscape.js提取实体逻辑:分词后比对关键词运行数据库:Mysql(保存聊天和用户和帖子信息)neo......
  • 【C语言的奥秘11】指针知识点总结(续)
    目录一、指针的运算1、指针与整数相加减2、指针-指针(地址-地址)3、指针的关系运算六、指针和数组七、二级指针八、指针数组一、指针的运算1、指针与整数相加减看一下下面的代码:#include<stdio.h>intmy_strlen(char*str){intcount=0;while(*str!='......
  • Python知识分享第二十九天-PyMySQL
    PyMySQL介绍:概述:它是Python的1个库(模块),可以实现通过Python代码,操作MySQL数据库.该库需要手动安装一下.安装方式:方式1:导包时自动安装.方式2:在PyCharm的Settings->Python编辑器或者Anaconda->安装方式3:通过pip方式,在命令行中......
  • 【知识】分块 & 块状列表
    分块将一个长度为\(n\)的序列分成\(\sqrtn\)段,那么每段长度不超过\(\sqrtn\),每一个区间操作可以转化成小于\(\sqrtn\)个完整段\(+\)\(2\)个长度小于\(\sqrtn\)的段。时间复杂度:\(\mathcal{O}(n^2)\to\mathcal{O}(n\times\sqrtn)\)模板:#include<iostrea......
  • javaweb知识点总结
    HTML1.HTML是一种超文本标记语言,可存储文字,图片,视频等等2.HTML依靠浏览器解析运行3.HTML有自己的预定义标签4.HTML由三部分组成,遵循W3C标准结构:HTML表现:CSS行为:JavaScript基础知识:1.颜色标签文字2.HTML文档不区分大小写3.HTMl语法松散#有时语法错误,功能仍正常基础......
  • 前端知识点---字符串的函数
    文章目录1.length2.charAt(index)3.indexOf(searchValue,start)4.lastIndexOf(searchValue,start)5.slice(start,end)6.substring(start,end)7.substr(start,length)8.toUpperCase()和toLowerCase()9.trim()10.split(separator)11.replace(searchValue......
  • spark安装没有slaves
    Spark的conf目录下没有slaves文件?spark3.5.3解压以后conf目录下没有slaves怎么办?spark找不到slaves怎么办,解决slaves问题大数据的小伙伴晚上,今天在搭建spark集群的时候,发现我的我的spark解压以后/Spark/conf/目录下既然没有slaves文件,(我的spark是3.1.2版本的)我以为我是是不是解压......
  • webpack打包流程及原理
    Webpack是一个模块打包工具,它可以分析项目的依赖关系,将这些依赖转换和打包为合适的格式以供浏览器使用。以下是Webpack打包流程的简化版:**初始化:**读取webpack配置文件,创建compiler对象。**配置:**读取配置文件中的入口和插件选项。**编译:**开始从入口文件开始解析......