spark-sql的使用

时间：2023-05-11 15:13:28浏览次数：33

标签：-- 使用 hive sql mysql spark

使用spark-sql操作hive数据仓库的前提是需要把hive 配置文件hive-site.xml复制到spark conf目录下

进入到spark bin目录下使用命令开启一个spark-sql：

./spark-sql --master local[*] --jars /usr/hdp/current/hive-server2/lib/mysql-connector-java.jar

因为我们要操作hive，因此需要添加mysql的driver类。

查看库

查看表

spark-sql 将结果输出到文档

spark-sql -S  -e "select * from cmbh_log.hive_user_his_info_rt" > result.txt

标签：--,使用,hive,sql,mysql,spark
From： https://www.cnblogs.com/whiteY/p/17391079.html

spark-sql 启动客户端报错问题
1.spark-sql启动报错java.lang.NoClassDefFoundError:org/apache/tez/dag/api/SessionNotRunning原因：在启动时找不到tez的jar包解决方法：将tez目录下的tez-api-0.9.1.jar复制一份到spark的jars目录下cptez-api-0.9.1.jar/usr/hdp/current/spark2-client/jars/分发到其他......
3-使用MyBatis实现CRUD
1.配置文件实现CRUD如上图所示产品原型，里面包含了品牌数据的查询、按条件查询、添加、删除、批量删除、修改等功能，而这些功能其实就是对数据库表中的数据进行CRUD操作。接下来我们就使用Mybatis完成品牌数据的增删改查操作。以下是我们要完成功能列表：查询查询所有......
hutool-Opt工具使用
1.引入maven依赖<dependency><groupId>cn.hutool</groupId><artifactId>hutool-all</artifactId><version>5.8.16</version></dependency>2.使用判断空值(null)并执行存在操作代码Stringstr="";Opt.ofNullabl......
Linux下修改MySQL可以远程访问
所有操作均在MySQL命令行下执行，进入MySQL命令行：mysql-uroot-p#允许root账户远程登录updatemysql.usersethost='%'whereuser='root';#刷新权限表FLUSHPRIVILEGES;一些其他配置#禁止root账户远程登录updatemysql.usersethost='localhost'whereuser='root';#查......
记cefsharp使用中遇到的坑
很多做过混合客户端开发的人应该都熟悉cefsharp，同类的产品还有webview2，但是如果客户端是以管理员身份运行的，HTML元素 <inputtype="file">是不起作用的。我一开始也是用的webview2，因为无法启用文件上传对话框，后来转到了cefsharp，然后遇到了一个小坑，在此记录一下。 JS调用C#的......
光伏发电系统是什么及直流计量仪表在其中的使用
安科瑞虞佳豪概述独立光伏发电系统也叫离网光伏发电系统。主要由太阳能电池组件、控制器、蓄电池组成，若要为交流负载供电，还需要配置交流逆变器。并网发电系统是将光伏阵列、风力机以及燃料电池等产生的可再生能源不经过蓄电池储能，通过并网逆变器直接反向馈入电网的发电系统。因......
详解一条SQL语句在MySQL架构中的执行过程
详解一条SQL语句在MySQL架构中的执行过程时代Java 2023-05-0907:40 发表于北京↑ 点击上面 “时代Java”关注我们，关注新技术，学习新知识！ 1.单表查询SQL在MySQL架构中的各个组件的执行过程先简单用一张图说明下，MySQL架构有哪些组件，接下来给大家用SQL语句分析假......
MySQL常用运维脚本
MySQL运维常用脚本Laravel技术社区运维网工 2023-04-3009:30 发表于重庆收录于合集#网络运维85个#运维管理77个#MySQL运维1个#运维工程师132个原文链接：https://cdn.modb.pro/db/217710运维网工分享网络运维、运维规划、运维开发、Python运维、Linux运维、devops工具链、k8s......
使用top命令监控服务器进程
最近服务器老是内存满了，导致进程被杀掉，使用top命令记录进程信息，排查是哪个进程有异常先建个monitor-start.sh脚本，供crontab执行，命令如下top-c-bw500-d5-n1-o%MEM-b>>/opt//memory-monitor/log_`date+%Y%m%d`.txt 再编辑crontab文件，填入定时执行命令vim/et......
postman使用方法
使用Postman测试URL，需要输入以下信息：请求方法（RequestMethod）：请求方法指定HTTP/HTTPS请求中使用的动作类型，比如GET、POST、PUT、DELETE。URL（UniformResourceLocator）：URL是识别资源在网络上位置的字串请求头部（Headers）：请求头允许客户端向服务器传递请求的附加信息，例......

spark-sql的使用

查看库

查看表

spark-sql 将结果输出到文档

相关文章

赞助商

阅读排行