使用SparkSQL向Hive表写入数据的流程
为了向Hive表写入数据，我们需要完成以下步骤：
| 步骤 | 描述 |
|---|---|
| 1 | 创建SparkSession |
| 2 | 创建DataFrame |
| 3 | 将DataFrame注册为表 |
| 4 | 写入数据到Hive表 |
接下来，我们将逐步指导你完成这些步骤。
步骤1：创建SparkSession
首先，我们需要创建一个SparkSession对象。SparkSession是与Spark集群进行交互的入口。以下是创建SparkSession的代码：
import org.apache.spark.sql.SparkSession
val spark = SparkSession.builder()
.appName("Write to Hive table")
.enableHiveSupport()
.getOrCreate()
在上述代码中，我们导入了SparkSession类并创建了一个名为"Write to Hive table"的Spark应用程序。我们还通过调用.enableHiveSupport()方法启用了Hive支持。最后，我们使用.getOrCreate()方法获取或创建SparkSession实例。
步骤2：创建DataFrame
接下来，我们需要创建一个DataFrame对象，用于存储要写入Hive表的数据。以下是一个示例代码：
val data = Seq(("John", 25), ("Jane", 30), ("Tom", 35))
val df = spark.createDataFrame(data).toDF("name", "age")
在上述代码中，我们使用了一个包含姓名和年龄的数据集，并调用.createDataFrame()方法将其转换为DataFrame。然后，我们使用.toDF()方法为DataFrame的列设置了名称。
步骤3：将DataFrame注册为表
在将数据写入Hive表之前，我们需要将DataFrame注册为一个临时表。以下是一个示例代码：
df.createOrReplaceTempView("people")
在上述代码中，我们使用.createOrReplaceTempView()方法将DataFrame注册为一个名为"people"的临时表。
步骤4：写入数据到Hive表
最后，我们可以使用SparkSQL语法将数据写入Hive表。以下是一个示例代码：
spark.sql("INSERT INTO TABLE hive_table SELECT * FROM people")
在上述代码中，我们使用spark.sql()方法执行了一条SQL语句。我们使用INSERT INTO TABLE语句将来自"people"表的数据插入到名为"hive_table"的Hive表中。
完成了以上步骤，你就成功地使用SparkSQL向Hive表写入了数据。
请注意，在执行上述代码之前，你需要确保已经正确配置了Hive的元数据存储位置，并且具有对Hive表的写入权限。
希望这篇文章对你有所帮助！
标签：4.5,Shell,SparkSession,代码,写入,DataFrame,Hive,步骤,操作步骤 From： https://blog.51cto.com/u_16175464/6709516