标签：函数 创建 DataFrame Dataset SparkSession 隐式
|
DataFrame |
Dataset |
| 创建方式 |
1.根据集合或者RDD的隐式函数toDF(列名)创建(需要引入SparkSession的隐式转换函数)2.SparkSession的createDataFrame函数3.外部结构化文件4.外部关系型数据库5.Hive数据仓库 |
1.根据集合或者RDD的隐式转换函数toDS()创建2.通过sparksession的createDataset函数来创建3.从DataFrame转化的来(这三种方式都是引入SparkSession的隐式转换内容，构建Dataset的时候，需要一个Encoder编码器，编码器时使用隐式参数声明的，所以我们需要一个隐式变量来填充隐式参数)4.从外部结构文件创建sparksession.read.options.textFile5.[注意]SparkSQL中，Dataset中存放的数据类型我们一般希望是Bean类型的 |
标签：函数,
创建,
DataFrame,
Dataset,
SparkSession,
隐式
From： https://www.cnblogs.com/jsqup/p/16640507.html