一、调用hadoopfile方法读取TXT文件，针对复杂的分割方式，例如|+|，；等

val gbkPath = s"/bdtj/line/DD_OUT_NOW_LV_$month.txt"//文件路径

//将gbkPath以参数的形式传入进行读取

val Company2_temp = spark.sparkContext.hadoopFile(gbkPath, classOf[TextInputFormat], classOf[LongWritable], classOf[Text], 1)
  .map(p => new String(p._2.getBytes, 0, p._2.getLength, "UTF-8"))
val str: String = Company2_temp.first()//提取文件中表头第一条
val Company2 = Company2_temp.filter(!_.equals(str))//过滤掉文件第一行
  .map(lines => {
    val line: Array[String] = lines.split("\\|\\+\\|", -1)
    (line(0).drop(1).dropRight(1), line(1).drop(1).dropRight(1), line(2).drop(1).dropRight(1), line(3).drop(1).dropRight(1), line(4).drop(1).dropRight(1), line(5).drop(1).dropRight(1), line(6).drop(1).dropRight(1), line(7).drop(1).dropRight(1), line(8).drop(1).dropRight(1), line(9).drop(1).dropRight(1), line(10).drop(1).dropRight(1), line(11).drop(1).dropRight(1), line(12).drop(1).dropRight(1), line(13).drop(1).dropRight(1), line(14).drop(1).dropRight(1), line(15).drop(1).dropRight(1), line(16).drop(1).dropRight(1), line(17).drop(1).dropRight(1), line(18).drop(1).dropRight(1), line(19).drop(1).dropRight(1), line(20).drop(1).dropRight(1), line(21).drop(1).dropRight(1))
  }
  ).toDF("CITY_NAME", "W_NUM", "L_NUM", "N_NUM", "NR21_NUM", "NR35_NUM", "W_NOW_NUM", "L_NOW_NUM", "N_NOW_NUM", "NR21_NOW_NUM", "NR35_NOW_NUM", "L_LV", "NR21_LV", "NR35_LV", "E_LV", "L_BMD_NUM", "E_BMD_NUM", "L_LV_MONTH", "NR21_LV_MONTH", "NR35_LV_MONTH", "E_LV_MONTH", "DAY_NUM")
Company2.show(100, false)

二、调用read方法读取csv文件，这类文件格式较为简单大多以，分割

    val keda_3g: DataFrame = spark
      .read
      .format("csv")
      .option("header", "true")//跳过第一行
      .option("encoding", "gbk")//编码格式
      .option("inferSchema", true.toString)//自动推测字段类型

      .option("delimiter", ",") //分隔符，默认为 ,
            .load(s"/bdtj/3G_Traffic/3gwy/keda_3g_$yesterday.csv")
//      .load(s"E:\\IDEA\\TianJin-ChinaUnicom\\data_1\\keda_3g_$yesterday.csv")
      .toDF("time", "Location_area_code", "Cell_id", "manufactor",
        "Community_name", "RLC_UP", "RLC_DOWN", "CS", "Send")

/** *   参数可以字符串，也可以是具体的类型，比如boolean
     * delimiter 分隔符，默认为逗号,
     * nullValue 指定一个字符串代表 null 值
     * quote 引号字符，默认为双引号"
     * header 第一行不作为数据内容，作为标题
     * inferSchema 自动推测字段类型
     * ignoreLeadingWhiteSpace 裁剪前面的空格
     * ignoreTrailingWhiteSpace 裁剪后面的空格
     * nullValue 空值设置，如果不想用任何符号作为空值，可以赋值null即可
     * multiline  运行多列，超过62 columns时使用
     * encoding   指定編码，如：gbk  / utf-8  Unicode  GB2312
     * ** */