F.array() 是 PySpark 中的一个函数，用于将多个列组合成一个数组类型的列。F 通常是 pyspark.sql.functions 模块的简写方式，便于调用。
语法
pyspark.sql.functions.array(*cols)
参数
*cols: 需要组合成数组的多个列。这些列可以是直接传入的列名（字符串）或使用 F.col("column_name") 指定的列对象。
返回值
F.array() 返回一个数组类型（ArrayType）的列，数组中的每个元素是原始列的值，且顺序保持一致。
使用场景
- 将多列组合为一列：在某些情况下，你可能需要将多列的数据组合为一个数组，方便进行进一步的处理。
- 结构化数据：将多列的值合并到一个数组中，作为后续操作的输入，比如
F.explode()或者数据转换。
示例
假设你有一个 DataFrame df，包含三列 col1, col2, col3，如下所示：
| col1 | col2 | col3 |
|---|---|---|
| A | 1 | 100 |
| B | 2 | 200 |
| C | 3 | 300 |
你可以使用 F.array() 将这三列组合成一个数组列：
from pyspark.sql import functions as F
# 使用 F.array() 将三列组合为一个数组列
df = df.withColumn("combined", F.array("col1", "col2", "col3"))
# 展示结果
df.show(truncate=False)结果
| col1 | col2 | col3 | combined |
|---|---|---|---|
| A | 1 | 100 | ["A", 1, 100] |
| B | 2 | 200 | ["B", 2, 200] |
| C | 3 | 300 | ["C", 3, 300] |
注意事项
- 数据类型：
F.array()可以组合不同类型的列（如字符串、整数、浮点数等），但要注意在一些操作中，混合类型可能需要额外的处理。 - 嵌套数组：如果输入的列已经是数组类型，
F.array()会将这些数组作为元素嵌套在新数组中。
其他示例
-
组合特定列：
df = df.withColumn("partial_combined", F.array("col1", "col3"))结果中
partial_combined列会包含col1和col3的组合。 -
与其他函数结合使用： 结合
F.explode()，可以将数组列拆分成多行：df = df.withColumn("exploded", F.explode(F.array("col1", "col2", "col3"))) -
动态列选择： 在某些情况下，你可以动态选择列名并传入
F.array()：selected_columns = ["col1", "col2"] df = df.withColumn("dynamic_array", F.array(*[F.col(c) for c in selected_columns]))
通过 F.array()，你可以灵活地将多个列组合成数组，适用于各种数据转换、分析场景，尤其是在需要将多个值组合成一个结构化的字段时非常有用。