矢量化操作是 Pandas 的一个强大特性，它允许你对整个 DataFrame 或 Series 进行操作，而不需要显式地写出循环。矢量化操作利用底层的 C 语言实现和优化，使得它在处理大数据集时比循环效率更高。
使用矢量化操作替代 iterrows() 的示例
假设你有以下 DataFrame df，并且你想要在每一行上执行某些操作：
import pandas as pd
data = {'A': [1, 2, 3], 'B': [4, 5, 6], 'C': [7, 8, 9]}
df = pd.DataFrame(data)
示例 1: 对某一列的数据进行转换
假设你想对 A 列中的每个值加 10，使用 iterrows() 你可能会这样做：
import pandas as pd
data = {'A': [1, 2, 3], 'B': [4, 5, 6], 'C': [7, 8, 9]}
df = pd.DataFrame(data)
使用矢量化操作，只需一行代码：
df['A'] = df['A'] + 10
示例 2: 根据多列的条件来生成新列
假设你想根据 A 和 B 两列的值生成新的一列 D，内容是 A 和 B 的和，使用 iterrows() 你可能会这样做：
for index, row in df.iterrows():
df.at[index, 'D'] = row['A'] + row['B']
使用矢量化操作：
df['D'] = df['A'] + df['B']
示例 3: 条件筛选并修改
假设你想在 C 列大于 7 时，将 A 列的值改为 0，使用 iterrows() 你可能会这样做：
for index, row in df.iterrows():
if row['C'] > 7:
df.at[index, 'A'] = 0
使用矢量化操作：
df.loc[df['C'] > 7, 'A'] = 0
示例 4: 使用 apply 函数进行更复杂的操作
如果你需要对一列的值进行复杂的变换，使用 apply 是矢量化操作的一个变体，性能仍然优于 iterrows()。例如：
df['A'] = df['A'].apply(lambda x: x ** 2 + 2 * x + 1)
为什么矢量化操作更快？
- 底层实现：矢量化操作是在底层 C 或 Cython 代码中直接执行的，这比逐行操作的 Python 循环快得多。
- 减少 Python 循环：
iterrows()逐行操作，每一行的数据处理都会引起 Python 解释器的调用，而矢量化操作通常是在更接近硬件的层次上执行的。 - 并行计算：在某些情况下，矢量化操作可以自动并行化，从而进一步提升性能。
总结
尽可能使用矢量化操作来代替循环和 iterrows()，这会让代码不仅更简洁，而且性能也会显著提升。在处理大型数据集时，这种性能差异尤为明显。