Python numpy 入门系列 21 文件
1 NumPy 数组的二进制存取
NumPy 提供了专门的函数 save() 和 load()，用来保存和读取 NumPy 数组的二进制文件。这种方式高效且适合大规模数据的存储。
1.1 保存数组为二进制文件
save() 函数将 NumPy 数组保存为 .npy 格式的文件。该格式存储的是数组的二进制数据，读取和写入速度较快。
import numpy as np
# 创建一个数组
arr = np.array([1, 2, 3, 4, 5])
# 将数组保存为二进制文件
np.save('array.npy', arr)
print("数组已保存为 'array.npy'")
1.2 从二进制文件读取数组
使用 load() 函数可以将之前保存的 .npy 文件读取回 NumPy 数组。
import numpy as np
# 从二进制文件读取数组 loaded_arr = np.load('array.npy') print("从文件读取的数组：", loaded_arr)
1.3 保存和读取多个数组
当需要保存多个数组时，NumPy 提供了 savez() 函数，可以将多个数组保存到一个压缩文件中，并使用键值对的形式进行访问。
import numpy as np
# 保存多个数组到一个文件 arr1 = np.array([1, 2, 3]) arr2 = np.array([4, 5, 6]) np.savez('arrays.npz', array1=arr1, array2=arr2) print("多个数组已保存为 'arrays.npz' 文件") # 从文件读取多个数组 data = np.load('arrays.npz') print("从文件读取的数组1：", data['array1']) print("从文件读取的数组2：", data['array2'])
2 NumPy 与文本文件操作
除了二进制文件，文本文件也是非常常用的数据存储方式，尤其是 CSV（Comma-Separated Values，逗号分隔值）文件。NumPy 提供了 savetxt() 和 loadtxt() 函数，用于处理文本文件。
2.1 保存数组为文本文件
np.savetxt() 函数允许将数组保存为文本文件，可以指定分隔符（如逗号、空格等），适合导出数据供人类阅读或用于外部工具处理。
import numpy as np
# 创建二维数组 arr = np.array([[1.5, 2.3, 3.1], [4.5, 5.2, 6.8]]) # 将数组保存为文本文件，使用逗号分隔 np.savetxt('array.txt', arr, delimiter=',') print("数组已保存为 'array.txt'")
2.2 从文本文件读取数组
使用 np.loadtxt() 可以从文本文件中读取数据，并将其转换为 NumPy 数组。这个函数非常适合读取格式化的表格数据。
import numpy as np
# 从文本文件读取数组 loaded_txt_arr = np.loadtxt('array.txt', delimiter=',') print("从文本文件读取的数组：\n", loaded_txt_arr)
2.3 CSV 文件的读写
CSV 文件是常见的数据存储格式，尤其在数据分析和机器学习领域。savetxt() 和 loadtxt() 也可以用来处理 CSV 文件。
import numpy as np
# 保存数组为 CSV 文件 np.savetxt('array.csv', arr, delimiter=',', header='Col1,Col2,Col3') print("数组已保存为 'array.csv'") # 从 CSV 文件读取数组 loaded_csv_arr = np.loadtxt('array.csv', delimiter=',', skiprows=1) print("从 CSV 文件读取的数组：\n", loaded_csv_arr)
3 使用 genfromtxt() 读取含缺失数据的文件
在实际的数据处理中，文本文件可能包含缺失数据（例如某些列或行为空值）。genfromtxt() 函数是一个更强大的函数，它能够处理这些缺失数据并自动将其转为指定的缺失值。
3.1 读取含缺失数据的文件
import numpy as np
# 从含有缺失值的文件读取数据 data_with_missing = np.genfromtxt('missing_data.csv', delimiter=',', filling_values=-999) print("处理缺失值的数据：\n", data_with_missing)
在此示例中，filling_values=-999 参数将缺失值替换为 -999。我们也可以通过 dtype 参数指定不同的数据类型。
4 使用 Pandas 和 NumPy 协同处理文件
虽然 NumPy 能够处理文本和二进制文件，但在处理大型数据集和复杂的 CSV 文件时，Pandas 提供了更强大的功能。Pandas 数据结构（如 DataFrame）与 NumPy 数组之间可以相互转换。
4.1 使用 Pandas 读取 CSV 文件
Pandas 提供了 read_csv() 函数来读取 CSV 文件，并且可以直接将其转换为 NumPy 数组。
import numpy as np
import pandas as pd # 使用 Pandas 读取 CSV 文件 df = pd.read_csv('data.csv') # 将 Pandas DataFrame 转换为 NumPy 数组 np_array = df.to_numpy() print("转换为 NumPy 数组：\n", np_array)
4.2 将 NumPy 数组保存为 CSV 文件
Pandas 也可以将 NumPy 数组转换为 DataFrame，然后保存为 CSV 文件。
import numpy as np
# 将 NumPy 数组转换为 DataFrame 并保存为 CSV 文件 df = pd.DataFrame(arr) df.to_csv('saved_data.csv', index=False) print("NumPy 数组已保存为 CSV 文件")
REF
https://zhuanlan.zhihu.com/p/1107698156
https://download.csdn.net/blog/column/11191307/119647570
https://www.jianshu.com/p/f114783a0a54
原文链接：https://blog.csdn.net/imdeity/article/details/141942153