HOWTO · Python
在 Python 中逐行读取 CSV
本文讨论了如何在 Python 中逐行读取 CSV 文件。
本页内容
使用 Python 标准库中的 csv 模块,可以逐条处理 CSV 文件中的记录。csv.reader 会将每条记录作为列表返回,而 csv.DictReader 会使用表头字段作为字典键。下面的示例会自行创建样例文件,因此可以直接运行;改编示例时,将这部分设置替换为你的文件路径即可。
准备示例所用的 CSV 文件
CSV 记录由一行字段组成,字段通常以逗号分隔。表头是可选的第一条记录,用来标明各字段的名称。CSV 文件也可能包含带引号的字段,例如含有逗号的姓名,因此应使用 Python 的 csv 模块,而不要自行按逗号拆分每一行。
你可以使用电子表格或记事本等纯文本编辑器创建文件。本例的样例内容为 Roll Number,Name,Subject,后面依次是 1,Harry Potter,Magical Creatures、2,Ron Weasley,Divination 和 3,Hermione Granger,Dark arts。如果想用磁盘上的文件跟着练习,请将相同内容保存为 Demo.csv。
使用 csv.reader 读取每条 CSV 记录
当字段的位置很重要时,csv.reader 很实用。它会将每条记录作为字符串列表返回;如果文件包含表头,表头也会作为一条记录返回。遍历 reader 可以逐步处理记录,但这并不保证内存中始终恰好只有一条物理行,因为缓冲机制和跨多行的带引号字段都会影响读取过程。
运行以下示例。为保持代码和输出与规范示例逐字节一致,示例中的代码、标签和输出仍为英文。
import csv
import os
import tempfile
rows = [
["Roll Number", "Name", "Subject"],
["1", "Harry Potter", "Magical Creatures"],
["2", "Ron Weasley", "Divination"],
["3", "Hermione Granger", "Dark arts"],
]
path = ""
try:
with tempfile.NamedTemporaryFile("w", newline="", encoding="utf-8", delete=False) as file:
path = file.name
csv.writer(file).writerows(rows)
with open(path, newline="", encoding="utf-8") as file:
for row in csv.reader(file):
print(row)
finally:
if path and os.path.exists(path):
os.remove(path)
['Roll Number', 'Name', 'Subject']
['1', 'Harry Potter', 'Magical Creatures']
['2', 'Ron Weasley', 'Divination']
['3', 'Hermione Granger', 'Dark arts']
迭代结束时,with 语句会关闭文件,即使处理过程提前停止也一样。使用 csv 模块打开文件时,请设置 newline="",并指定 UTF-8 等编码,以便一致地解码文本。open() 的默认模式是 "r";像创建样例文件那样写入文件时,则使用 "w"。
跳过表头并处理空文件
如果第一条记录包含列名,可以调用内置的 next() 并提供默认值,以安全地读取并跳过表头。若没有第一条记录,next(reader, None) 会返回 None,因此只有找到表头时才会进入循环。空文件和只有表头的文件都不会产生数据行。
下面的示例展示如何处理带表头的文件和空文件。为保持代码和输出与规范示例逐字节一致,示例中的代码、标签和输出仍为英文。
import csv
import os
import tempfile
def data_rows(content):
path = ""
try:
with tempfile.NamedTemporaryFile("w", newline="", encoding="utf-8", delete=False) as file:
path = file.name
file.write(content)
with open(path, newline="", encoding="utf-8") as file:
reader = csv.reader(file)
header = next(reader, None)
return list(reader) if header is not None else []
finally:
if path and os.path.exists(path):
os.remove(path)
print(data_rows("Name,Subject\nHarry Potter,Magical Creatures\n"))
print(data_rows(""))
[['Harry Potter', 'Magical Creatures']]
[]
提供可选默认值很重要:对于空文件,如果调用不带默认值的 next(reader),就没有第一项可供返回。如果输入文件没有表头,就不要读取并跳过第一行;像前面的示例一样直接遍历 reader 即可。
使用 csv.DictReader 将记录读取为字典
如果字段名称比数字位置更容易理解,可以选择 csv.DictReader。默认情况下,它会将第一条记录视为表头,并把之后的每条记录映射为一个字典。字段值仍然是字符串;需要数值时,请显式转换相应的值。为保持代码和输出与规范示例逐字节一致,本节示例中的代码、标签和输出仍为英文。
import csv
import os
import tempfile
content = (
"Roll Number,Name,Subject\n"
"1,Harry Potter,Magical Creatures\n"
"2,Ron Weasley,Divination\n"
"3,Hermione Granger,Dark arts\n"
)
path = ""
try:
with tempfile.NamedTemporaryFile("w", newline="", encoding="utf-8", delete=False) as file:
path = file.name
file.write(content)
with open(path, newline="", encoding="utf-8") as file:
for row in csv.DictReader(file):
print(row)
finally:
if path and os.path.exists(path):
os.remove(path)
{'Roll Number': '1', 'Name': 'Harry Potter', 'Subject': 'Magical Creatures'}
{'Roll Number': '2', 'Name': 'Ron Weasley', 'Subject': 'Divination'}
{'Roll Number': '3', 'Name': 'Hermione Granger', 'Subject': 'Dark arts'}
例如,可以用 row["Name"] 访问一条记录。DictReader 会将表头中的值用作键;如果文件没有表头,请通过 fieldnames 参数提供字段名,以免第一条数据记录被当作表头。
如何选择列表行或字典
如果你需要紧凑的列表,并且知道每个字段的位置,例如用 row[0] 访问第一列,请使用 csv.reader。如果 row["Subject"] 这样的字段名称能让代码更易理解或维护,请使用 csv.DictReader。两种 reader 都会逐条遍历记录;除非代码进行转换,否则字段值都会保持为字符串。处理大型文件时,应在循环中处理每条读取到的记录,而不要把所有记录收集到一个列表中。