HOWTO · Python

在 Python 中逐行读取 CSV

本文讨论了如何在 Python 中逐行读取 CSV 文件。

本页内容

使用 Python 标准库中的 csv 模块,可以逐条处理 CSV 文件中的记录。csv.reader 会将每条记录作为列表返回,而 csv.DictReader 会使用表头字段作为字典键。下面的示例会自行创建样例文件,因此可以直接运行;改编示例时,将这部分设置替换为你的文件路径即可。

准备示例所用的 CSV 文件

CSV 记录由一行字段组成,字段通常以逗号分隔。表头是可选的第一条记录,用来标明各字段的名称。CSV 文件也可能包含带引号的字段,例如含有逗号的姓名,因此应使用 Python 的 csv 模块,而不要自行按逗号拆分每一行。

你可以使用电子表格或记事本等纯文本编辑器创建文件。本例的样例内容为 Roll Number,Name,Subject,后面依次是 1,Harry Potter,Magical Creatures、2,Ron Weasley,Divination 和 3,Hermione Granger,Dark arts。如果想用磁盘上的文件跟着练习,请将相同内容保存为 Demo.csv。

使用 csv.reader 读取每条 CSV 记录

当字段的位置很重要时,csv.reader 很实用。它会将每条记录作为字符串列表返回;如果文件包含表头,表头也会作为一条记录返回。遍历 reader 可以逐步处理记录,但这并不保证内存中始终恰好只有一条物理行,因为缓冲机制和跨多行的带引号字段都会影响读取过程。

运行以下示例。为保持代码和输出与规范示例逐字节一致,示例中的代码、标签和输出仍为英文。

import csv
import os
import tempfile

rows = [
    ["Roll Number", "Name", "Subject"],
    ["1", "Harry Potter", "Magical Creatures"],
    ["2", "Ron Weasley", "Divination"],
    ["3", "Hermione Granger", "Dark arts"],
]
path = ""
try:
    with tempfile.NamedTemporaryFile("w", newline="", encoding="utf-8", delete=False) as file:
        path = file.name
        csv.writer(file).writerows(rows)
    with open(path, newline="", encoding="utf-8") as file:
        for row in csv.reader(file):
            print(row)
finally:
    if path and os.path.exists(path):
        os.remove(path)
['Roll Number', 'Name', 'Subject']
['1', 'Harry Potter', 'Magical Creatures']
['2', 'Ron Weasley', 'Divination']
['3', 'Hermione Granger', 'Dark arts']

迭代结束时,with 语句会关闭文件,即使处理过程提前停止也一样。使用 csv 模块打开文件时,请设置 newline="",并指定 UTF-8 等编码,以便一致地解码文本。open() 的默认模式是 "r";像创建样例文件那样写入文件时,则使用 "w"。

跳过表头并处理空文件

如果第一条记录包含列名,可以调用内置的 next() 并提供默认值,以安全地读取并跳过表头。若没有第一条记录,next(reader, None) 会返回 None,因此只有找到表头时才会进入循环。空文件和只有表头的文件都不会产生数据行。

下面的示例展示如何处理带表头的文件和空文件。为保持代码和输出与规范示例逐字节一致,示例中的代码、标签和输出仍为英文。

import csv
import os
import tempfile

def data_rows(content):
    path = ""
    try:
        with tempfile.NamedTemporaryFile("w", newline="", encoding="utf-8", delete=False) as file:
            path = file.name
            file.write(content)
        with open(path, newline="", encoding="utf-8") as file:
            reader = csv.reader(file)
            header = next(reader, None)
            return list(reader) if header is not None else []
    finally:
        if path and os.path.exists(path):
            os.remove(path)

print(data_rows("Name,Subject\nHarry Potter,Magical Creatures\n"))
print(data_rows(""))
[['Harry Potter', 'Magical Creatures']]
[]

提供可选默认值很重要:对于空文件,如果调用不带默认值的 next(reader),就没有第一项可供返回。如果输入文件没有表头,就不要读取并跳过第一行;像前面的示例一样直接遍历 reader 即可。

使用 csv.DictReader 将记录读取为字典

如果字段名称比数字位置更容易理解,可以选择 csv.DictReader。默认情况下,它会将第一条记录视为表头,并把之后的每条记录映射为一个字典。字段值仍然是字符串;需要数值时,请显式转换相应的值。为保持代码和输出与规范示例逐字节一致,本节示例中的代码、标签和输出仍为英文。

import csv
import os
import tempfile

content = (
    "Roll Number,Name,Subject\n"
    "1,Harry Potter,Magical Creatures\n"
    "2,Ron Weasley,Divination\n"
    "3,Hermione Granger,Dark arts\n"
)
path = ""
try:
    with tempfile.NamedTemporaryFile("w", newline="", encoding="utf-8", delete=False) as file:
        path = file.name
        file.write(content)
    with open(path, newline="", encoding="utf-8") as file:
        for row in csv.DictReader(file):
            print(row)
finally:
    if path and os.path.exists(path):
        os.remove(path)
{'Roll Number': '1', 'Name': 'Harry Potter', 'Subject': 'Magical Creatures'}
{'Roll Number': '2', 'Name': 'Ron Weasley', 'Subject': 'Divination'}
{'Roll Number': '3', 'Name': 'Hermione Granger', 'Subject': 'Dark arts'}

例如,可以用 row["Name"] 访问一条记录。DictReader 会将表头中的值用作键;如果文件没有表头,请通过 fieldnames 参数提供字段名,以免第一条数据记录被当作表头。

如何选择列表行或字典

如果你需要紧凑的列表,并且知道每个字段的位置,例如用 row[0] 访问第一列,请使用 csv.reader。如果 row["Subject"] 这样的字段名称能让代码更易理解或维护,请使用 csv.DictReader。两种 reader 都会逐条遍历记录;除非代码进行转换,否则字段值都会保持为字符串。处理大型文件时,应在循环中处理每条读取到的记录,而不要把所有记录收集到一个列表中。