HOWTO · Python
在 Python 中获取文件的行数
本教程介绍了如何在 Python 中获取文件的总行数。
本页内容
要统计文本文件的行数,可以遍历已打开的文件,并为每一行加一。这种方式逐步读取文件,因此即使文件太大而无法全部载入内存,也适合作为通用方案。Python 的文本文件迭代器能够识别换行符;即使最后一行没有结束换行符,也会将其作为一行返回。
运行以下示例:
本节中的代码以及显示的标签或输出仍为英文。
from pathlib import Path
from tempfile import TemporaryDirectory
with TemporaryDirectory() as directory:
path = Path(directory) / "notes.txt"
path.write_text("alpha\nbeta\ngamma\n", encoding="utf-8")
with path.open(encoding="utf-8") as file:
line_count = sum(1 for line in file)
print(line_count)
3
即使读取时发生错误,with 语句也会关闭文件。sum() 会在读取文件时逐步消费生成器,不会创建包含所有行的列表。如果文件路径由用户提供,请将临时路径替换为该文件的路径。如果无法打开文件,Python 会报告相应的文件错误,例如 FileNotFoundError。(open())
通过遍历文件统计行数
如果你想在统计行数的同时对每一行执行操作,使用 for 循环也能逐步读取文件。文件对象每次会返回一行文本(如果存在换行符,也会包含在内)。即使最后一行没有末尾换行符,也会计为一行。
本节中的代码以及显示的标签或输出仍为英文。
from pathlib import Path
from tempfile import TemporaryDirectory
with TemporaryDirectory() as directory:
path = Path(directory) / "records.txt"
path.write_text("first\nsecond\nthird", encoding="utf-8")
line_count = 0
with path.open(encoding="utf-8") as file:
for line in file:
line_count += 1
print(line_count)
3
这种方法只需为当前行占用内存,而不必载入整个文件。对于普通文本文件,它通常是最清晰的选择。如果只需要统计行数,上面的生成器写法更简洁。
使用 readlines() 统计行数
readlines() 会读取所有行并返回一个列表。列表的长度就是行数,但列表及其中的字符串会占用与文件大小成比例的内存。如果之后还需要使用这些行,并且文件能够轻松放入内存,可以采用这种方法;如果只需统计行数,遍历文件就能避免保留所有行。
本节中的代码以及显示的标签或输出仍为英文。
from pathlib import Path
from tempfile import TemporaryDirectory
with TemporaryDirectory() as directory:
path = Path(directory) / "records.txt"
path.write_text("first\nsecond\nthird\n", encoding="utf-8")
with path.open(encoding="utf-8") as file:
lines = file.readlines()
print(len(lines))
3
使用 read() 分块统计行数
如果文件很大,而且你希望每次只读取有限大小的数据块,可以用二进制模式打开文件,并跨数据块统计换行字节。此示例将 LF、CRLF 和单独的 CR 都视为换行符,也能正确处理 CRLF 跨越两个数据块的情况。如果最后一个字节不是换行符,它就表示还有一行未以换行符结束的末行。这种按字节处理的方法假定文件采用 UTF-8 等与 ASCII 兼容的编码;如果文件使用其他编码,或需要遵循 Python 解码后的文本行行为,请优先使用文本迭代。
本节中的代码以及显示的标签或输出仍为英文。
from pathlib import Path
from tempfile import TemporaryDirectory
chunk_size = 4
with TemporaryDirectory() as directory:
path = Path(directory) / "records.txt"
path.write_bytes(b"one\r\ntwo\nthree\rfour")
line_count = 0
previous = None
last = None
with path.open("rb") as file:
while chunk := file.read(chunk_size):
for byte in chunk:
if byte == 10:
if previous != 13:
line_count += 1
elif byte == 13:
line_count += 1
previous = byte
last = byte
if last is not None and last not in (10, 13):
line_count += 1
print(line_count)
4
previous 和 last 这两个保留状态会保存跨数据块边界以及文件末尾所需的信息。每次读取的数据量都不超过 chunk_size,因此内存用量保持有界。增大数据块可以减少读取操作的次数。如果统计期间文件可能发生变化,结果可能反映文件内容的混合状态;如果需要一致的快照,请协调文件访问。
使用 mmap.mmap() 统计行数
mmap.mmap() 会为文件创建内存映射视图;它本身不是行数统计函数。当任务需要直接访问大型文件时,映射可能有用,但也会带来设置和平台方面的考量。若只是简单统计,通常使用流式迭代更容易。示例采用只读映射并统计 LF 字节:每个 LF 结束一条记录;如果末尾还有未以换行符结束的字节序列,则再计一条。由于 CRLF 中包含 LF,因此会将 CRLF 视为一个换行符,但不会将单独的 CR 视为换行符。
本节中的代码以及显示的标签或输出仍为英文。
import mmap
from pathlib import Path
from tempfile import TemporaryDirectory
with TemporaryDirectory() as directory:
path = Path(directory) / "records.txt"
path.write_bytes(b"first\nsecond\nthird")
with path.open("rb") as file:
if path.stat().st_size == 0:
line_count = 0
else:
with mmap.mmap(file.fileno(), 0, access=mmap.ACCESS_READ) as mapped:
line_count = 0
position = 0
while True:
position = mapped.find(b"\n", position)
if position == -1:
break
line_count += 1
position += 1
if mapped[-1] != 10:
line_count += 1
print(line_count)
3
长度为零的文件无法以零长度进行映射,因此应先检查文件大小。嵌套的上下文管理器会释放映射和文件句柄。映射的支持情况及行为取决于操作系统和文件;如果无法使用映射,或设置映射不值得,就采用普通的流式读取。这个按字节处理的示例统计以 LF 分隔的记录,也会统计没有末尾 LF 的最后一条记录;它不会把单独的 CR 字节算作换行符。如果你需要解码后的文本和 Python 的通用换行处理,请使用文本迭代。
选择行数统计方法
若要以较低的内存用量直接统计行数,可使用 sum(1 for line in file) 或 for 循环。如果列表本身有用且文件能放入内存,可以选择 readlines()。只有在确实需要有界的二进制读取,并且能够明确字节所代表的换行规则时,才使用分块 read()。只有当内存映射适合整体工作负载时,才考虑 mmap.mmap();它不会让计数天然变快,而且要求文件非空并妥善清理资源。
文本迭代遵循 Python 的通用换行处理:以默认文本模式打开文件时,\n、\r\n 和 \r 都会被识别为换行符。末尾的换行符不会在最后一条记录之后额外产生一个空行。空文件的行数为零;非空文本即使没有末尾换行符,仍然包含最后一行。这些规则不同于简单统计 b"\n" 的次数:后者会漏掉单独的 CR 换行,也不会计算未以换行符结束的末行。应根据文件编码和应用所需的确切行定义选择方法。