HOWTO · Python

用 Python 打开目录中的所有文件

使用 os.listdir() 读取一个目录中的文件,使用 glob.glob() 按模式选择匹配项,使用 os.scandir() 扫描条目,或使用 os.walk() 包含嵌套目录。

本页内容

要读取目录中的文本文件,对单个目录使用 os.listdir(),按模式选择名称使用 glob.glob(),检查条目使用 os.scandir(),包含嵌套目录使用 os.walk()。用返回的名称构建路径,并在 with 语句中使用 open()。这些示例读取的是文本;二进制文件需要 "rb" 之类的二进制模式,或针对具体格式的解析器。

使用 os.walk() 打开目录中的文件

当文件可能位于起始目录或其下的任何目录时,使用 os.walk()。它在每次迭代中产生三个值:当前目录路径(root)、其子目录的名称(dirnames),以及直接位于该目录中的文件的名称(filenames)。将 root 与每个文件名连接起来得到路径;如果只连接起始目录和文件名,将会遗漏嵌套目录中的文件。

这个示例创建了一个小的目录树,因此可以按所写内容直接运行。对目录名和文件名排序,使这个测试夹具的处理顺序可以预测;否则目录的遍历顺序并不保证。

运行这个示例:

import os
import tempfile

with tempfile.TemporaryDirectory() as directory:
    nested = os.path.join(directory, "notes")
    os.mkdir(nested)
    for folder, name, contents in [
        (directory, "summary.txt", "Ready"),
        (nested, "details.txt", "More notes"),
    ]:
        with open(os.path.join(folder, name), "w", encoding="utf-8") as file:
            file.write(contents)

    for root, dirnames, filenames in os.walk(directory):
        dirnames.sort()
        for filename in sorted(filenames):
            path = os.path.join(root, filename)
            with open(path, encoding="utf-8") as file:
                print(f"{filename}: {file.read()}")

os.walk() 可以自上而下或自下而上遍历。默认是自上而下,适合在发现文件时就处理文件。这个示例明确使用 UTF-8;请选择与你的文本文件相匹配的编码。如果文件使用不同的编码,应按照格式处理这些文件,而不是假设一种编码适用于所有文件。对于你的进程无法读取的目录,应根据应用程序的需要处理由此产生的文件系统错误。

使用 os.listdir() 打开目录中的文件

os.listdir() 返回直接位于一个目录内部的条目的名称。它不会进入子目录,其结果可以同时包含文件和目录。将每个名称与目录路径连接,并在打开前检查 os.path.isfile(),如下所示。

import os
import tempfile

with tempfile.TemporaryDirectory() as directory:
    with open(os.path.join(directory, "one.txt"), "w", encoding="utf-8") as file:
        file.write("First file")
    os.mkdir(os.path.join(directory, "archive"))

    for name in sorted(os.listdir(directory)):
        path = os.path.join(directory, name)
        if os.path.isfile(path):
            with open(path, encoding="utf-8") as file:
                print(f"{name}: {file.read()}")

当你想要一个目录中的每一个常规文件、且不需要模式匹配时,这种方法很有用。os.path.isfile() 检查会跟随指向文件的符号链接;如果你的应用程序必须区分链接或应用不同的策略,应使用适当的路径或目录条目检查。把 with 块保留在每个文件周围,这样 Python 会在读取后关闭它,包括后续处理提前退出该块的情况。

使用 glob.glob() 打开匹配的文件

glob.glob() 使用文件名模式来选择路径。诸如 *.txt 这样的模式会匹配直接位于指定目录中的文本文件;它本身不会搜索子目录。返回的路径可以直接传递给 open()。当任务是访问整棵树时使用 os.walk(),或者在你需要时有意构建递归模式。

import glob
import os
import tempfile

with tempfile.TemporaryDirectory() as directory:
    for name, contents in [("readme.txt", "Instructions"), ("data.csv", "id")]:
        with open(os.path.join(directory, name), "w", encoding="utf-8") as file:
            file.write(contents)

    pattern = os.path.join(directory, "*.txt")
    for path in sorted(glob.glob(pattern)):
        with open(path, encoding="utf-8") as file:
            print(f"{os.path.basename(path)}: {file.read()}")

更改模式的最后一个组成部分,以选择不同的文件名集合,例如 report-*.csv。当后续工作依赖稳定的顺序时,对匹配项排序很有用。模式也可以匹配目录名,因此如果模式并不限于文件,应使用 os.path.isfile() 过滤匹配的路径。

使用 os.scandir() 打开目录中的文件

os.scandir() 产生目录条目对象,这些对象公开每个条目的名称和路径,并提供 is_file() 等方法。当循环需要在打开条目之前检查它、或查看条目信息时,它很有用。这个迭代器是一个上下文管理器,因此在迭代结束时应使用 with 关闭它。这个示例检查条目并读取常规文件;它不会递归进入子目录。

import os
import tempfile

with tempfile.TemporaryDirectory() as directory:
    with open(os.path.join(directory, "notes.txt"), "w", encoding="utf-8") as file:
        file.write("Scanned text")
    os.mkdir(os.path.join(directory, "archive"))

    with os.scandir(directory) as entries:
        for entry in sorted(entries, key=lambda item: item.name):
            if entry.is_file():
                with open(entry.path, encoding="utf-8") as file:
                    print(f"{entry.name}: {file.read()}")

entry.name 是被扫描目录内的名称,而 entry.path 是打开该条目时要使用的路径。与 os.listdir() 一样,一次 os.scandir() 调用只覆盖一个目录。如果条目在检查和打开之间可能发生变化,文件系统状态可能在这段间隔内改变,因此处理不受信任或同时被修改的目录的代码,也应考虑打开时的错误。

为你的目录选择正确的方法

对一个目录进行简单的非递归遍历时,选择 os.listdir()。当应由文件名模式决定处理哪些路径时,选择 glob.glob()。当嵌套目录中的文件是任务的一部分时,选择 os.walk()。当每个条目在你对其采取行动之前都需要文件检查或其他条目信息时,选择 os.scandir()。

这四种方法都会枚举目录内容,但枚举顺序并不保证;当可重复的处理很重要时,应对名称或路径排序。这些示例使用上下文管理的文件对象和 UTF-8 文本模式。使编码适应源文件,当文件不是纯文本时使用二进制模式或解析器。访问权限、处理过程中消失的文件,以及应用程序特有的编码差异,在生产代码中可能需要额外处理。