HOWTO · Python

Python で CSV を 1 行ずつ読む

この記事では、Python で CSV ファイルを 1 行ずつ読み取る方法について説明します。

このページの内容

Python 標準ライブラリの csv モジュールを使うと、CSV ファイルをレコードごとに処理できます。csv.reader は各レコードをリストとして返し、csv.DictReader はヘッダーの項目名を辞書のキーとして使います。以下の例ではサンプルファイルを作成するため、そのまま実行できます。実際のファイルに合わせる場合は、サンプル作成部分をファイルのパスに置き換えてください。

例で使う CSV ファイルを準備する

CSV レコードは、通常カンマで区切られたフィールドからなる行です。ヘッダーは、各フィールドの名前を示す任意の先頭レコードです。CSV ファイルには、カンマを含む名前など、引用符で囲まれたフィールドが含まれることもあります。そのため、各行を自分でカンマで分割するのではなく、Python の csv モジュールを使ってください。

スプレッドシートでも、メモ帳などのプレーンテキストエディターでもファイルを作成できます。この例のサンプル内容は、Roll Number,Name,Subject に続けて 1,Harry Potter,Magical Creatures、2,Ron Weasley,Divination、3,Hermione Granger,Dark arts です。ファイルを使って試す場合は、同じ内容を Demo.csv として保存してください。

csv.reader で CSV の各行を読み取る

フィールドの位置が重要な場合は、csv.reader が便利です。各レコードを文字列のリストとして返し、ヘッダーがあればそれも含まれます。リーダーを反復処理するとレコードを順次処理できますが、物理的な行が常にちょうど1行だけメモリ上にあるとは限りません。バッファリングや、引用符で囲まれたフィールドが複数行にまたがることが、読み取りに影響するためです。

次の例を実行してください。以下のコードと出力に含まれる表示内容は、バイト単位での一致を保つため英語のままです。

import csv
import os
import tempfile

rows = [
    ["Roll Number", "Name", "Subject"],
    ["1", "Harry Potter", "Magical Creatures"],
    ["2", "Ron Weasley", "Divination"],
    ["3", "Hermione Granger", "Dark arts"],
]
path = ""
try:
    with tempfile.NamedTemporaryFile("w", newline="", encoding="utf-8", delete=False) as file:
        path = file.name
        csv.writer(file).writerows(rows)
    with open(path, newline="", encoding="utf-8") as file:
        for row in csv.reader(file):
            print(row)
finally:
    if path and os.path.exists(path):
        os.remove(path)
['Roll Number', 'Name', 'Subject']
['1', 'Harry Potter', 'Magical Creatures']
['2', 'Ron Weasley', 'Divination']
['3', 'Hermione Granger', 'Dark arts']

with 文を使うと、処理を途中で終えた場合も含め、反復処理が終わったときにファイルが閉じられます。csv モジュール用にファイルを開くときは newline="" を指定し、テキストを一貫してデコードできるよう UTF-8 などのエンコーディングも指定してください。open() のモードは既定で "r" です。サンプルのようにファイルを作成するときは "w" を使います。

ヘッダーを読み飛ばし、空ファイルを処理する

先頭レコードに列名が含まれている場合は、組み込み関数 next() に既定値を渡して安全に読み取ります。next(reader, None) は先頭レコードがなければ None を返すため、ヘッダーが見つかった場合にだけループを実行できます。空ファイルとヘッダーだけのファイルは、どちらもデータ行を生成しません。

次の実行可能な例では、ヘッダーのあるファイルと空ファイルの両方を扱います。以下のコードと出力に含まれる表示内容は、バイト単位での一致を保つため英語のままです。

import csv
import os
import tempfile

def data_rows(content):
    path = ""
    try:
        with tempfile.NamedTemporaryFile("w", newline="", encoding="utf-8", delete=False) as file:
            path = file.name
            file.write(content)
        with open(path, newline="", encoding="utf-8") as file:
            reader = csv.reader(file)
            header = next(reader, None)
            return list(reader) if header is not None else []
    finally:
        if path and os.path.exists(path):
            os.remove(path)

print(data_rows("Name,Subject\nHarry Potter,Magical Creatures\n"))
print(data_rows(""))
[['Harry Potter', 'Magical Creatures']]
[]

既定値を指定することが重要です。空ファイルに対して既定値なしで next(reader) を呼び出すと、返せる先頭の値がありません。入力にヘッダーがない場合は先頭行を読み取らず、前の例のようにリーダーを直接反復処理してください。

csv.DictReader で行を辞書として読み取る

数値の位置よりフィールド名のほうが分かりやすい場合は、csv.DictReader を使います。既定では先頭レコードをヘッダーとして扱い、それ以降の各レコードを辞書に対応付けます。値は文字列のままなので、数値が必要な場合は明示的に変換してください。以下のコードと出力に含まれる表示内容は、バイト単位での一致を保つため英語のままです。

import csv
import os
import tempfile

content = (
    "Roll Number,Name,Subject\n"
    "1,Harry Potter,Magical Creatures\n"
    "2,Ron Weasley,Divination\n"
    "3,Hermione Granger,Dark arts\n"
)
path = ""
try:
    with tempfile.NamedTemporaryFile("w", newline="", encoding="utf-8", delete=False) as file:
        path = file.name
        file.write(content)
    with open(path, newline="", encoding="utf-8") as file:
        for row in csv.DictReader(file):
            print(row)
finally:
    if path and os.path.exists(path):
        os.remove(path)
{'Roll Number': '1', 'Name': 'Harry Potter', 'Subject': 'Magical Creatures'}
{'Roll Number': '2', 'Name': 'Ron Weasley', 'Subject': 'Divination'}
{'Roll Number': '3', 'Name': 'Hermione Granger', 'Subject': 'Dark arts'}

たとえば、行の値には row["Name"] のようにアクセスできます。DictReader はヘッダーの値をキーとして使います。ファイルにヘッダーがない場合は、最初のデータレコードがヘッダーとして扱われないよう、fieldnames 引数でフィールド名を指定してください。

行のリストと辞書を使い分ける

コンパクトなリストが必要で、各フィールドの位置が分かっている場合(たとえば先頭列を示す row[0])は、csv.reader を使います。row["Subject"] のように名前でアクセスするほうがコードを理解しやすく、保守しやすい場合は、csv.DictReader を使います。どちらのリーダーもレコードを順次処理し、コードで変換しない限りフィールドは文字列のままです。大きなファイルでは、すべての行をリストに集めず、ループ内で読み取った各行を処理してください。