HOWTO · Python
Python で CSV を 1 行ずつ読む
この記事では、Python で CSV ファイルを 1 行ずつ読み取る方法について説明します。
このページの内容
Python 標準ライブラリの csv モジュールを使うと、CSV ファイルをレコードごとに処理できます。csv.reader は各レコードをリストとして返し、csv.DictReader はヘッダーの項目名を辞書のキーとして使います。以下の例ではサンプルファイルを作成するため、そのまま実行できます。実際のファイルに合わせる場合は、サンプル作成部分をファイルのパスに置き換えてください。
例で使う CSV ファイルを準備する
CSV レコードは、通常カンマで区切られたフィールドからなる行です。ヘッダーは、各フィールドの名前を示す任意の先頭レコードです。CSV ファイルには、カンマを含む名前など、引用符で囲まれたフィールドが含まれることもあります。そのため、各行を自分でカンマで分割するのではなく、Python の csv モジュールを使ってください。
スプレッドシートでも、メモ帳などのプレーンテキストエディターでもファイルを作成できます。この例のサンプル内容は、Roll Number,Name,Subject に続けて 1,Harry Potter,Magical Creatures、2,Ron Weasley,Divination、3,Hermione Granger,Dark arts です。ファイルを使って試す場合は、同じ内容を Demo.csv として保存してください。
csv.reader で CSV の各行を読み取る
フィールドの位置が重要な場合は、csv.reader が便利です。各レコードを文字列のリストとして返し、ヘッダーがあればそれも含まれます。リーダーを反復処理するとレコードを順次処理できますが、物理的な行が常にちょうど1行だけメモリ上にあるとは限りません。バッファリングや、引用符で囲まれたフィールドが複数行にまたがることが、読み取りに影響するためです。
次の例を実行してください。以下のコードと出力に含まれる表示内容は、バイト単位での一致を保つため英語のままです。
import csv
import os
import tempfile
rows = [
["Roll Number", "Name", "Subject"],
["1", "Harry Potter", "Magical Creatures"],
["2", "Ron Weasley", "Divination"],
["3", "Hermione Granger", "Dark arts"],
]
path = ""
try:
with tempfile.NamedTemporaryFile("w", newline="", encoding="utf-8", delete=False) as file:
path = file.name
csv.writer(file).writerows(rows)
with open(path, newline="", encoding="utf-8") as file:
for row in csv.reader(file):
print(row)
finally:
if path and os.path.exists(path):
os.remove(path)
['Roll Number', 'Name', 'Subject']
['1', 'Harry Potter', 'Magical Creatures']
['2', 'Ron Weasley', 'Divination']
['3', 'Hermione Granger', 'Dark arts']
with 文を使うと、処理を途中で終えた場合も含め、反復処理が終わったときにファイルが閉じられます。csv モジュール用にファイルを開くときは newline="" を指定し、テキストを一貫してデコードできるよう UTF-8 などのエンコーディングも指定してください。open() のモードは既定で "r" です。サンプルのようにファイルを作成するときは "w" を使います。
ヘッダーを読み飛ばし、空ファイルを処理する
先頭レコードに列名が含まれている場合は、組み込み関数 next() に既定値を渡して安全に読み取ります。next(reader, None) は先頭レコードがなければ None を返すため、ヘッダーが見つかった場合にだけループを実行できます。空ファイルとヘッダーだけのファイルは、どちらもデータ行を生成しません。
次の実行可能な例では、ヘッダーのあるファイルと空ファイルの両方を扱います。以下のコードと出力に含まれる表示内容は、バイト単位での一致を保つため英語のままです。
import csv
import os
import tempfile
def data_rows(content):
path = ""
try:
with tempfile.NamedTemporaryFile("w", newline="", encoding="utf-8", delete=False) as file:
path = file.name
file.write(content)
with open(path, newline="", encoding="utf-8") as file:
reader = csv.reader(file)
header = next(reader, None)
return list(reader) if header is not None else []
finally:
if path and os.path.exists(path):
os.remove(path)
print(data_rows("Name,Subject\nHarry Potter,Magical Creatures\n"))
print(data_rows(""))
[['Harry Potter', 'Magical Creatures']]
[]
既定値を指定することが重要です。空ファイルに対して既定値なしで next(reader) を呼び出すと、返せる先頭の値がありません。入力にヘッダーがない場合は先頭行を読み取らず、前の例のようにリーダーを直接反復処理してください。
csv.DictReader で行を辞書として読み取る
数値の位置よりフィールド名のほうが分かりやすい場合は、csv.DictReader を使います。既定では先頭レコードをヘッダーとして扱い、それ以降の各レコードを辞書に対応付けます。値は文字列のままなので、数値が必要な場合は明示的に変換してください。以下のコードと出力に含まれる表示内容は、バイト単位での一致を保つため英語のままです。
import csv
import os
import tempfile
content = (
"Roll Number,Name,Subject\n"
"1,Harry Potter,Magical Creatures\n"
"2,Ron Weasley,Divination\n"
"3,Hermione Granger,Dark arts\n"
)
path = ""
try:
with tempfile.NamedTemporaryFile("w", newline="", encoding="utf-8", delete=False) as file:
path = file.name
file.write(content)
with open(path, newline="", encoding="utf-8") as file:
for row in csv.DictReader(file):
print(row)
finally:
if path and os.path.exists(path):
os.remove(path)
{'Roll Number': '1', 'Name': 'Harry Potter', 'Subject': 'Magical Creatures'}
{'Roll Number': '2', 'Name': 'Ron Weasley', 'Subject': 'Divination'}
{'Roll Number': '3', 'Name': 'Hermione Granger', 'Subject': 'Dark arts'}
たとえば、行の値には row["Name"] のようにアクセスできます。DictReader はヘッダーの値をキーとして使います。ファイルにヘッダーがない場合は、最初のデータレコードがヘッダーとして扱われないよう、fieldnames 引数でフィールド名を指定してください。
行のリストと辞書を使い分ける
コンパクトなリストが必要で、各フィールドの位置が分かっている場合(たとえば先頭列を示す row[0])は、csv.reader を使います。row["Subject"] のように名前でアクセスするほうがコードを理解しやすく、保守しやすい場合は、csv.DictReader を使います。どちらのリーダーもレコードを順次処理し、コードで変換しない限りフィールドは文字列のままです。大きなファイルでは、すべての行をリストに集めず、ループ内で読み取った各行を処理してください。