HOWTO · Pandas
Pandas のテキストファイルからデータをロードする方法
このチュートリアルでは、read_csv、read_fwf、read_table を使用して、Pandas でテキストファイルからデータをロードする方法を説明します。
このページの内容
.txt という拡張子だけでは、ファイルの解析方法は決まりません。区切り文字でフィールドが分かれている場合は read_csv()、文字位置が固定された列には read_fwf()、タブ区切りの表には read_table() を使います。どのリーダーも pandas の DataFrame を返します。以下の例では、各形式がコードとともに分かるよう、小さな入力ファイルをそれぞれ作成します。
区切り形式のテキストを read_csv() で読み込む
各レコードのフィールドがカンマやセミコロンなどの一貫した文字で区切られている場合は、read_csv() を使います。pandas は既定で先頭行を列ヘッダーとして扱います。ファイルにヘッダーがない場合は header=None を指定し、列名を設定するには names を渡します。この例では、ヘッダーと空のフィールドが1つあるカンマ区切りファイルを使います。
from pathlib import Path
from tempfile import TemporaryDirectory
import pandas as pd
with TemporaryDirectory() as folder:
path = Path(folder) / "people.txt"
path.write_text("name,age\nAda,36\nLinus,", encoding="utf-8")
df = pd.read_csv(path, sep=",")
print(df.to_string(index=False))
name age
Ada 36.0
Linus NaN
pandas は空のフィールドを含む一般的な欠損値表記を既定で認識します。既定の表記を無効にするには keep_default_na=False を使い、ファイル固有の表記を追加するには na_values を指定します。ここでは空の年齢が NaN と表示されています。また、年齢列には欠損値が含まれるため、値が入力されている行の年齢は浮動小数点数として推論されます。
固定幅テキストを read_fwf() で読み込む
フィールドの位置が文字単位で決まっていて、列の間に区切り文字がないレコードには read_fwf() を使います。区切り文字が一定でないファイル全般に使えるリーダーではありません。この例では列幅を明示し、境界が分かるようにしています。
from pathlib import Path
from tempfile import TemporaryDirectory
import pandas as pd
with TemporaryDirectory() as folder:
path = Path(folder) / "people.txt"
path.write_text("Ada 036\nLinus 042\n", encoding="utf-8")
df = pd.read_fwf(path, widths=[6, 3], names=["name", "age"])
print(df.to_string(index=False))
name age
Ada 36
Linus 42
レコード内の各フィールドの文字数に合わせて widths を調整してください。境界が分からない場合は、幅を決める前にファイル形式を確認します。指定した names は解析した2つのフィールドの列名なので、このサンプルにはヘッダー行が不要です。
表形式のテキストを read_table() で読み込む
read_table() は区切り形式のデータを読み込み、既定ではタブ文字を区切り文字として使います。ファイルで別の区切り文字が使われている場合は sep を指定します。この例では既定のタブ区切りを使います。
from pathlib import Path
from tempfile import TemporaryDirectory
import pandas as pd
with TemporaryDirectory() as folder:
path = Path(folder) / "scores.txt"
path.write_text("name\tscore\nMina\t91\nOmar\t87\n", encoding="utf-8")
df = pd.read_table(path)
print(df.to_string(index=False))
name score
Mina 91
Omar 87
たとえばセミコロン区切りのファイルなら、sep=";" を渡します。区切り文字はファイル内の文字と一致させてください。read_csv() と同様に、read_table() も既定で先頭行をヘッダーとして扱います。入力がデータ行から始まる場合は header=None を指定して、この動作を変更できます。
リーダーを選び、よく使うオプションを指定する
カンマ区切りや、ほかの一貫した区切り文字で分けられたレコードには read_csv()、固定幅にそろえられたフィールドには read_fwf()、タブ区切りの表には read_table() を選びます。区切り形式のリーダーは、header=None を指定しない限り、先頭行からヘッダーを推論します。ファイルにヘッダーがない場合は names=[...] で列名を設定できます。ファイル固有の欠損値表記を指定するには na_values を使います。read_fwf() の例でも names を指定でき、widths には各フィールドの文字幅を指定します。
既存の .txt ファイルを読み込むには、たとえば pd.read_csv("/path/to/people.txt", sep=",") のように、リーダーにファイルのパスを渡します。Windows では r"C:\data\people.txt" のような raw string を使うと、バックスラッシュがエスケープ文字として扱われるのを防げます。各例では一時ファイルを作る部分と path の値を自分のファイルのパスに置き換え、リーダーの呼び出しは残したうえで、ファイルに合った区切り文字、ヘッダー、列名、幅を指定してください。相対パスは Python プロセスの現在の作業ディレクトリを基準に解決されるため、その場所が変わる可能性がある場合は絶対パスを使います。