HOWTO · Pandas
Wie man Daten aus einer Textdatei in Pandas lädt
Lernen Sie, wie Sie durch Trennzeichen getrennte, Textdaten fester Breite und tabulatorgetrennte Dateien mit pandas DataFrames einlesen – mit den Funktionen `read_csv()`, `read_fwf()` und `read_table()`.
Auf dieser Seite
An der Endung .txt lässt sich nicht erkennen, wie eine Datei eingelesen werden sollte. Verwenden Sie read_csv() für Felder, die durch ein Trennzeichen voneinander abgegrenzt sind, read_fwf() für Spalten an festen Zeichenpositionen und read_table() für tabulatorgetrennte Tabellen. Jede dieser Funktionen gibt einen pandas DataFrame zurück. Die folgenden Beispiele erstellen jeweils eine kleine Eingabedatei, damit das Format zusammen mit dem Code sichtbar wird.
Getrennte Textdaten mit read_csv() einlesen
Verwenden Sie read_csv(), wenn die Felder jedes Datensatzes durch ein einheitliches Zeichen wie ein Komma oder Semikolon getrennt sind. Standardmäßig behandelt pandas die erste Zeile als Spaltenüberschriften. Setzen Sie header=None, wenn die Datei keine Kopfzeile enthält, und übergeben Sie names, um Spaltennamen festzulegen. Das Beispiel verwendet eine kommagetrennte Datei mit Kopfzeile und einem leeren Feld:
from pathlib import Path
from tempfile import TemporaryDirectory
import pandas as pd
with TemporaryDirectory() as folder:
path = Path(folder) / "people.txt"
path.write_text("name,age\nAda,36\nLinus,", encoding="utf-8")
df = pd.read_csv(path, sep=",")
print(df.to_string(index=False))
name age
Ada 36.0
Linus NaN
Pandas erkennt standardmäßig gängige Kennzeichnungen für fehlende Werte, darunter auch ein leeres Feld. Mit keep_default_na=False deaktivieren Sie diese Standardkennzeichnungen; mit na_values können Sie weitere Kennzeichnungen hinzufügen, die für Ihre Datei gelten. Im Beispiel wird ein leeres Alter als NaN angezeigt. Das vorhandene Alter wird als Gleitkommazahl interpretiert, weil die Spalte auch einen fehlenden Wert enthält.
Textdaten fester Breite mit read_fwf() einlesen
Verwenden Sie read_fwf(), wenn die Felder festgelegte Zeichenpositionen belegen und die Datensätze zwischen den Spalten keine Trennzeichen enthalten. Die Funktion ist nicht für Dateien gedacht, deren Trennzeichen uneinheitlich sind. Im Beispiel werden die Spaltenbreiten explizit angegeben, damit die Grenzen eindeutig sind:
from pathlib import Path
from tempfile import TemporaryDirectory
import pandas as pd
with TemporaryDirectory() as folder:
path = Path(folder) / "people.txt"
path.write_text("Ada 036\nLinus 042\n", encoding="utf-8")
df = pd.read_fwf(path, widths=[6, 3], names=["name", "age"])
print(df.to_string(index=False))
name age
Ada 36
Linus 42
Passen Sie widths an die Zeichenbereiche Ihrer Datensätze an. Wenn die Spaltengrenzen nicht bekannt sind, prüfen Sie zunächst das Dateiformat, bevor Sie die Breiten festlegen. Mit den angegebenen names werden die beiden eingelesenen Felder benannt; die Beispieldatei benötigt daher keine Kopfzeile.
Tabellarische Textdaten mit read_table() einlesen
read_table() liest getrennte Daten ein und verwendet standardmäßig einen Tabulator als Trennzeichen. Geben Sie sep an, wenn die Datei ein anderes Trennzeichen verwendet. Dieses Beispiel nutzt den standardmäßigen Tabulator:
from pathlib import Path
from tempfile import TemporaryDirectory
import pandas as pd
with TemporaryDirectory() as folder:
path = Path(folder) / "scores.txt"
path.write_text("name\tscore\nMina\t91\nOmar\t87\n", encoding="utf-8")
df = pd.read_table(path)
print(df.to_string(index=False))
name score
Mina 91
Omar 87
Für eine Datei mit Semikolon als Trennzeichen können Sie beispielsweise sep=";" übergeben. Das Trennzeichen muss den Zeichen in der Datei entsprechen. Wie bei read_csv() verwendet read_table() standardmäßig die erste Zeile als Kopfzeile. Enthält die Eingabe direkt Daten, ändern Sie dieses Verhalten mit header=None.
Den passenden Reader auswählen und gängige Optionen verwenden
Verwenden Sie read_csv() für kommagetrennte oder andere einheitlich getrennte Datensätze, read_fwf() für Felder fester Breite und read_table() für tabulatorgetrennte Tabellen. Bei Funktionen für getrennte Daten leitet pandas die Kopfzeile aus der ersten Zeile ab, sofern Sie nicht header=None setzen. Mit names=[...] vergeben Sie Spaltennamen, wenn die Datei keine Kopfzeile hat. Legen Sie mit na_values fest, welche dateispezifischen Kennzeichnungen als fehlende Werte gelten. Auch im Beispiel mit read_fwf() lässt sich names verwenden; das Argument widths beschreibt die Zeichenbereiche der Felder.
Um eine vorhandene .txt-Datei einzulesen, übergeben Sie ihren Pfad an die Reader-Funktion, zum Beispiel pd.read_csv("/path/to/people.txt", sep=","). Unter Windows verhindert ein Raw-String wie r"C:\data\people.txt", dass Backslashes als Escape-Zeichen behandelt werden. Ersetzen Sie in jedem Beispiel die Einrichtung der temporären Datei und den Wert von path durch Ihren eigenen Dateipfad. Behalten Sie den Aufruf der Reader-Funktion bei und wählen Sie Trennzeichen, Kopfzeile, Spaltennamen oder Breiten passend zu Ihrer Datei. Ein relativer Pfad wird ausgehend vom aktuellen Arbeitsverzeichnis des Python-Prozesses aufgelöst. Verwenden Sie daher einen absoluten Pfad, wenn dieses Verzeichnis variieren kann.