HOWTO · Pandas
Pandas의 텍스트 파일에서 데이터를로드하는 방법
이 자습서에서는 read_csv(), read_fwf(), read_table() 함수를 사용해 구분자 형식, 고정 너비 형식, 탭으로 구분된 텍스트 파일을 pandas DataFrame으로 불러오는 방법을 알아봅니다.
이 페이지의 내용
.txt 확장자만으로 파일을 어떻게 파싱할지 결정되지는 않습니다. 구분자로 나뉜 필드에는 read_csv(), 고정된 문자 위치에 맞춰 정렬된 열에는 read_fwf(), 탭으로 구분된 표에는 read_table()을 사용하세요. 세 함수 모두 pandas DataFrame을 반환합니다. 아래 예제는 각 형식을 코드와 함께 확인할 수 있도록 작은 입력 파일을 직접 만듭니다.
구분된 텍스트를 read_csv()로 불러오기
각 레코드의 필드가 쉼표나 세미콜론처럼 일정한 문자로 구분되어 있다면 read_csv()를 사용하세요. 기본적으로 pandas는 첫 번째 행을 열 이름으로 처리합니다. 파일에 헤더가 없으면 header=None을 지정하고, 열 이름을 직접 지정하려면 names를 전달하세요. 아래 예제는 헤더가 있고 빈 필드가 하나 있는 쉼표 구분 파일을 사용합니다.
from pathlib import Path
from tempfile import TemporaryDirectory
import pandas as pd
with TemporaryDirectory() as folder:
path = Path(folder) / "people.txt"
path.write_text("name,age\nAda,36\nLinus,", encoding="utf-8")
df = pd.read_csv(path, sep=",")
print(df.to_string(index=False))
name age
Ada 36.0
Linus NaN
Pandas는 빈 필드를 포함해 일반적인 결측값 표시를 기본적으로 인식합니다. 기본 표시를 비활성화하려면 keep_default_na=False를 사용하고, 파일에만 해당하는 표시를 추가하려면 na_values를 지정하세요. 여기서는 비어 있는 나이 값이 NaN으로 표시됩니다. 해당 열에 결측값이 있어 값이 채워진 나이는 부동소수점 값으로 추론됩니다.
고정 너비 텍스트를 read_fwf()로 불러오기
필드가 정해진 문자 위치를 차지하고 열 사이에 구분자가 없는 레코드에는 read_fwf()를 사용하세요. 구분자가 일정하지 않은 파일을 일반적으로 읽기 위한 함수는 아닙니다. 아래 예제에서는 경계를 명확히 보여 주기 위해 열 너비를 직접 지정합니다.
from pathlib import Path
from tempfile import TemporaryDirectory
import pandas as pd
with TemporaryDirectory() as folder:
path = Path(folder) / "people.txt"
path.write_text("Ada 036\nLinus 042\n", encoding="utf-8")
df = pd.read_fwf(path, widths=[6, 3], names=["name", "age"])
print(df.to_string(index=False))
name age
Ada 36
Linus 42
레코드의 문자 범위에 맞게 widths를 조정하세요. 경계를 모른다면 너비를 정하기 전에 파일 형식을 확인해야 합니다. 전달한 names는 파싱된 두 필드의 이름을 지정하므로 예제에 헤더 행은 필요하지 않습니다.
표 형식 텍스트를 read_table()로 불러오기
read_table()은 구분된 데이터를 읽으며 기본 구분자로 탭 문자를 사용합니다. 파일에서 다른 구분자를 사용한다면 sep를 지정하세요. 아래 예제는 기본 탭 구분자를 사용합니다.
from pathlib import Path
from tempfile import TemporaryDirectory
import pandas as pd
with TemporaryDirectory() as folder:
path = Path(folder) / "scores.txt"
path.write_text("name\tscore\nMina\t91\nOmar\t87\n", encoding="utf-8")
df = pd.read_table(path)
print(df.to_string(index=False))
name score
Mina 91
Omar 87
예를 들어 세미콜론으로 구분된 파일에는 sep=";"를 전달하세요. 지정하는 구분자는 파일에 실제로 쓰인 문자와 일치해야 합니다. read_csv()와 마찬가지로 read_table()도 기본적으로 첫 번째 행을 헤더로 사용합니다. 입력이 데이터 행부터 시작한다면 header=None으로 이 동작을 바꿀 수 있습니다.
읽기 함수를 선택하고 자주 쓰는 옵션 다루기
쉼표나 다른 일정한 구분자로 나뉜 레코드에는 read_csv()를, 고정된 너비에 맞춰 정렬된 필드에는 read_fwf()를, 탭으로 구분된 표에는 read_table()을 선택하세요. 구분자 기반 읽기 함수는 header=None을 지정하지 않으면 첫 번째 행에서 헤더를 추론합니다. 파일에 헤더가 없다면 names=[...]로 열 이름을 지정하세요. 파일별 결측값 표시를 지정하려면 na_values를 사용합니다. read_fwf() 예제에도 names를 사용할 수 있으며, widths 인수는 각 필드가 차지하는 문자 범위를 나타냅니다.
기존 .txt 파일을 읽으려면 pd.read_csv("/path/to/people.txt", sep=",")처럼 파일 경로를 읽기 함수에 전달하세요. Windows에서는 r"C:\data\people.txt"와 같은 원시 문자열을 사용하면 백슬래시가 이스케이프 문자로 처리되는 것을 막을 수 있습니다. 각 예제에서 임시 파일 설정과 path 값을 자신의 파일 경로로 바꾸고, 읽기 함수 호출은 유지한 채 파일 형식에 맞는 구분자, 헤더, 열 이름 또는 너비를 지정하세요. 상대 경로는 Python 프로세스의 현재 작업 디렉터리를 기준으로 해석되므로 그 위치가 달라질 수 있다면 절대 경로를 사용하세요.