HOWTO · Pandas

Pandas를 사용하여 DataFrame에서 중복 행 찾기

Pandas DataFrame에서 중복 행을 찾고, 모든 열 또는 선택한 열을 기준으로 비교하며, 어떤 항목을 중복으로 표시할지 제어하는 방법을 알아봅니다.

이 페이지의 내용

Pandas DataFrame에서 중복 행을 찾으려면 DataFrame.duplicated()를 사용합니다. 이 메서드는 DataFrame의 인덱스와 정렬된 Boolean Series를 반환합니다. 이 Series를 마스크로 사용하면 True로 표시된 행을 선택할 수 있습니다. 기본 설정에서는 첫 번째 항목은 표시하지 않고, 그 뒤에 나오는 일치 행을 표시합니다. 모든 열을 비교하거나 비교할 열을 선택할 수 있으며, keep으로 어떤 항목을 표시할지도 바꿀 수 있습니다.

중복 행 검사는 표 형식 데이터를 살펴보거나 정리할 때 유용합니다. 중복을 찾는다고 행이 삭제되거나 변경되는 것은 아닙니다. 중복 여부만 확인하므로, 레코드를 제거하기로 결정하기 전에 선택된 행을 검토하세요.

DataFrame.duplicated()로 중복 행 찾기

이 메서드는 subset과 keep을 받습니다.

  • subset은 비교할 열 레이블 하나 또는 레이블 목록입니다. 기본값인 None을 사용하면 Pandas가 모든 열을 비교합니다.
  • keep="first"가 기본값입니다. 일치 그룹의 첫 번째 행은 False로 표시하고, 그 뒤의 행은 True로 표시합니다.
  • keep="last"를 사용하면 각 그룹의 마지막 행은 표시하지 않고, 그보다 앞선 항목을 True로 표시합니다.
  • keep=False를 사용하면 일치하는 행이 둘 이상인 그룹의 모든 행을 True로 표시합니다.

결과는 중복 행을 담은 DataFrame이 아니라 표시 여부를 담은 Series입니다. df[df.duplicated()]처럼 적용하면 중복으로 표시된 행을 가져올 수 있습니다. 필터링한 결과에도 DataFrame의 인덱스 레이블이 유지되므로 원본 데이터에서 각 행의 위치를 확인하기 쉽습니다.

중복 행이 있는 DataFrame 만들기

이 예시에는 인덱스 1, 3, 4에 이름이 John이고 도시가 Austin인 완전히 동일한 직원 레코드가 세 개 있습니다. 인덱스 1이 첫 번째 항목이며, 기본 설정에서는 인덱스 3과 4가 중복으로 표시됩니다. 다른 한 행은 이름과 나이가 같지만 도시가 다르고, 나머지 레코드는 추가 비교 사례를 보여 줍니다. 예시에서는 기본 표시 결과, 모든 열을 기준으로 선택한 행, 한두 개의 비교 열을 기준으로 선택한 행을 출력합니다. 다음 예시를 실행해 보세요.

이 섹션의 코드와 표시되는 레이블 또는 출력은 영어로 유지됩니다.

import pandas as pd

employees = [
    ("Joe", 28, "Chicago"),
    ("John", 32, "Austin"),
    ("Melvin", 25, "Dallas"),
    ("John", 32, "Austin"),
    ("John", 32, "Austin"),
    ("John", 32, "Houston"),
    ("Melvin", 40, "Dehradun"),
    ("Hazel", 32, "Austin"),
]
df = pd.DataFrame(employees, columns=["Name", "Age", "City"])

print("Flags for all columns:")
print(df.duplicated().tolist())
print("\nDuplicate rows across all columns:")
print(df[df.duplicated()])
print("\nRows repeated by City:")
print(df[df.duplicated(subset="City")])
print("\nRows repeated by Name and Age:")
print(df[df.duplicated(subset=["Name", "Age"])])
print("\nAll rows in exact duplicate groups:")
print(df[df.duplicated(keep=False)])
Flags for all columns:
[False, False, False, True, True, False, False, False]

Duplicate rows across all columns:
   Name  Age    City
3  John   32  Austin
4  John   32  Austin

Rows repeated by City:
    Name  Age    City
3   John   32  Austin
4   John   32  Austin
7  Hazel   32  Austin

Rows repeated by Name and Age:
   Name  Age     City
3  John   32   Austin
4  John   32   Austin
5  John   32  Houston

All rows in exact duplicate groups:
   Name  Age    City
1  John   32  Austin
3  John   32  Austin
4  John   32  Austin

모든 열 또는 선택한 열을 기준으로 중복 행 선택하기

subset 없이 df.duplicated()를 호출하면 모든 열의 값을 비교합니다. 예시에서 Austin에 있는 John 행 세 개는 값이 모두 같으므로 기본 설정에서는 인덱스 1을 표시하지 않고 인덱스 3과 4를 표시합니다. Houston에 있는 John 행은 도시가 다르기 때문에 모든 열을 기준으로 한 중복 행이 아닙니다.

City만 비교하려면 df.duplicated(subset="City")를 사용하세요. Austin이 여러 행에 있으므로 이름과 나이가 달라도 기본 설정에서는 첫 번째 Austin 행 이후의 각 행이 표시됩니다. 이는 도시가 일치한다는 뜻이지, 해당 레코드 전체의 값이 같다는 뜻은 아닙니다. subset=["Name", "Age"]처럼 열 목록을 전달하면 여러 열의 조합을 비교할 수 있습니다. 이 데이터에서는 Austin과 Houston의 John이 같은 비교 그룹에 속하므로, 그 그룹에서 뒤에 나오는 항목이 표시됩니다.

마지막 항목을 남기려면 df[df.duplicated(keep="last")]로 필터링하세요. 반복되는 그룹에 속한 모든 행을 선택하려면 df[df.duplicated(keep=False)]를 사용합니다. 확인하려는 레코드에 맞춰 설정을 선택하세요. 이 메서드 자체는 DataFrame을 변경하지 않습니다.

결론

DataFrame.duplicated()로 중복 표시를 만든 다음 Boolean Series를 적용해 행을 선택하세요. 모든 열을 비교하려면 subset을 지정하지 않고, 일치 여부를 정의하는 열이 있다면 해당 열을 지정합니다. 각 반복 그룹에서 어떤 항목을 표시할지 정하려면 keep을 "first", "last" 또는 False로 설정하세요.