HOWTO · Pandas

Pandas を使用して DataFrame 内の重複行を検索する

Pandas の DataFrame で重複行を検出し、すべての列または選択した列を比較する方法と、どの出現を重複としてマークするかを制御する方法を解説します。

このページの内容

Pandas の DataFrame で重複行を見つけるには、DataFrame.duplicated() を使います。このメソッドは DataFrame のインデックスに対応する Boolean Series を返します。この Series をマスクとして使うと、True の行を選択できます。既定では、Pandas は最初の出現を重複としてマークせず、それ以降の一致する行をマークします。すべての列を比較することも、比較対象の列を選ぶこともでき、keep でどの出現をマークするか変更できます。

重複行の確認は、表形式のデータを調べたり整理したりするときに役立ちます。重複を見つけても、行が削除または変更されるわけではなく、重複が特定されるだけです。レコードを削除するか決める前に、選択された行を確認してください。

DataFrame.duplicated() で重複行を特定する

このメソッドでは subset と keep を指定できます。

  • subset は比較する列ラベル、または列ラベルのリストです。既定値の None の場合、Pandas はすべての列を比較します。
  • keep="first" は既定の設定です。一致するグループでは、最初の行が False、それ以降の行が True になります。
  • keep="last" では、各グループの最後の行を重複としてマークせず、それより前の出現を True にします。
  • keep=False では、一致する行が複数あるグループのすべての行を True にします。

戻り値は重複行を含む DataFrame ではなく、重複を示すフラグの Series です。df[df.duplicated()] のように適用すると、重複としてマークされた行を取得できます。抽出後も DataFrame のインデックスラベルは保持されるため、元のデータのどの行かを確認できます。

重複行を含む DataFrame を作成する

この例には、インデックス 1、3、4 に同じ内容の John/Austin の従業員レコードが3件あります。インデックス 1 が最初の出現で、既定ではインデックス 3 と 4 が重複としてマークされます。別の行には名前と年齢が同じで都市が異なるレコードがあり、ほかのレコードも比較例として使います。例では、既定のフラグ、すべての列を使って選択した行、および1列または2列を比較して選択した行を表示します。コード例の列名と表示ラベルは英語のままです。次の例を実行してください。

import pandas as pd

employees = [
    ("Joe", 28, "Chicago"),
    ("John", 32, "Austin"),
    ("Melvin", 25, "Dallas"),
    ("John", 32, "Austin"),
    ("John", 32, "Austin"),
    ("John", 32, "Houston"),
    ("Melvin", 40, "Dehradun"),
    ("Hazel", 32, "Austin"),
]
df = pd.DataFrame(employees, columns=["Name", "Age", "City"])

print("Flags for all columns:")
print(df.duplicated().tolist())
print("\nDuplicate rows across all columns:")
print(df[df.duplicated()])
print("\nRows repeated by City:")
print(df[df.duplicated(subset="City")])
print("\nRows repeated by Name and Age:")
print(df[df.duplicated(subset=["Name", "Age"])])
print("\nAll rows in exact duplicate groups:")
print(df[df.duplicated(keep=False)])
Flags for all columns:
[False, False, False, True, True, False, False, False]

Duplicate rows across all columns:
   Name  Age    City
3  John   32  Austin
4  John   32  Austin

Rows repeated by City:
    Name  Age    City
3   John   32  Austin
4   John   32  Austin
7  Hazel   32  Austin

Rows repeated by Name and Age:
   Name  Age     City
3  John   32   Austin
4  John   32   Austin
5  John   32  Houston

All rows in exact duplicate groups:
   Name  Age    City
1  John   32  Austin
3  John   32  Austin
4  John   32  Austin

すべての列または選択した列で重複行を選択する

subset を指定せずに df.duplicated() を呼び出すと、すべての列の値が比較されます。この例では、Austin の John の3行は値がすべて同じなので、既定のフラグではインデックス 1 はマークされず、インデックス 3 と 4 がマークされます。Houston の John の行は都市が異なるため、すべての列で比較した場合の重複ではありません。

比較対象を City だけにするには、df.duplicated(subset="City") を使います。Austin は複数の行にあるため、名前や年齢が異なっていても、既定では最初の行より後にある Austin の各行がマークされます。これは都市による一致であり、レコード全体が同一という意味ではありません。subset=["Name", "Age"] のようにリストを渡すと、複数の列の組み合わせを比較できます。このデータでは、Austin と Houston の John は同じ比較グループに属するため、そのグループで後に現れる行がマークされます。

最後の出現を残すには、df[df.duplicated(keep="last")] で抽出します。重複グループに属するすべての行を選ぶには、df[df.duplicated(keep=False)] を使います。確認したいレコードに合わせて設定を選んでください。このメソッド自体は DataFrame を変更しません。

まとめ

DataFrame.duplicated() で重複フラグを作り、その Boolean Series を使って行を選択します。すべての列を比較する場合は subset を省略し、一致条件を定める列を指定する場合は subset に渡します。keep を "first"、"last"、または False に設定すると、繰り返し現れるグループのどの行をマークするか指定できます。