HOWTO · Pandas
Pandas を使用して DataFrame 内の重複行を検索する
Pandas の DataFrame で重複行を検出し、すべての列または選択した列を比較する方法と、どの出現を重複としてマークするかを制御する方法を解説します。
このページの内容
Pandas の DataFrame で重複行を見つけるには、DataFrame.duplicated() を使います。このメソッドは DataFrame のインデックスに対応する Boolean Series を返します。この Series をマスクとして使うと、True の行を選択できます。既定では、Pandas は最初の出現を重複としてマークせず、それ以降の一致する行をマークします。すべての列を比較することも、比較対象の列を選ぶこともでき、keep でどの出現をマークするか変更できます。
重複行の確認は、表形式のデータを調べたり整理したりするときに役立ちます。重複を見つけても、行が削除または変更されるわけではなく、重複が特定されるだけです。レコードを削除するか決める前に、選択された行を確認してください。
DataFrame.duplicated() で重複行を特定する
このメソッドでは subset と keep を指定できます。
subsetは比較する列ラベル、または列ラベルのリストです。既定値のNoneの場合、Pandas はすべての列を比較します。keep="first"は既定の設定です。一致するグループでは、最初の行がFalse、それ以降の行がTrueになります。keep="last"では、各グループの最後の行を重複としてマークせず、それより前の出現をTrueにします。keep=Falseでは、一致する行が複数あるグループのすべての行をTrueにします。
戻り値は重複行を含む DataFrame ではなく、重複を示すフラグの Series です。df[df.duplicated()] のように適用すると、重複としてマークされた行を取得できます。抽出後も DataFrame のインデックスラベルは保持されるため、元のデータのどの行かを確認できます。
重複行を含む DataFrame を作成する
この例には、インデックス 1、3、4 に同じ内容の John/Austin の従業員レコードが3件あります。インデックス 1 が最初の出現で、既定ではインデックス 3 と 4 が重複としてマークされます。別の行には名前と年齢が同じで都市が異なるレコードがあり、ほかのレコードも比較例として使います。例では、既定のフラグ、すべての列を使って選択した行、および1列または2列を比較して選択した行を表示します。コード例の列名と表示ラベルは英語のままです。次の例を実行してください。
import pandas as pd
employees = [
("Joe", 28, "Chicago"),
("John", 32, "Austin"),
("Melvin", 25, "Dallas"),
("John", 32, "Austin"),
("John", 32, "Austin"),
("John", 32, "Houston"),
("Melvin", 40, "Dehradun"),
("Hazel", 32, "Austin"),
]
df = pd.DataFrame(employees, columns=["Name", "Age", "City"])
print("Flags for all columns:")
print(df.duplicated().tolist())
print("\nDuplicate rows across all columns:")
print(df[df.duplicated()])
print("\nRows repeated by City:")
print(df[df.duplicated(subset="City")])
print("\nRows repeated by Name and Age:")
print(df[df.duplicated(subset=["Name", "Age"])])
print("\nAll rows in exact duplicate groups:")
print(df[df.duplicated(keep=False)])
Flags for all columns:
[False, False, False, True, True, False, False, False]
Duplicate rows across all columns:
Name Age City
3 John 32 Austin
4 John 32 Austin
Rows repeated by City:
Name Age City
3 John 32 Austin
4 John 32 Austin
7 Hazel 32 Austin
Rows repeated by Name and Age:
Name Age City
3 John 32 Austin
4 John 32 Austin
5 John 32 Houston
All rows in exact duplicate groups:
Name Age City
1 John 32 Austin
3 John 32 Austin
4 John 32 Austin
すべての列または選択した列で重複行を選択する
subset を指定せずに df.duplicated() を呼び出すと、すべての列の値が比較されます。この例では、Austin の John の3行は値がすべて同じなので、既定のフラグではインデックス 1 はマークされず、インデックス 3 と 4 がマークされます。Houston の John の行は都市が異なるため、すべての列で比較した場合の重複ではありません。
比較対象を City だけにするには、df.duplicated(subset="City") を使います。Austin は複数の行にあるため、名前や年齢が異なっていても、既定では最初の行より後にある Austin の各行がマークされます。これは都市による一致であり、レコード全体が同一という意味ではありません。subset=["Name", "Age"] のようにリストを渡すと、複数の列の組み合わせを比較できます。このデータでは、Austin と Houston の John は同じ比較グループに属するため、そのグループで後に現れる行がマークされます。
最後の出現を残すには、df[df.duplicated(keep="last")] で抽出します。重複グループに属するすべての行を選ぶには、df[df.duplicated(keep=False)] を使います。確認したいレコードに合わせて設定を選んでください。このメソッド自体は DataFrame を変更しません。
まとめ
DataFrame.duplicated() で重複フラグを作り、その Boolean Series を使って行を選択します。すべての列を比較する場合は subset を省略し、一致条件を定める列を指定する場合は subset に渡します。keep を "first"、"last"、または False に設定すると、繰り返し現れるグループのどの行をマークするか指定できます。