HOWTO · Pandas

Encuentre filas duplicadas en un marco de datos usando Pandas

Aprende a detectar filas duplicadas en un DataFrame de Pandas, comparar todas las columnas o solo algunas y controlar qué apariciones se marcan. También crearás filas duplicadas y las seleccionarás según las columnas elegidas.

En esta página

Usa DataFrame.duplicated() para encontrar filas duplicadas en un DataFrame de Pandas. El método devuelve una Serie booleana alineada con el índice del DataFrame; úsala como máscara para seleccionar las filas marcadas como True. De forma predeterminada, Pandas deja sin marcar la primera aparición y marca las coincidencias posteriores. Puedes comparar todas las columnas o elegir cuáles comparar, y cambiar qué apariciones se marcan con keep.

La detección de filas duplicadas es útil al inspeccionar o limpiar datos tabulares. Encontrar duplicados no elimina ni modifica filas: solo las identifica. Revisa las filas seleccionadas antes de decidir si eliminas algún registro.

Usa DataFrame.duplicated() para identificar filas duplicadas

El método acepta subset y keep:

  • subset es una etiqueta de columna o una lista de etiquetas que se comparan. Con su valor predeterminado, None, Pandas compara todas las columnas.
  • keep="first" es el valor predeterminado. La primera fila de cada grupo coincidente se marca como False; las siguientes se marcan como True.
  • keep="last" deja sin marcar la última fila de cada grupo y marca como True las apariciones anteriores.
  • keep=False marca como True todas las filas de un grupo que contiene más de una fila coincidente.

El resultado es una Serie de indicadores, no un DataFrame con las filas duplicadas. Aplícala con df[df.duplicated()] para obtener las filas marcadas como duplicadas. El resultado filtrado conserva las etiquetas de índice del DataFrame, lo que ayuda a localizar cada fila en los datos originales.

Crea un DataFrame con filas duplicadas

Este ejemplo incluye tres registros idénticos del empleado John en Austin, en los índices 1, 3 y 4. El índice 1 corresponde a la primera aparición; de forma predeterminada, los índices 3 y 4 se marcan como duplicados. Otra fila tiene el mismo nombre y edad, pero una ciudad distinta; los demás registros ofrecen casos adicionales para comparar. El ejemplo muestra los indicadores predeterminados, las filas seleccionadas al usar todas las columnas y las seleccionadas al comparar una o dos columnas. El código y las etiquetas visibles del ejemplo se conservan en inglés. Ejecuta este ejemplo:

El código y las etiquetas o salidas visibles de esta sección se mantienen en inglés.

import pandas as pd

employees = [
    ("Joe", 28, "Chicago"),
    ("John", 32, "Austin"),
    ("Melvin", 25, "Dallas"),
    ("John", 32, "Austin"),
    ("John", 32, "Austin"),
    ("John", 32, "Houston"),
    ("Melvin", 40, "Dehradun"),
    ("Hazel", 32, "Austin"),
]
df = pd.DataFrame(employees, columns=["Name", "Age", "City"])

print("Flags for all columns:")
print(df.duplicated().tolist())
print("\nDuplicate rows across all columns:")
print(df[df.duplicated()])
print("\nRows repeated by City:")
print(df[df.duplicated(subset="City")])
print("\nRows repeated by Name and Age:")
print(df[df.duplicated(subset=["Name", "Age"])])
print("\nAll rows in exact duplicate groups:")
print(df[df.duplicated(keep=False)])
Flags for all columns:
[False, False, False, True, True, False, False, False]

Duplicate rows across all columns:
   Name  Age    City
3  John   32  Austin
4  John   32  Austin

Rows repeated by City:
    Name  Age    City
3   John   32  Austin
4   John   32  Austin
7  Hazel   32  Austin

Rows repeated by Name and Age:
   Name  Age     City
3  John   32   Austin
4  John   32   Austin
5  John   32  Houston

All rows in exact duplicate groups:
   Name  Age    City
1  John   32  Austin
3  John   32  Austin
4  John   32  Austin

Selecciona filas duplicadas según todas las columnas o algunas de ellas

Si llamas a df.duplicated() sin subset, se comparan los valores de todas las columnas. En el ejemplo, las tres filas de John en Austin tienen valores idénticos, así que los indicadores predeterminados dejan sin marcar el índice 1 y marcan los índices 3 y 4. La fila de John en Houston no es un duplicado en todas las columnas porque su ciudad es distinta.

Usa df.duplicated(subset="City") cuando quieras comparar solo City. Como Austin aparece en varias filas, el comportamiento predeterminado marca cada fila de Austin posterior a la primera, aunque su nombre y edad sean distintos. Esto indica una coincidencia por ciudad; no significa que los registros completos sean idénticos. Pasa una lista, como subset=["Name", "Age"], para comparar una combinación de columnas. En estos datos, John en Austin y John en Houston pertenecen al mismo grupo de comparación, por lo que se marcan las apariciones posteriores.

Para conservar la última aparición en su lugar, filtra con df[df.duplicated(keep="last")]. Para seleccionar todas las filas que pertenecen a un grupo repetido, usa df[df.duplicated(keep=False)]. Elige la opción según los registros que necesites revisar; el método no modifica el DataFrame.

Conclusión

Usa DataFrame.duplicated() para generar indicadores de duplicados y luego aplica la Serie booleana para seleccionar las filas. Deja subset sin especificar para comparar todas las columnas o indica las columnas que definen una coincidencia. Asigna a keep "first", "last" o False para controlar qué elementos de cada grupo repetido se marcan.