HOWTO · Pandas
Trois façons de normaliser les colonnes numériques d'un DataFrame dans Pandas
Comparez la standardisation par la moyenne (score z), la mise à l'échelle min-max et la normalisation par quantiles pour les colonnes numériques de DataFrame Pandas, avec des formules et des exemples réutilisables.
Sur cette page
Pour redimensionner les colonnes numériques d’un Pandas DataFrame, vous avez le choix entre trois méthodes : la normalisation par la moyenne (standardisation par score z) centre chaque colonne et la divise par son écart-type ; la mise à l’échelle min-max ramène chaque colonne non constante entre 0 et 1 ; et la normalisation par quantiles associe les valeurs à des rangs pour les rapprocher d’une distribution commune. Le choix dépend de l’échelle requise par votre modèle, de sa sensibilité aux valeurs extrêmes et de la nécessité d’obtenir des distributions comparables entre les colonnes.
Normalisation des données avec Pandas
La normalisation redimensionne les valeurs, tandis que la standardisation les centre autour d’une moyenne et les exprime en unités d’écart-type. Ce guide présente trois transformations appliquées colonne par colonne. Pandas ne propose pas de méthode unique dédiée aux DataFrame pour ces formules, mais ses opérations arithmétiques et de classement permettent de les mettre en œuvre facilement.
Les exemples utilisent le même petit DataFrame déterministe, composé de quatre colonnes numériques. Chaque transformation s’effectue sur les valeurs de chaque colonne ; les noms de colonnes et les index de lignes sont donc conservés.
import pandas as pd
df = pd.DataFrame({
"A": [1, 2, 3, 4],
"B": [10, 20, 30, 40],
"C": [4, 1, 3, 2],
"D": [5, 5, 5, 5],
})
print(df)
A B C D
0 1 10 4 5
1 2 20 1 5
2 3 30 3 5
3 4 40 2 5
La colonne D est constante afin d’illustrer clairement son comportement dans la section sur la mise à l’échelle min-max. Les exemples suivants sont autonomes et recréent tous ce même jeu de données.
Normaliser un DataFrame Pandas avec la méthode mean
La formule fondée sur la moyenne est (x - mean) / standard deviation et s’applique séparément à chaque colonne. Il s’agit d’une standardisation par score z : la moyenne de chaque colonne transformée est proche de zéro, et les valeurs sont exprimées en unités d’écart-type au lieu d’être limitées à l’intervalle 0–1. Par défaut, Series.std() dans Pandas utilise l’écart-type de l’échantillon (ddof=1) ; utilisez ddof=0 si votre calcul nécessite l’écart-type de la population.
import pandas as pd
df = pd.DataFrame({
"A": [1, 2, 3, 4],
"B": [10, 20, 30, 40],
"C": [4, 1, 3, 2],
"D": [5, 5, 5, 5],
})
mean_norm = df.apply(lambda column: (column - column.mean()) / column.std(), axis=0)
print(mean_norm.round(3))
A B C D
0 -1.162 -1.162 1.162 NaN
1 -0.387 -0.387 -1.162 NaN
2 0.387 0.387 0.387 NaN
3 1.162 1.162 -0.387 NaN
Cette transformation est utile lorsqu’une méthode tire parti de valeurs centrées et d’échelles comparables. Une colonne constante a un écart-type nul : cette formule y produit donc des valeurs manquantes. Selon votre application, choisissez de supprimer cette caractéristique ou de la traiter séparément.
Normaliser un DataFrame Pandas avec la méthode min-max
Pour chaque colonne, la mise à l’échelle min-max applique la formule (x - min) / (max - min). Le minimum et le maximum de toute colonne non constante deviennent respectivement 0 et 1, et les autres valeurs sont réparties proportionnellement entre les deux. La fonction auxiliaire ci-dessous utilise son argument df_input dans tout son corps et attribue la valeur 0 à une colonne constante, un choix neutre courant lorsqu’une caractéristique ne présente aucune variation.
import pandas as pd
def minmax_norm(df_input):
column_range = df_input.max() - df_input.min()
scaled = (df_input - df_input.min()) / column_range
return scaled.fillna(0)
df = pd.DataFrame({
"A": [1, 2, 3, 4],
"B": [10, 20, 30, 40],
"C": [4, 1, 3, 2],
"D": [5, 5, 5, 5],
})
print(minmax_norm(df).round(3))
A B C D
0 0.000 0.000 1.000 0.0
1 0.333 0.333 0.000 0.0
2 0.667 0.667 0.667 0.0
3 1.000 1.000 0.333 0.0
La mise à l’échelle min-max convient lorsqu’une plage fixe est nécessaire. Comme l’échelle dépend des minimum et maximum observés, une valeur extrême peut comprimer les autres valeurs de la colonne dans un intervalle étroit. Le fillna(0) final de la fonction attribue 0 aux colonnes numériques constantes, mais remplace également par 0 toutes les valeurs manquantes déjà présentes dans les données d’entrée. Si vous préférez imputer les valeurs manquantes avec la moyenne, faites-le avant d’appeler la fonction, par exemple avec minmax_norm(df_input.fillna(df_input.mean())) ; choisissez une méthode d’imputation adaptée à vos données.
Normaliser un DataFrame Pandas avec la méthode des quantile
La normalisation par quantiles est utile lorsque les colonnes sont censées partager la même distribution sous-jacente. Elle trie chaque colonne, calcule la moyenne des valeurs triées à chaque rang entre les colonnes, puis reporte ces moyennes de rang sur les lignes d’origine. Contrairement aux deux autres méthodes, elle modifie les valeurs pour rapprocher les distributions empiriques des colonnes ; utilisez-la uniquement si l’hypothèse d’une distribution commune est adaptée.
Cette implémentation utilise rank(method="min") : les valeurs ex æquo reçoivent le rang le plus faible de leur groupe. Les rangs ex æquo ne sont pas moyennés ; les distributions obtenues peuvent donc différer. Dans l’exemple commun, la colonne D est constante : ses quatre valeurs sont ex æquo au rang minimal et sont associées à la même moyenne de rang, au lieu d’être réparties sur les rangs communs.
import numpy as np
import pandas as pd
def quantile_norm(df_input):
sorted_values = np.sort(df_input.to_numpy(), axis=0)
rank_means = sorted_values.mean(axis=1)
rank_to_mean = pd.Series(rank_means, index=np.arange(1, len(rank_means) + 1))
ranks = df_input.rank(method="min").stack().astype(int)
return ranks.map(rank_to_mean).unstack()
df = pd.DataFrame({
"A": [1, 2, 3, 4],
"B": [10, 20, 30, 40],
"C": [4, 1, 3, 2],
"D": [5, 5, 5, 5],
})
print(quantile_norm(df).round(3))
A B C D
0 4.25 4.25 13.25 4.25
1 7.25 7.25 4.25 4.25
2 10.25 10.25 10.25 4.25
3 13.25 13.25 7.25 4.25
La colonne constante D montre pourquoi l’hypothèse d’une distribution commune est importante : toutes ses valeurs répétées reçoivent le rang minimal et sont associées à 4.25. Sa distribution empirique ne correspond donc pas à celle des autres colonnes. Pour des caractéristiques numériques ordinaires, choisissez selon l’objectif : les scores z pour centrer les valeurs et les exprimer en écarts-types, la mise à l’échelle min-max pour obtenir une plage bornée en tenant compte des valeurs extrêmes, ou la normalisation par quantiles lorsque les données justifient de rapprocher les distributions des colonnes.