HOWTO · Pandas
在 Pandas 中正規化數值 DataFrame 欄的三種方法
比較針對數值型 Pandas DataFrame 欄的平均值(z 分數)標準化、min-max 縮放與分位數正規化,並附公式與可重複使用的範例。
本頁內容
若要重新縮放 Pandas DataFrame 中的數值欄位,可選擇三種方法:平均值正規化(z 分數標準化)會讓各欄以平均值為中心,並依標準差縮放;min-max 縮放會將每個非常數欄位映射至 0–1;分位數正規化則依排名映射數值,使各欄趨近共同分布。該選擇取決於模型所需的尺度、對離群值的敏感程度,以及各欄是否應具有可比較的分布。
Pandas 中的資料正規化
正規化會重新縮放數值;標準化則會以平均值為中心,並用標準差單位表示數值。本指南示範三種逐欄轉換。Pandas 沒有專門用來計算這些公式的單一 DataFrame 方法,不過可以透過算術與排名操作輕鬆實作。
範例使用同一個小型、確定性的 DataFrame,其中有四個數值欄位。每種轉換都沿著各欄逐一運算,因此欄名與列索引都會保留。
import pandas as pd
df = pd.DataFrame({
"A": [1, 2, 3, 4],
"B": [10, 20, 30, 40],
"C": [4, 1, 3, 2],
"D": [5, 5, 5, 5],
})
print(df)
A B C D
0 1 10 4 5
1 2 20 1 5
2 3 30 3 5
3 4 40 2 5
D 欄是常數欄,方便在 min-max 章節中明確說明它的行為。以下範例皆可獨立執行,並會重新建立相同的輸入資料。
使用 mean 正規化方法處理 Pandas DataFrame
平均值公式為 (x - mean) / standard deviation,並對每個欄位分別計算。這就是 z 分數標準化:轉換後每欄的平均值接近零,數值以標準差單位表示,而不受限於 0–1。Pandas 的 Series.std() 預設使用樣本標準差(ddof=1);若計算需要母體標準差,請使用 ddof=0。
import pandas as pd
df = pd.DataFrame({
"A": [1, 2, 3, 4],
"B": [10, 20, 30, 40],
"C": [4, 1, 3, 2],
"D": [5, 5, 5, 5],
})
mean_norm = df.apply(lambda column: (column - column.mean()) / column.std(), axis=0)
print(mean_norm.round(3))
A B C D
0 -1.162 -1.162 1.162 NaN
1 -0.387 -0.387 -1.162 NaN
2 0.387 0.387 0.387 NaN
3 1.162 1.162 -0.387 NaN
當某種方法適合使用以平均值為中心、尺度可比較的資料時,這種轉換就很有用。常數欄的標準差為零,因此套用此公式後會得到缺失值;請依應用情境決定要捨棄這項特徵,或另外處理。
使用 min-max 正規化方法處理 Pandas DataFrame
對每個欄位而言,min-max 縮放公式為 (x - min) / (max - min)。每個非常數欄位的最小值會變成 0,最大值會變成 1,其他數值則依比例落在兩者之間。下方的輔助函式全程使用傳入的 df_input,並將常數欄映射為 0;當特徵沒有變異時,這是一種常見且中性的選擇。
import pandas as pd
def minmax_norm(df_input):
column_range = df_input.max() - df_input.min()
scaled = (df_input - df_input.min()) / column_range
return scaled.fillna(0)
df = pd.DataFrame({
"A": [1, 2, 3, 4],
"B": [10, 20, 30, 40],
"C": [4, 1, 3, 2],
"D": [5, 5, 5, 5],
})
print(minmax_norm(df).round(3))
A B C D
0 0.000 0.000 1.000 0.0
1 0.333 0.333 0.000 0.0
2 0.667 0.667 0.667 0.0
3 1.000 1.000 0.333 0.0
若需要固定範圍,min-max 縮放很適合。不過,尺度由觀察到的最小值與最大值決定,因此極端值可能會讓該欄其餘數值集中在狹窄區間。輔助函式最後的 fillna(0) 會將常數數值欄映射為 0,也會把輸入資料中原有的所有缺失值替換為 0。若偏好以平均值補值,可在呼叫函式前先填補缺失值,例如 minmax_norm(df_input.fillna(df_input.mean()));請選擇符合資料特性的補值策略。
使用 quantile 正規化方法處理 Pandas DataFrame
若預期各欄來自相同的底層分布,分位數正規化便很有用。它會先排序每個欄位,再計算各欄在每個排名位置上的排序值平均,接著將這些排名平均值映射回原始列。與另外兩種方法不同,這種方法會改變數值以對齊各欄的經驗分布,因此只有在資料適合採用共同分布假設時才應使用。
此實作使用 rank(method="min"):相同值會取得其同值群組中的最小排名。它不會平均相同值的排名,因此同值情況可能使轉換後的分布有所差異。在共用範例中,D 欄是常數:四個值都並列最小排名,因此會映射至相同的排名平均值,而不會分散到共同排名值上。
import numpy as np
import pandas as pd
def quantile_norm(df_input):
sorted_values = np.sort(df_input.to_numpy(), axis=0)
rank_means = sorted_values.mean(axis=1)
rank_to_mean = pd.Series(rank_means, index=np.arange(1, len(rank_means) + 1))
ranks = df_input.rank(method="min").stack().astype(int)
return ranks.map(rank_to_mean).unstack()
df = pd.DataFrame({
"A": [1, 2, 3, 4],
"B": [10, 20, 30, 40],
"C": [4, 1, 3, 2],
"D": [5, 5, 5, 5],
})
print(quantile_norm(df).round(3))
A B C D
0 4.25 4.25 13.25 4.25
1 7.25 7.25 4.25 4.25
2 10.25 10.25 10.25 4.25
3 13.25 13.25 7.25 4.25
常數 D 欄說明了共同分布假設的重要性:重複值都取得最小排名並映射至 4.25,因此其經驗分布不會與其他欄相同。對一般數值特徵,請依方法的目標來比較:若要以平均值為中心並按標準差縮放,選擇 z 分數;若需要有界範圍,則選擇 min-max,但須留意離群值;只有在資料足以支持對齊各欄分布時,才選擇分位數正規化。