HOWTO · Pandas
在 Pandas 中规范化数值 DataFrame 列的三种方法
比较针对数值型 Pandas DataFrame 列的均值(z 分数)标准化、min-max 缩放和分位数规范化,并附公式与可复用的示例。
本页内容
要缩放 Pandas DataFrame 中的数值列,可以选择三种方法:均值归一化(z 分数标准化)会将每列居中,并按其标准差缩放;最小-最大缩放会将每个非恒定列映射到 0–1;分位数归一化则按秩映射数值,使各列趋向共同的分布。合适的方法取决于模型所需的尺度、对异常值的敏感程度,以及各列是否应具有可比的分布。
Pandas 中的数据归一化
归一化会重新缩放数值;标准化则会将数值以均值为中心,并用标准差单位表示。本指南演示三种按列进行的变换。Pandas 没有专门针对这些公式的单一 DataFrame 方法,但利用其算术和排名操作,就能轻松实现每种方法。
以下示例使用同一个包含四个数值列的小型确定性 DataFrame。每种变换都沿着各列进行,因此列名和行索引都会保留。
import pandas as pd
df = pd.DataFrame({
"A": [1, 2, 3, 4],
"B": [10, 20, 30, 40],
"C": [4, 1, 3, 2],
"D": [5, 5, 5, 5],
})
print(df)
A B C D
0 1 10 4 5
1 2 20 1 5
2 3 30 3 5
3 4 40 2 5
D 列是恒定列,以便在最小-最大缩放部分明确展示其行为。下面的示例均可独立运行,并会重新创建相同的输入数据。
使用 mean 归一化方法标准化 Pandas DataFrame
基于均值的公式为 (x - mean) / standard deviation,并针对每一列分别计算。这就是 z 分数标准化:变换后的每列均值接近零,数值以标准差单位表示,而不是限制在 0–1 范围内。Pandas 的 Series.std() 默认使用样本标准差(ddof=1);如果计算需要总体标准差,请使用 ddof=0。
import pandas as pd
df = pd.DataFrame({
"A": [1, 2, 3, 4],
"B": [10, 20, 30, 40],
"C": [4, 1, 3, 2],
"D": [5, 5, 5, 5],
})
mean_norm = df.apply(lambda column: (column - column.mean()) / column.std(), axis=0)
print(mean_norm.round(3))
A B C D
0 -1.162 -1.162 1.162 NaN
1 -0.387 -0.387 -1.162 NaN
2 0.387 0.387 0.387 NaN
3 1.162 1.162 -0.387 NaN
当某种方法适合使用居中且尺度可比的数据时,这种变换就很有用。恒定列的标准差为零,因此该公式会为该列生成缺失值;请根据应用场景决定是删除此类特征,还是单独处理。
使用 min-max 归一化方法缩放 Pandas DataFrame
对于每一列,最小-最大缩放使用公式 (x - min) / (max - min)。每个非恒定列的最小值和最大值会分别变为 0 和 1,其余数值则按比例落在两者之间。下面的辅助函数始终使用其 df_input 参数,并将恒定列映射为 0;当某个特征没有变化时,这是一种常见的中性处理方式。
import pandas as pd
def minmax_norm(df_input):
column_range = df_input.max() - df_input.min()
scaled = (df_input - df_input.min()) / column_range
return scaled.fillna(0)
df = pd.DataFrame({
"A": [1, 2, 3, 4],
"B": [10, 20, 30, 40],
"C": [4, 1, 3, 2],
"D": [5, 5, 5, 5],
})
print(minmax_norm(df).round(3))
A B C D
0 0.000 0.000 1.000 0.0
1 0.333 0.333 0.000 0.0
2 0.667 0.667 0.667 0.0
3 1.000 1.000 0.333 0.0
当固定取值范围很重要时,适合使用最小-最大缩放。由于缩放范围由观测到的最小值和最大值决定,一个极端值可能会把该列其余数值压缩到很窄的区间。辅助函数最后调用的 fillna(0) 会将恒定数值列映射为 0,同时也会把输入中已有的所有缺失值替换为 0。如果更倾向于使用均值填补,可以在调用辅助函数前填补缺失值,例如 minmax_norm(df_input.fillna(df_input.mean()));请选择适合数据的填补策略。
使用 quantile 归一化方法处理 Pandas DataFrame
当预期各列具有相同的底层分布时,分位数归一化就很有用。它会对每列排序,计算各列在每个排名位置上的排序值的平均数,然后将这些排名平均值映射回原始行。与另外两种方法不同,它会改变数值以对齐各列的经验分布,因此只有在共同分布这一假设合理时才应使用。
此实现使用 rank(method="min"):相同的值会获得其并列组中的最小排名。它不会对并列排名取平均,因此并列值可能导致结果分布不同。在共同示例中,D 列是恒定列:四个值都并列在最小排名,因此会映射到同一个排名平均值,而不会覆盖共同排名值的整个范围。
import numpy as np
import pandas as pd
def quantile_norm(df_input):
sorted_values = np.sort(df_input.to_numpy(), axis=0)
rank_means = sorted_values.mean(axis=1)
rank_to_mean = pd.Series(rank_means, index=np.arange(1, len(rank_means) + 1))
ranks = df_input.rank(method="min").stack().astype(int)
return ranks.map(rank_to_mean).unstack()
df = pd.DataFrame({
"A": [1, 2, 3, 4],
"B": [10, 20, 30, 40],
"C": [4, 1, 3, 2],
"D": [5, 5, 5, 5],
})
print(quantile_norm(df).round(3))
A B C D
0 4.25 4.25 13.25 4.25
1 7.25 7.25 4.25 4.25
2 10.25 10.25 10.25 4.25
3 13.25 13.25 7.25 4.25
恒定的 D 列说明了共同分布假设为何重要:重复值都会获得最小排名并映射到 4.25,因此其经验分布与其他列不同。对于普通数值特征,可以根据目标来选择方法:需要居中并按标准差缩放时使用 z 分数;需要有界范围时使用最小-最大缩放,同时留意异常值;只有当数据支持对齐各列分布时,才使用分位数归一化。