写了第一篇博客之后再也没写第二篇。最近在用Python做实验,许多小问题要不断尝试验证,细枝末节太多,想要记住的话还是总结成笔记印象比较深刻。好记性不如烂笔头。
问题:
scikit-learn中fit_transform()与transform()到底有什么区别,能不能混用?
- 二者的功能都是对数据进行某种统一处理(比如标准化~N(0,1),将数据缩放(映射)到某个固定区间,归一化,正则化等)
- fit_transform(partData)对部分数据先拟合fit,找到该part的整体指标,如均值、方差、最大值最小值等等(根据具体转换的目的),然后对该partData进行转换transform,从而实现数据的标准化、归一化等等。。
- 根据对之前部分fit的整体指标,对剩余的数据(restData)使用同样的均值、方差、最大最小值等指标进行转换transform(restData),从而保证part、rest处理方式相同。
- 必须先用fit_transform(partData),之后再transform(restData)
- 如果直接transform(partData),程序会报错
- 如果fit_transfrom(partData)后,使用fit_transform(restData)而不用transform(restData),虽然也能归一化,但是两个结果不是在同一个“标准”下的,具有明显差异。
实验:
使用preprocessing.MinMaxScaler()对象对数据进行归一化。原理是:(x-xMin)/(xMax - xMin),从而将所有数据映射到【0,1】区间。
import numpy as np
from sklearn.preprocessing import MinMaxScaler
data = np.array(n