1.特征选择
特征选择是降维的一种方法,即选择对预测结果相关度高的特征或者消除相似度高的特征,以提高估计函数的准确率或者提高多维度数据集上的性能。
2.删除低方差特征
1)思路:设置一个阀值,对每个特征求方差,如果所求方差低于这个阀值,则删除此特征。默认情况下会删除0方差。
2)核心函数
sklearn.feature_selection.VarianceThreshold
3)主要参数:
threshold :设置的阀值
补充说明:
官网给出的是一个布尔值的数据集,阀值的表示方式为下面的公式:
示例写法:sel = VarianceThreshold(threshold=(0.8 * (1 - 0.8)))
经过测试,非布尔值的数据集也适用,并且直接写成:threshold=0.16 也是可以的。
对于二维矩阵,求的是每列的方差,然后和阀值比较。
4)示例
为了更好的说明用删除低方差的方式进行特征选择后,新的数据集不会影响预测结果或者不会造成太大的影响,这里选择一个官方提供的数据集进行对比。这个数据集是关于花朵类型判断的:包含150个样本数据,每个样本数据包含4个特征,这些样本数据属于3类,每类50个样本。
使用决策树进行分类预测。
详细代码如下:
View Code
输出结果:
原始数据: (150, 4) 新数据集: (150, 3) 原始数据的预测结果和真实结果相同的个数:150新数据集的预测结果和真实结果相同的个数:150原始据集的预测结果和新数据集预测结果相同的个数:150
从结果可以看出,数据从150×4的矩阵变成了150×3的矩阵,但是完全没有对预测结果造成任何影响。
3.单变量特征选择
(下面的翻译可能不是很准确)
1)思路:对每个特征做基于统计的检验,从而选择出最佳特征。
2)可用的函数
SelectPercentile:根据最高分数的百分位数选择特征。
SelectKBest:根据k最高分选择特征。
SelectFpr:基于假阳性率测试选择特征。
SelectFdr:根据估计的虚假发现率选择特征。
SelectFwe:根据家庭错误率选择功能(这个翻译感觉很怪:based on family-wise error rate)
GenericUnivariateSelect:具有可配置模式的单变量特征选择器。
3)可用的统计方法(上面函数的参数):
f_classif:用于分类任务的标签/特征之间方差分析的F值。
mutual_info_classif:离散目标的相互信息。
chi2:用于分类任务的非负性特征的卡方统计。
f_regression:用于回归任务的标签/特征之间的F值。
mutual_info_regression:连续目标的相互信息。
4)示例
依然使用上面的关于花朵的数据集和决策树分类方法。
详细代码如下:
View Code
输出结果:
原始数据: (150, 4) 新数据集: (150, 2) 原始数据的预测结果和真实结果相同的个数:150新数据集的预测结果和真实结果相同的个数:149原始据集的预测结果和新数据集预测结果相同的个数:149
从结果可以看出,原始的数据集从150×4变成了150×2,但是预测的结果只有一个误差。
4.使用SelectFromModel进行特征选择
1)思路:SelectFromModel是一种元变压器,可用于任何在拟合后有coef_或feature_importances_属性的拟合函数。如果相应的coef_或feature_importances_值低于提供的threshold参数(阀值),则认为这些特征是是不重要的并且删除。除了数值上指定阈值外,还有内置的启发式算法,用于使用字符串参数来查找阈值。可用的启发式算法是“平均值”,“中位数”和浮点倍数,如“0.1 *mean”。
2)由上面SelectFromModel的思路可知,首先需要进行一次拟合,然后才通过SelectFromModel选择特征。根据第一次拟合函数的不同,分为两类:
a)基于L1的特征选择
详细代码:
View Code
输出结果:
原始数据: (150, 4) 新数据集: (150, 3) 原始数据的预测结果和真实结果相同的个数:150新数据集的预测结果和真实结果相同的个数:150原始据集的预测结果和新数据集预测结果相同的个数:150
从结果可以看出,数据从150×4变成了150×3,但是预测结果没有受影响。
b)基于树的特征选择
详细代码:
View Code
输出结果:
原始数据: (150, 4) 新数据集: (150, 2) 原始数据的预测结果和真实结果相同的个数:150新数据集的预测结果和真实结果相同的个数:149原始据集的预测结果和新数据集预测结果相同的个数:149
从结果看出,数据集从150×4变成了150×2,出现了一个误差。
3)上述代码的选择特征,然后预测,也可简写成如下形式:
clf = Pipeline([ ('feature_selection', SelectFromModel(LinearSVC(C=0.01, penalty="l1", dual=False))), ('classification', tree.DecisionTreeClassifier()) ]) clf.fit(X, y)
http://www.cnblogs.com/lc1217/p/7126150.html