|
|
EDA365欢迎您登录！
您需要 登录 才可以下载或查看，没有帐号？注册
x
. @: { } d5 Q; o在做特征选择时，可能面临两个问题：特征与类别预测有多大相关性，特征之间有多大冗余度。在特征选择中，“最好的m个特征不一定是m个最好的特征”，从相关度与冗余度来看，最好的m个特征是指与分类最相关的特征，但由于最好的m个特征之间可能存在冗余，因此最相关的m个特征并不一定比其他m个特征产生更好的分类准确率。可以看出，特征选择可以分为两个过程：1、怎样度量特征相关性。2、怎样解决特征之间的冗余。$ E5 I2 J, w" i
, _" o5 d1 _7 ?! O
互信息2 h- X# ?9 M. N( _: U$ R
& Z- L. [# m- f' ? P- n
5 t; O+ N8 D, U! M$ d4 f; z9 v互信息可以度量两个变量x，y之间的相关关系。如下图所示：! W! j* X1 l9 o8 G8 W: z8 Z
0 Z, C+ ?" F, \% s. Q' q( W+ F( c
& H! ^& N$ d2 S6 P8 N, S- H; w2 z7 w) e
考虑特征x与分类目标c，计算I（x，c），I（x，c）的大小代表了x与c之间的关联度的大小。从所有特征中选出与c之间互信息最大的m个特征，就可以得到与c最相关的m个特征。
6 ?% x% t8 U/ S. r" |+ O+ j9 m
最大相关度与最小冗余度: \8 N: `3 C; A' X, f- a) L+ H
; O; w2 r. v v+ @3 l设S表示特征{xi}的集合，|S|=m. 为了选出m个最相关特征，使得S满足如下公式：
& H1 F, E2 I+ p' q0 |+ a
7 l5 ^: H4 A- B5 X' p
0 ^0 \6 b+ d% |& l9 Q% z, \, Z1 `4 I
+ G9 ]6 U( J0 {& N& a! ~' m可见目标是选出m个平均互信息最大的集合S。
0 t) f' F( E9 F7 U; v: @S很可能包含相关度很大的特征，也就是说特征之间存在冗余。集合S的冗余度如下式所示：
}3 T1 L1 b$ y" m
4 X- V1 P4 S% f2 N+ O7 i
# g( p3 i4 S z: B: H) Y' e
t! `' F* s2 n% w
最终目标是求出拥有最大相关度-最小冗余度的集合S，直接优化下式：/ \+ u. x8 s4 Y! q
4 |: z% ]& K6 M* I
- c1 c# C& T* {' N2 s* }# v9 J! R
: o/ V8 n! s/ n" P; I& L直观上说D的增大，R的减小都会使得目标函数增大。
' p8 L7 P8 |' X7 d/ B假设现在S中已有m-1个特征，现在需要从余下的特征中选择第m个特征。
h( H, p6 w1 i7 h
" [! S! [2 [# E0 c+ ~( h" T
! W: n2 A' @% z) T/ D5 z4 O, L1 R) U
特征选择过程
' m! Y+ k( R: L6 x# \; o& g- i) M
" _. ^$ g9 q" A$ [特征选择的目的是选择出一个具有很好分类效果的精简特征集。为了达到此目的，可以分两步进行：第一步，利用mrmr选出候选特征集；第二步，利用其它方法选出精简特征集。, X a7 e; J! `: ^' {+ U% ~
7 o3 M) w2 G. P% }
" J8 _/ Q$ t0 H( U5 y1 W2 X
主要步骤：" P+ M# ]8 K2 Q" g; L, b8 e
% g$ C7 a# U% }, j/ F- 将数据进行处理转换的过程（注：为了计算两个特征的联合分布和边缘分布，需要将数据归一化到[0,255]之间，并且将每一维特征使用合理的数据结构进行存储）
- 计算特征之间、特征与响应变量之间的分布及互信息
- 对特征进行mrmr得分，并进行排序, ^- x/ T# J/ O
* d% p4 w7 w7 E# }+ q; x6 q
|
|
/1 
发表于 2021-7-13 13:54
收藏
淘帖
支持！
反对！