列向量互信息计算通用MATLAB代码

haidaowang

互信息的定义
5 s  M2 g8 i9 i0 x0 [% u0 _正式地，两个离散随机变量 X 和 Y 的互信息可以定义为：
! y$ Z' W/ \1 j6 T2 [. \
其中 p(x,y) 是 X 和 Y 的联合概率分布函数，而p(x)和p(y)分别是 X 和 Y 的边缘概率分布函数。
8 n3 ?* K! r; E6 ]: D' G. `. _
其中 p(x,y) 当前是 X 和 Y 的联合概率密度函数，而p(x)和p(y)分别是 X 和 Y 的边缘概率密度函数。

  B7 H9 K) T: p互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值。 平均互信息I(X;Y)克服了互信息量I(xi;yj)的随机性,成为一个确定的量。如果对数以 2 为基底，互信息的单位是bit。

直观上，互信息度量 X 和 Y 共享的信息：它度量知道这两个变量其中一个，对另一个不确定度减少的程度。例如，如果 X 和 Y 相互独立，则知道 X 不对 Y 提供任何信息，反之亦然，所以它们的互信息为零。在另一个极端，如果 X 是 Y 的一个确定性函数，且 Y 也是 X 的一个确定性函数，那么传递的所有信息被 X 和 Y 共享：知道 X 决定 Y 的值，反之亦然。因此，在此情形互信息与 Y（或 X）单独包含的不确定度相同，称作 Y（或 X）的熵。而且，这个互信息与 X 的熵和 Y 的熵相同。（这种情形的一个非常特殊的情况是当 X 和 Y 为相同随机变量时。）

此外，互信息是非负的（即 I(X;Y) ≥ 0; 见下文），而且是对称的（即 I(X;Y) = I(Y;X)）。

通用MATLAB代码
6 m; t6 o$ O/ {/ T. d/ c主函数main.m
1 e& Q5 y  n4 x1 P) j/ p$ t; Y
& q* J1 A6 W$ e7 wclc
0 o6 ~$ q7 N7 f1 T" {& q7 Cu1 = rand(4,1);
u2 = [2;32;6666;5];
wind_size = size(u1,1);
9 b2 G) U& }6 gmi = calmi(u1, u2, wind_size);

calmi.m

! |8 z7 _* H; p%计算两列向量之间的互信息
4 Q0 H' ^' l( ?, s5 n%u1：输入计算的向量1
+ Y& U  l  X# L; }%u2：输入计算的向量2
%wind_size：向量的长度
' i0 |8 l. E) _function mi = calmi(u1, u2, wind_size)
x = [u1, u2];
5 X( c" I9 h" q  z# `2 D+ P: v( bn = wind_size;
" q1 b- C/ m8 x" j( B[xrow, xcol] = size(x);
2 d6 ]2 e( s) K. G$ jbin = zeros(xrow,xcol);
pmf = zeros(n, 2);
# {% s# r' w4 k# [; [6 {/ ofor i = 1:2
    minx = min(x(:,i));
& U# Y0 ~  }# y8 g1 O    maxx = max(x(:,i));
# F+ W% q# B' S% @. h; i9 a; T    binwidth = (maxx - minx) / n;
0 e! I8 Q( ~7 S* j7 W  Z    edges = minx + binwidth*(0:n);
    histcEdges = [-Inf edges(2:end-1) Inf];
    [occur,bin(:,i)] = histc(x(:,i),histcEdges,1); %通过直方图方式计算单个向量的直方图分布
# y% ]% D. w/ J4 I# E    pmf(:,i) = occur(1:n)./xrow;
end
' `% P. q- g9 ~3 t" Q) d%计算u1和u2的联合概率密度
jointOccur = accumarray(bin,1,[n,n]);  %（xi，yi）两个数据同时落入n*n等分方格中的数量即为联合概率密度
jointPmf = jointOccur./xrow;
Hx = -(pmf(:,1))'*log2(pmf(:,1)+eps);
. x: ^0 H& _. [8 `5 IHy = -(pmf(:,2))'*log2(pmf(:,2)+eps);
: V* i) S3 \! X. @/ HHxy = -(jointPmf(: ))'*log2(jointPmf(: )+eps);
MI = Hx+Hy-Hxy;
: R5 l1 K6 h5 \! l/ [mi = MI/sqrt(Hx*Hy);
; C$ T& S9 j9 e: z

/ h4 X) ^$ A! e7 ]

NingW

列向量互信息计算通用MATLAB代码