迭代之后，误差反而越来越大的问题

R_myself

目前正在做神经网络训练方面的学习，拿一份数据进行了练习，但是对数据进行处理之后，发现在训练过程中，误差随着迭代次数的增加也在增加，之后维持不变，请教各位大神，这可能是出于什么缘故？
具体代码如下：
' }4 E: [" T' c9 a; r1 d$ ^    err = expectedOut'-out_out;
    sse = sumsqr(err);
    errRec(i) = sse;                    %记录每次的错误
    fprintf('第%d次迭代  误差： %f\n',i,sse);
( ~3 k7 u' R8 d% }

其中，expectedOut是实际值，out_out是经过训练之后得到的结果
5 c1 C' g' [- j' K. n然后，结果是这样：
第1次迭代  误差： 2.124233
第2次迭代  误差： 8.216954
$ x  ]8 |5 I8 O+ |* l* A: }第3次迭代  误差： 6.639643
2 e8 o" f/ t  P# }第4次迭代  误差： 27.220103
; L' Q0 ]# S7 A( b8 \第5次迭代  误差： 27.222127
  ^1 }4 f. Q, @9 C$ z# M第6次迭代  误差： 27.222127
第7次迭代  误差： 27.222127
第8次迭代  误差： 27.222127

) W) _6 i6 V: d6 O3 u) u之后误差一直维持不变，想了解一下这是出于什么缘故？是正常情况吗？
- l7 s5 ^1 S+ O
2 T1 ?. O! J, X

hfiwioq

（1）判断条件是否有问题，不该迭代却迭代了；（2）迭代方向是否搞反了

TEL15286598

如果方便给更多一点代码会更容易理解

R_myself

TEL15286598 发表于 2022-12-1 13:21
0 [7 A$ [7 C& r如果方便给更多一点代码会更容易理解

%开始迭代
4 P3 Y7 L. ~9 B' M: \% a4 rfor i=1:maxiter
- x# s' u4 |2 G    hid_input = net.w1 * SampInEx;                %3X100
    hid_out = logsig(hid_input);                  %3X100  
    ou_input1 = [hid_out;ones(1,nTrainNum)];      %4X100
0 A( b: W  K3 Z- u: ~) u0 I    ou_input2 = net.w2 * ou_input1;               %1X100
  k0 H2 ^& T) m: M' b    out_out =logsig(ou_input2);                   %1X100
' K' x" B- A, ^    out_Rec(:,i) = out_out;                       %记录每次的输出
    err = expectedOut'-out_out;
- l, _) b+ k1 `( K) k    sse = sumsqr(err);
5 m3 x7 |& J5 E, P; [: F    errRec(i) = sse;                    %记录每次的错误
7 G' J& z2 Q+ _! {; W7 x    fprintf('第%d次迭代  误差： %f\n',i,sse);
7 r+ T5 l8 p; e. W+ t    iteration = iteration+1;
7 w7 ?& u, e- {( u6 e5 L+ g   
  Q6 D5 U* l2 C8 v2 a% z    %判断是否收敛
    if sse<=eb
! O6 A; R! P% K& @# @* U        break;
! d1 ]) y- w% v/ p# U2 i    end
   
    %误差反向传播
    %隐含层与输出层之间的局部梯度度
8 O+ k/ O' l& s1 t; c$ x    DELTA = err.*dlogsig(ou_input2,out_out);
    %输入层与隐含层之间的局部梯度
+ E- p  G& J. X; k- J- Q    delta = net.w2(:,1:end-1)'*DELTA.*dlogsig(hid_input,hid_out);
    %权值修改量
    dWEX=DELTA*ou_input1';
    dwex=delta*SampInEx';
    %修改权值，如果不是第一次修改，则使用动量因子
    if i==1
* q" b/ i6 p5 ?5 Y) _        net.w2 = net.w2+eta*dWEX;
; |1 C  e9 K* ~0 M$ h7 M0 G; G        net.w1 = net.w1+eta*dwex;
    else
        net.w2 = net.w2+(1-mc)*eta*dWEX+mc*dWEXOld;
% w6 O! y8 ^' E7 w+ R        net.w1 = net.w1+(1-mc)*eta*dwex+mc*dwexOld;
    end
   
  T* ]! M0 O* F$ ^    %记录上一次的权值修改量
0 |6 F$ H) D4 w  Y  r4 H- U    dWEXOld = dWEX;
/ n) v6 \! s7 s8 N; O9 Q    dwexOld = dwex;
end
) E1 d8 J8 \/ i8 \0 x, }2 P7 S( p