反馈型神经网络 - 码农教程

反馈型神经网络(recurrent networks)是一种从输出到输入具有反馈连接的神经网络，其结构比前馈网络要复杂得多。典型的反馈型神经网络有Elman网络和Hopfield网络。Elman网络是两层反向传播网络，隐层和输入向量连接的神经元，其输出不仅作为输出层的输入，而且还连接隐层内的另外也一些神经元，反馈到隐层的输入。由于其输入表示了信号的空域信息，而反馈支路是一个延迟单元，反映了信号的时序信息，所以Elman网络可以在时域和空域上进行模式识别。

Hopfield网络又称为联想记忆网络，它常常存储一个或多个稳定的目标向量，当网络输入端输入相似的向量时，这些稳定的目标向量将“唤醒”网络记忆的模式，并通过输出呈现出来。

一、反馈神经网络的函数1.创建函数1.1newhop函数

该函数用于创建一个离散的Hopfield神经网络，函数的调用格式为：

net = newhop(T)

其中，T为目标向量，net为生成的神经网络。newhop返回反馈网络的权值偏差。向量元素的取值为-1或1，函数返回创建好的hopfield网络，并在给定的向量上有稳定的平衡点，且需要使为平衡点尽可能少。

1.2 newelm函数

该函数用于创建一个Elman函数。函数的调用格式为：

net =

newelm(P,T[S1,S2,...S(N-1)],,BTF,BLF,PF,IPF,OPF,DDF)

其中，P为Q1组R维的输入向量矩阵；T为Q2组SN维的输出向量矩阵；Si为各层神经元的个数；TFi为各层的传递函数，默认为tansig函数；BTF网络的训练函数，默认为trainlm函数；BLF为BP学习算法，默认为learngdm函数；PF网络的性能函数，默认为mse函数；IPF为输入处理函数的行单元阵列，默认为fixunknowns、removeconstantrows和mapminmax函数；OPF为输出处理函数的行单元阵列，默认为removeconstantrows和mapminmax函数；DDF为数据函数，默认为dividerand函数；net为生成的新Elman网络。

clearall;

clc;

T1=1:80;

x1=cos(1:20);

x2=3*cos(1:20);

t1=ones(1,20);

t2=3*ones(1,20);

p=[x1 x2 x1 x2];

t=[t1 t2 t1 t2];

x=con2seq(p);%将矩阵信号转换为序列信号

T=con2seq(t);

plot(T1,cat(2,x{:}),':',T1,cat(2,T{:}),'-');

[r,n]=size(x);

[s2,n2]=size(t);

s1=10;

net=newelm(x,T,[s1 s2],{'tansig','purelin'},'trainlm');

net.trainParam.epochs=500;

[net,tr]=train(net,x,T);

y=sim(net,x);

holdon

plot(T1,cat(2,y{:}),'o',T1,cat(2,T{:}),'p');

legend('输入信号曲线','目标信号曲线','输出信号曲线','目标信号曲线');

1.3 patternnet函数

用于创建识别神经网络。函数的调用格式为：

patternnet(hiddenSizes,trainFxn,performFcn)

其中，参数hiddenSizes为隐含层的大小，是一个行向量，默认值为10；trainFcn表示hi函数的字符串，默认值为’trainscg’；performFcn为一个性能函数，默认值为‘crossentropy’。

1.4 elmannet函数

elmannet函数创建的Elman神经网络是局部反馈网络，在计算时采用staticderiv函数计算导数，其调用格式为：

elmannet(layerdelays,hiddenSizes,trainFcn)

其中，参数layerdelays表示网络层延迟的行向量，可取的值为或整数，默认值为1：2；hiddenSizes为隐含层的大小，是一个行向量，默认值为10；trainFcn表示训练函数的字符串，默认值为‘trainlm’。

2.传递函数2.1 satlin函数

该函数为饱和线性传递函数，是神经网络的传递函数，它用神经元的网络输入计算网络输出。

2.2 satlins函数

该函数表示对称饱和传递函数。

二、反馈神经网络的应用1.离散Hopfield神经网络

设计一个Hopfield网络，使其具有联想记忆功能，能正确是被阿拉伯数字，当数字被噪声污染后仍可以正确识别。

clearall;

clc;

ones=[-1 -1 -1 -1 1 1 -1 -1 -1 -1;...

-1 -1 -1 -1 1 1 -1 -1 -1 -1;...

-1 -1 -1 -1 1 1 -1 -1 -1 -1];

twos=[-1 1 1 1 1 1 1 1 1 -1;...

-1 1 1 1 1 1 1 1 1 -1;...

-1 -1 -1 -1 -1 -1 -1 -1 1 1;...

-1 1 1 1 1 1 1 1 1 -1;...

-1 1 1 -1 -1 -1 -1 -1 -1 -1;...

-1 1 1 1 1 1 1 1 1 -1;...

-1 1 1 1 1 1 1 1 1 -1];

%利用这两个数字点阵构成训练样本T

T=[ones;twos]';

%利用newhop函数创建一个离散型hopfield神经网络

net=newhop(T);

noisy_one=ones;

noisy_two=twos;

fori =1:100

a=rand;

noisy_one(i)=-ones(i);

noisy_two(i)=-twos(i);

end

%仿真测试

noisy_one2={(noisy_one)'};

identify_one=sim(net,,{},noisy_one2);

identify_one'%获取复原后数字1点阵

noisy_two2={(noisy_two)'};

identify_two=sim(net,,{},noisy_two2);

identify_two'%获取复原后数字1点阵

%以图行的形式将点阵数字绘制出

subplot(321);one = imresize(ones,20);

imshow(one);title('原始数据1');

subplot(322);two = imresize(twos,20);

imshow(two);title('原始数据2');

subplot(323);noisy_one = imresize(noisy_one,20);

imshow(noisy_one);title('带噪声数据1');

subplot(324);noisy_two = imresize(noisy_two,20);

imshow(noisy_two);title('带噪声数据2');

subplot(325);one2 = imresize(identify_one',20);

imshow(one2);title('复原数据1');

subplot(326);identify_two = imresize(identify_two',20);

imshow(identify_two);title('复原数据2');

2.Elman神经网络预测

clearall;

loadstock1

%归一化处理

mi=min(stock1);

ma=max(stock1);

stock1=(stock1-mi)/(ma-mi);

%划分训练数据与测试数据，前210个为训练样本，后210个为测试样本

traindata=stock1(1:210);

p=[];

fori=1:210-5

p=[p;traindata(i:i+4)];

end

p=p';

t=traindata(6:210);%期望输出

%穿件Elman网络

threshold=[0 1;0 1;0 1;0 1;0 1];

net=newelm(threshold,[0 1],[20,1],{'tansig','purelin'});

%开始训练

net.trainParam.epochs=1000;

%初始化

net = init(net);

net = train(net,p,t);

savestock2net

y=sim(net,p);

error=y-t;

mse(error);

fprintf('error = %fn',error);

t=t*(ma-mi)+mi;

y=y*(ma-mi)+mi;

plot(6:210,t,'b-',6:210,y,'r-');

title('使用原始数据测试');

legend('真实值','测试数据');

clearall;

%加载数据

loadstock2%读取elman网络

loadstock1

%归一化处理

mi=min(stock1);

ma=max(stock1);

testdata=stock1(211:420);

testdata=(testdata-mi)/(ma-mi);

%用后面210个数据进行测试

pt=[];

fori=1:210-5

pt=[pt;testdata(i:i+4)];

end

pt=pt';

%测试

yt=sim(net,pt);

%还原数据

yyt=yt*(ma-mi)+mi;

figure

plot(216:420,stock1(216:420),'r',216:420,yyt,'b');

legend('真实值','测试结果');