MATLAB神经网络(一):BP神经网络

BP神经网络是一种多层前馈神经网络,主要特点是信号前向传递,误差反向传播。在前向传递中,输入信号从输入层经隐含层逐层处理,直至输出层。每一层的神经元状态只影响下一层神经元状态。如果输出层得不到期望输出,则转入反向传播,根据预测误差调整网络权值和阈值,从而使BP神经网络预测输出不断逼近期望输出。BP神经网络的拓扑结构如下:

BP神经网络预测前首先要训练网络,通过训练使我网络具有联想记忆和预测能力。BP神经网络的训练过程包括以下几个步骤:
1. 网络初始化。根据系统输入输出序列(X,Y)确定网络输入层节点数n、隐含层节点数l,输出层节点数m,初始化输入层、隐含层和输出层神经元之间的连接权值w,初始化隐含层阈值a,输出层阈值b,给定学习速率和神经元激励函数。

2. 隐含层输出计算。根据输入向量X,w和a,计算隐含层输出H。

3. 输出层输出计算。柑橘隐含层输出H,连接权值w和阈值b,计算BP神经网络预测输出O。

4. 误差计算。根据网络预测输出O和期望输出Y,计算网络预测误差e。

5. 权值更新。根据网络预测误差e更新网络连接权值。

6. 判断算法迭代是否结束,若没有结束,返回步骤2。

实例:根据BP神经网络,在MATLAB中实现语音特征信号分类算法。首先对信号进行归一化,避免因为输入输出数据数量级差别较大造成网络预测误差较大。归一化方法有最大最小发和平均数方差法。这里采用第一种方法:

%input_train,output_train分别是训练输入、输出数据
[inputn,inputps]=mapminmax(input_train);
[outputn,outputps]=mapminmax(output_train);

outputn是归一化后的数据,outputps为数据归一化后得到的结构体,里面包含了最大值、最小值和平均值等信息,可用于测试数据归一化和反归一化。

inputn_test=mapminmax('apply',input_test,inputps); %测试输入数据归一化
BPoutput=mapminmax('reverse',an,outputps)%网络预测数据反归一化

an是网络预测结果,BPoutput是反归一化后的网络预测输出,'reverse'表示对数据进行反归一化。

提取四类语音特征信号,不同的语音信号分别用1,2,3,4标识,提取出的信号分别存储于data1.mat data2.mat data3.mat data4.mat数据库文件中,每组数据为25维,第1维为类别标识,后24维为语音特征信号。随机抽取1500组数据作为训练数据,500组数据作为测试数据,并对训练数据进行归一化处理。根据语音类别标识设定每组语音信号的期望输出值,如标识类为1时,期望输出向量为[1 0 0 0]。

%导入四类语音信号
load data1 c1
load data2 c2
load data3 c3
load data4 c4
%将四类语音特征信号合并为一组
data(1:500,:)=c1(1:500,:);
data(501:1000,:)=c2(1:500,:);
data(1001:1500,:)=c3(1:500,:);
data(1501:2000,:)=c4(1:500,:);
%输入输出数据
input=data(:,2:25);
output1=data(:,1);
%设定每组输入输出信号
for i=1:2000
 switch output1(i)
   case 1
      output(i,:)=[1 0 0 0];
   case 2
      output(i,:)=[0 1 0 0];
   case 3
      output(i,:)=[0 0 1 0];
   case 4
      output(i,:)=[0 0 0 1];
   end
end

%从中随机抽取1500组数据作为训练数据,500组数据=作为预测数据
k=rand(1,2000);
[m,n]=sort(k);
input_train=input(n(1:1500),:)';
output_train=output(n(1:1500),:)';
input_test=input(n(1501:2000),:)';
output_test=output(n(1501:2000),:)';

%输入数据归一化
[inputn,inputps]=mapminmax(input_train);

BP神经网络结构初始化

根据语音特征信号确定BP神经网络的结构为24-25-4,随机初始化BP神经网络权值和阈值。

%网络结构
innum=24;
midnum=25;
outnum=4;
%权值阈值初始化
w1=rands(midnum,innum);
b1=rands(midnum,1);
w2=rands(midnum,outnum);
b2=rands(outnum,1);

用训练数据训练BP神经网络,在训练过程中根据网络预测误差调整网络的权值和阈值。

for ii=1:20
  E(ii)=0; %训练误差
   for i=1:1:1500
    %选择本次训练数据
     x=inputn(:,i);
     隐含层输出
    for j=1:1:midnum
          I(j)=inputn(:,i)'*w1(j,:)'+b1(j);
          Iout(j)=1/(1+exp(-I(j)));
    end
    %输出层输出
     yn=w2'*Iout'+b2;

    %预测误差
    e=output_train(:,i)-yn;
    E(ii)=E(ii)+sum(abs(e));

    %计算w2.b2调整量
    dw2=e*Iout;
    db2=e';
    %计算w1 b1调整量
    for j=1:1:midnum
      S=1/(1+exp(-I(j)));
      FI(j)=S*(1-S);
    end
    for k=1:1:innum
      for j=1:1:midnum
        dw1(k,j)=FI(j)*x(k)*(e(i)*w2(j,1)+e(2)*w2(j,2)+e(3)*w2(j,3)+e(4)*w2(j,4));
        db1(j)=FI(j)*(e(1)*w2(j,1)+e(2)*w2(j,2)+e(3)*w2(j,3)+e(4)*w2(j,4));
      end
    end

  %权值阈值更新
    w1=w1_1+xite*dw1';
    b1=b1_1+xite*db1';
    w2=w2_1+xite*dw2';
    b2=b2_1+xite*db2';

%结果保存
    w1_1=w1;
    w2_1=w2;
    b1_1=b1;
    b2_1=b2;
  end
end