[12]发明专利申请公开说明书
[21]申请号200310108052.2
[51]Int.CI7
G06N 3/06
[43]公开日2004年9月15日[22]申请日2003.10.21[21]申请号200310108052.2
[71]申请人上海交通大学
地址200240上海市闵行区东川路800号[72]发明人张春慨 邵惠鹤
[11]公开号CN 1529281A
[74]专利代理机构上海交达专利事务所
代理人王锡麟 王桂忠
权利要求书 2 页 说明书 6 页 附图 2 页
[54]发明名称
神经网络建模方法
[57]摘要
一种神经网络建模方法。属于智能信息处理技术领域。本发明基于结构风险最小化原则，结合合作协作进化算法，同时进行神经网络的网络结构和连接权值学习，最终得到网络结构和连接权值之间最优折衷，方法具体包括数据处理、网络学习和网络估计预测三个基本步骤。本发明同时进行网络结构和连接权值的学习，较好地解决了传统神经网络学习中存在的结果与初始值相关、收敛速度慢、易陷于局部最小值、误差函数必须可导、过学习等实际问题，提高了网络的学习能力和泛化能力。本发明可应用于心脏病智能诊断、工业领域中的故障诊断、软测量等，经济领域的股票价格预测、商品价格预测等。
200310108052.2
权 利 要 求 书
第1/2页
1、一种神经网络建模方法，其特征在于，基于结构风险最小化原则，结合合作协作进化算法，同时进行神经网络的网络结构和连接权值学习，最终得到网络结构和连接权值之间最优折衷，方法具体包括数据处理、网络学习和网络估计预测三个基本步骤：
数据处理：确定神经网络的输入和输出变量，并基于交叉验证和合作协作进化模型特点，将样本数据随机分割成3个子集：训练样本子集、有效样本子集和测试样本子集，分别用于网络的学习、有效性检验和测试；
网络学习：包括网络结构和连接权值学习两部分，采用合作协作进化算法，协作进化网络结构和连接权值；
网络估计预测：网络学习过程结束后，采用测试样本子集，测试网络的估计预测准确率，验证网络的泛化能力。
2、根据权利要求1所述的神经网络建模方法，其特征是，所述的网络学习包含如下步骤： (1)编码方法
主导物种的个体代表了网络结构，其编码内容是正整数，评优物种的个体代表了一给定网络结构的神经网络的连接权值，其编码内容是实数，它的个体长度与对应的网络结构有关，该网络结构对应于主导物种中一个个体，主导物种的一个个体与评优物种的一个个体组合一个完整的神经网络； (2)适应值函数
在评价个体优劣时，首先将评优物种中的个体与主导物种中对应的个体结合组成一个完整的神经网络，然后计算该网络的性能，作为该个体的适应值，为此，将训练样本子集用于评优物种，对已给定网络结构的神经网络的连接权值进行进化，其个体适应值函数等于训练样本子集通过该神经网络所产生的均方误差函数的倒数，将有效样本子集用于主导物种，对神经网络的网络结构进行进化，其个体适应值函数等于有效样本子集通过该神经网络所产生的均方误差函数的倒数； (3)学习过程
首先，确定主导物种和评优物种的种群规模，并随机初始化种群，其中评优
2
200310108052.2权 利 要 求 书 第2/2页
物种的每个种群对应于主导物种的一个个体，每个种群中的个体代表了一个给定网络结构的神经网络的全部连接权值；
其次，采用训练样本子集，利用局部进化算法进化评优物种的种群，并选择最好个体作为该种群的个体代表，采用有效样本子集，利用评优进化算法进化主导物种的种群，其中每个个体与该个体对应的评优物种中的个体代表组成一个完整的神经网络实例，并选择最好实例作为当前最好神经网络；
最后，在完成进化过程后，利用局部进化算法进一步地进化当前最好神经网络，它的样本集合包括训练样本子集和有效样本子集。
3、根据权利要求1或2所述的神经网络建模方法，其特征是，当评优物种的种群所对应的网络结构改变时，利用增加和删除节点方法和局部进化算法来进化评优物种的种群，若增加了隐层节点，在增加和删除节点方法下，局部进化算法仅进化与新增加的隐层节点相连的输入、输出层节点间的连接权值，尽可能地减小剩余的训练均方误差，若删除了隐层节点，在增加和删除节点方法下，如果该网络曾经增加过隐层节点，那么以原来增加节点次序的逆序来删除节点，否则随机删除节点，然后，利用局部进化算法进化每个个体代表的所有连接权值。
3
200310108052.2
说 明 书
神经网络建模方法
第1/6页
技术领域
本发明涉及的是一种建模方法，特别是一种神经网络建模方法。属于智能信息处理技术领域。 背景技术
传统数学建模方法，包括机理建模、多元统计方法、卡尔曼滤波方法、基于模型的回归方法等，这些方法在应用中取得了一定的效果。但是，随着待解决问题的日益复杂，传统数学方法对其难以精确描述，加之评价指标选择不恰当，实际效果一般不很满意。于是基于神经网络的建模方法被提出来，该方法在相当程度上提高了模型性能，但由于连接权值学习通常采用本质属于梯度下降的算法，且网络结构依赖经验选取，因而不可避免地存在结果与初始值相关、收敛速度慢、非线性映射差、易陷于局部最小值、过学习等实际问题，导致学习能力不足、泛化能力较弱。进化算法是一类全局随机搜索算法，能够在复杂、多峰值、不可微的大矢量空间中迅速有效地寻找到全局最优值，且只要能建立起正确的适应度函数，不要求可导，就可对各种结构的网络实施有效的学习，从而弥补传统神经网络权值学习算法所存在的不足。
经文献检索发现，Yao X.在《International Journal of Intelligent Systems》(《智能系统国际杂志》)(Vol.8(4)，539-567，1993)上撰文“A Review ofEvolutionary Artificial Neural Networks”(“进化神经网络的评述”)，该文研究并评论了采用进化算法训练神经网络的多种方法，研究表明，进化神经网络仍不能自动设计网络结构，对小样本、非线性及要求模型泛化能力强的这类问题的建模性能不好。 发明内容
本发明的目的在于克服现有技术中的不足，提供一种的神经网络建模方法，使得网络结构和连接权值都能自动学习，在建模准确度提高同时，大幅提高模型的泛化能力。
4
200310108052.2说 明 书 第2/6页
本发明是通过以下技术方案实现的，本发明基于统计学习理论的结构风险最小化原则，结合合作协作进化算法，同时进行神经网络的网络结构和连接权值学习，最终得到网络结构和连接权值之间最优折衷，方法具体包括数据处理、网络学习和网络估计预测三个基本步骤。
结构风险最小化原则定义了在对给定数据集逼近的精度和逼近函数复杂性之间的一种折衷，即考虑连接权值和网络结构之间的最优折衷，此时模型具有最好的学习准确度和泛化能力。基于此原则，在神经网络进化学习过程中，存在两种物种的进化：一种物种进化网络结构，称之为“主导物种”；另一种物种进化连接权值，称之为“评优物种”。目的是利用主导物种进化来引导评优物种的进化方向；利用评优物种进化来评价已进化过的网络结构的优劣，它们之间是合作协作关系，最终得到网络结构和连接权值的最优折衷。 以下对本发明方法作进一步的说明，具体内容如下： 1、数据处理
确定神经网络的输入和输出变量，并基于交叉验证思想和新型合作协作进化模型特点，将样本数据随机分割成3个子集：训练样本子集、有效样本子集和测试样本子集，分别用于网络的学习、有效性检验和测试。相比传统神经网络中的数据处理方法，这种方法可较好地提高神经网络的泛化能力。 2、网络学习
网络学习包括网络结构和连接权值学习两部分，采用合作协作进化算法，协作进化网络结构和连接权值，具体如下： (1)编码方法
主导物种的个体代表了网络结构，其编码内容是正整数；评优物种的个体代表了一给定网络结构的神经网络的连接权值，其编码内容是实数，它的个体长度与对应的网络结构有关，该网络结构对应于主导物种中一个个体。主导物种的一个个体与评优物种的一个个体可以组合一个完整的神经网络。 (2)适应值函数
在评价个体优劣时，首先将评优物种中的个体与主导物种中对应的个体结合组成一个完整的神经网络，然后计算该网络的性能，作为该个体的适应值。为此，将训练样本子集用于评优物种，对已给定网络结构的神经网络的连接权值进行进化，其个体适应值函数等于训练样本子集通过该神经网络所产生的均方误差函数
5
200310108052.2说 明 书 第3/6页
的倒数；将有效样本子集用于主导物种，对神经网络的网络结构进行进化，其个体适应值函数等于有效样本子集通过该神经网络所产生的均方误差函数的倒数。 (3)学习过程
首先，确定主导物种和评优物种的种群规模，并随机初始化种群，其中评优物种的每个种群对应于主导物种的一个个体，每个种群中的个体代表了一个给定网络结构的神经网络的全部连接权值。
其次，采用训练样本子集，利用局部进化算法(PTA)进化评优物种的种群，并选择最好个体作为该种群的个体代表；采用有效样本子集，利用一般进化算法进化主导物种的种群，其中每个个体与该个体对应的评优物种中的个体代表组成一个完整的神经网络实例，并选择最好实例作为当前最好神经网络。 当评优物种的种群所对应的网络结构改变时，利用增加和删除节点方法(EAN)和局部进化算法(PTA)来进化评优物种的种群。若增加了隐层节点，在增加和删除节点方法下，局部进化算法仅进化与新增加的隐层节点相连的输入、输出层节点间的连接权值，以尽可能地减小剩余的训练均方误差，而其他连接权值保持不变。与已存在的神经网络节点相比，新增加的节点表示了整个神经网络在映射输入和输出样本时的细节问题，即剩余的训练均方误差，这样极大地减小了搜索空间，并且由于已存在的连接权值保持不变，防止破坏神经网络已学到行为；若删除了隐层节点，在增加和删除节点方法下，如果该网络曾经增加过隐层节点，那么以原来增加节点次序的逆序来删除节点，否则随机删除节点。然后，利用局部进化算法进化每个个体代表的所有连接权值。
最后，在完成进化过程后，利用局部进化算法进一步地进化当前最好神经网络，它的样本集合包括训练样本子集和有效样本子集。这样，可进一步提高神经网络的泛化能力。 3、网络估计预测
网络学习过程结束后，采用测试样本子集，测试网络的估计预测准确率，验证网络的泛化能力。
本发明具有实质性特点和显著进步。本发明基于统计学习理论的结构风险最小化原则，使神经网络学习有了理论基础；利用新型合作协作进化模型，同时进行网络结构和连接权值的学习，较好地解决了传统神经网络学习中存在的结果与初始值相关、收敛速度慢、易陷于局部最小值、误差函数必须可导、过学习等实
6
200310108052.2说 明 书 第4/6页
际问题，提高了网络的学习能力和泛化能力。本发明可应用于心脏病智能诊断，具有较好的结果，也可用于工业领域中的故障诊断、软测量等，经济领域的股票价格预测、商品价格预测等。 附图说明
图1本发明方法的逻辑结构图；
图2本发明实施例方法与传统方法在网络学习过程的输出均方误差曲线； 图3本发明基于合作协作进化神经网络的个体编码方法示意图。 具体实施方式
为了更好地理解本发明的技术方案，以下结合附图及具体的实施例作进一步描述。
如图1所示，本发明方法的逻辑结构图。图中主要分为两个部分：主导物种进化和评优物种进化，主导物种的进化和评优物种的进化是交替进行的，直到算法终止为止。其目的是利用评优物种的进化来评价已进化过的网络结构的优劣；反过来，利用主导物种的进化来引导评优物种的进化方向，使其朝着搜索空间中可能具有最优网络结构的区域内进行搜索，它们是相互协作的关系。其中，进化评优物种时，利用了增加和删除节点方法和局部进化算法，维护评优物种中父代和子代个体间的行为连接，提高了搜索效率。
实施例：将本发明方法应用于心脏病智能诊断中的实例
由于心脏病智能诊断的复杂特性，使得传统数学方法对其难以精确描述，加之评价指标选择不恰当，实际效果一般不很满意。本发明应用于心脏病智能诊断， 具体实施过程如下： 1、数据处理
心脏病数据样本中，共有303个数据样本，经过筛选，只保留其中的270个用于神经网络的学习。每个样本的病理检测有75项，心脏病状况分为5类(value 0，1，2，3，4)。为了简化起见，在实际诊断时，只利用了病理检测中的13项：Age、Sex、Cp、Trest、Chol、Fbs、Reste、Thal、Exan、Old、Slop、Ca、Thal，心脏病状况只分为两类：presence(value 0)和absence(value 1，2，3，4)。这样，每个数据样本包括13个属性，分为两类，对应于输入层有13个节点、输出层有1个节点的神经网络。
所有数据样本划分为三个子集，其中前134个数据样本属于训练样本子集，
7
200310108052.2说 明 书 第5/6页
接下来的68个数据属于有效样本子集，最后68个属于检验样本子集。 2、网络学习 (1)编码方法
如图3所示，图中右半部为一个13×n×1的三层神经网络(n为隐层节点数)。左半部为个体编码，其中主导物种的个体编码为隐层节点数n，长度为1；评优物种的个体编码为输入层—隐层的连接权值和隐层—输出层的连接权值，长度为(13×n+n)。 (2)适应值函数
神经网络的均方误差函数为
其中，Omax和Omin分别是网络输出的最大和最小值，N是样本集合大小，P是网络输出的维数，Yi和Zi分别是第i个样本在网络的第k个实际输出和期望输出。评优物种和主导物种的个体适应值函数为均方误差函数的倒数，在该实施例中，Omax＝1和Omin＝0，P＝1，对于评优物种，样本集合采用训练样本子集，N＝134；对于主导物种，样本集合采用有效样本子集，N＝68。 (3)学习过程
主导物种和评优物种的种群规模均为30，每个个体的初始值是在一个小范围内随机一致分布的。
采用训练样本子集，利用局部进化算法进化评优物种，并选择物种中最好个体作为该物种的个体代表；采用有效样本子集，利用评优进化算法进化主导物种，其中每个个体代表一个神经网络实例的网络结构，该实例所代表的连接权值等于与该个体对应的评优物种中的个体代表所表示的连接权值，并选择主导物种的最好个体，与对应的评优物种的个体代表相结合组成一个完整的神经网络，作为当前最好神经网络。 3、网络估计预测
为了说明本发明的有效性，对该实施例分别采用传统神经网络方法和本发明方法进行网络学习。经过30次独立运行，计算统计结果的平均值。这里，统计结果包括训练均方误差、测试均方误差、有效性均方误差(仅对于SDCEANN)及神经网络的输出均方误差曲线，分别如表1和图2所示。
8
k
k
200310108052.2说 明 书 第6/6页
表1本发明和传统方法的统计结果
训练样本子集误差
平均
传统方法
均方差
11.9210.933
误差率0.1260.017
有效样本子集误差**
误差率**
测试样本子集误差13.3030.991
误差率0.1920.031
最大最小平均
本发明方法
均方差
13.86310.13011.3920.718
0.1820.1010.1130.015
**14.1630.575
**0.1890.025
15.25111.28612.1270.925
0.2940.1420.1350.019
最大最小
12.7249.068
0.1590.097
15.34813.046
0.2490.147
13.94810.245
0.2020.124
从数据统计结果和网络输出的均方误差曲线可以看出，相比传统方法，本发明方法在收敛速度、准确率、网络泛化能力和算法稳定性方面均有相当提高。
9
200310108052.2
说 明 书 附 图
第1/2页
图1
10
200310108052.2说 明 书 附 图 第2/2页
图2
图3
11
因篇幅问题不能全部显示，请点此查看更多更全内容