・６４・ 科技进步与对策 ２００８拄 是求解上述优化问题的过程．详细分析计算过程见文献 ［４］。 ２．２支持向量机的自适应问题 预测模型的功能是根据对象的历史信息和未来输人 预测其未来输出，通过前文的论述已经知道支持向量机为 解决该问题提供了很好的思路。但是，支持向量机中不同 参数的选取会对其应用效果产生显著的影响，选取合理的 参数成为其应用过程中面临的一个重要问题。反观人Ｔ神 经网络．其本身就通过模拟人脑的思维过程而具有自适应 学习能力，而在大部分支持向量机的应用过程中，都是根 据经验设定参数．直接输出结果．使得支持向量机的效能 不能够得到充分发挥。 针对上述问题，近年的支持向量机研究中．陆续引人了 相关的优化算法对参数选取问题进行在线优化，其中以遗 传算法为代表的进化算法在其中占据了重要位置 ｊ。由于 这些优化算法的引人，使得支持向量机获得了和人］二神经 网络一样的自适应学习能力，具体如图ｌ所示。 图１支持向置机自适应过程示意 但是传统进化算法也面临着一些挑战，主要是计算速 度慢，以及南于优化函数的复杂特性，容易收敛于局部最 优等问题，使其在解决支持向量机自适应问题中具有一定 的局限性。因此，本文研究引人进化算法中较新的微分进 化算法解决支持向量机的自适应问题 ３微分进化算法 微分进化算法（ＤＥ）是一种较新的进化优化算法ｒ９］，同 所有的进化优化算法一样，微分进化算法也是对候选解的 种群进行操作，但不只是对单一解进行操作。ＤＥ利用实数 值参数向量作为每一代的种群，它的自参考种群繁殖方案 与其它进化优化算法不同，其新参数向量是通过把种群中 两个成员之间的加权差向量加到第三个成员上来产生的， 这称为“变异”（与遗传算法“变异”的比较见网２），然后将 变异向量的参数与另外预先决定的目标向量参数按照一 定规则混合来产生试验向量，通常称为“交叉”，如果试验 向量的代价函数比目标向量的代价函数低，试验向量就在 下一代中代替目标向量，这一操作称为“选择”。这样利用 随机偏差扰动产生新个体的方式可以获得一个具有非常 好的收敛性质的自适应程序． ．与其它进化算法变异操作主要依靠随机分布函数不 同，微分进化算法依靠随机选取的一对目标向量的差分进 行变异。而目标向量的分布很大程度上依赖于目标函数的 特性，那么这种变异方式就使得微分进化算法搜索方式更 加适合于目标函数而具有更强的鲁棒性和全局搜索能力 ３．１基本ＤＥ算法 概括来讲，ＤＥ算法主要包含以下几个重要内容： （１）初始化。ＤＥ利用ⅣＰ个维数为Ｄ的实数值参数向 量作为每一代的种群，每个个体表示为Ｉｎｄｉｖｉｄｕａｌ ， ｌ，２，…，ＮＰ，其中Ｉｎｄｉｖｉｄｕａｌ表示个体在种群中的序列，Ｇ 表示种群所属的代数，在优化过程中，ＮＰ保持不变。为了 建立优化搜索的初始点，种群必须被初始化，其初始化的 范围应该涵盖整个解的空间。 （２）变异。对于每个目标向量Ｘ ，变异向量的产生可 以采取如下形式：１）ｉ，Ｇ＋ｌ＝ Ｇ＋Ｆ（ 一Ｘ“），其中随机选择的 序号ｒ１、ｒ２、ｒ３互不相同，且ｒｌ、ｒ２、ｒ３与目标向量的序号 也应不同，所以ＮＰ必须大于或等于４以满足上述条件。 系数Ｆ∈［０，２］是一个实数因子，控制着偏差变量的放大 作用，具体见图２（ｂ）。 Ｖ ． ∥ （ａ）遗 算法变异 意 （ｂ）微分进化算法变异，Ｊ 意 图２ 遗传算法与微分进化算法变异方式比较 （３）交叉。为了增加干扰参数向量的多样性，ＤＥ中引 人交叉操作，则试验向量变为： 一Ｉ ｖｊ：＋＋１ ｉ ｆ（ Ｕ）≤ ＣＲ ） ｏｒ ｊ＝ｒ ｎｂ ｒ（ｉ‘ （） ６）， 其中，ｒａｎ＠Ｕ）是产生［０，１］之间随机数的第 个值，ｒｎｂｒ （ ）∈ｌ，２，…，Ｄ是一个随机选择的序列，用来确保ｕ ． 至少 从 获得一个参数，ＧＲ是交叉因子，取值范围为『０，１］。 （４）选择。为了决定试验向量１Ｚ 是否会成为下一代 中的成员，将试验向量与目前种群中的目标向量Ｘｉ进行Ｇ ．比较，如果试验向量的目标函数值比当前向量小．则替换 当前向量。 微分进化算法的步骤如下：①确定ＤＥ的控制参数和 选择的具体策略；②随机产生初始种群，进化代数 ＝ｌ；③ 对初始种群进行评价，即计算目标函数值；④判断是否达 到中止条件，若是，则此时的最佳个体作为解输出．否则． 继续；⑤进行变异和交叉操作，对边界解进行处理．得到临 时种群；⑥对临时种群进行评价，计算目标函数值：⑦进行 选择操作，得到新种群；⑧进化代数刷新ｋ＝ｋ＋ｌ，转步骤４。 维普资讯 http://www.cqvip.com 第ｌ期 郭雩松，孙林岩，刘哲：基于微分进化算法的支持向量机预测模型及其在制造业发展预测中的应用 ．６５． ３．２基于微分进化的支持向量机训练 支持向量机的关键参数可以很容易映射到微分进化 算法种群的每个个体之中（编码过程），具体如图３所示。 ｌｎｄｉｖｉｄｕａｌ Ｉ Ｃ 图３支持问量机参数编码示意 基于微分进化算法的技持向量机参数选择过程，实际 上就是利用微分进化算法寻求最优支持向量机参数的过 厂— ———— 程，目标函数定义为ＭＳＥｃ＝ｇ』Ｌ １／∑（Ｙｉ一∥ ，其ｒｆ】ｙ。为训 练样本的实际输ｍ值，矿，为选用特定参数的支持向量机进 行回归的预测数值。令０为表示支持向量机参数的向量， 那么实际上就是求解如下优化问题： Ｍｉｎ（ＭＳＥ） Ｓ．ｔ Ｌ≤０≤ｆ， 其中￡和 分别表示支持向量机参数下限和上限， 具体流程见图４。 图４基于微分进化的支持向量机训练示意 ４模型在制造业发展预测中的应用举例 制造业发展预测问题的闲难在于其不确定的内生、外 生影响冈素众多。从宏观层面上讲，某同制造业发展政策、 以及其它产业的发展甚至世界范围内的政治、经济环境的 变化．都会对制造业的发展轨迹产生影响。微观层面上如 劳动成本的变化等，都有显著影响，但是这种影响很难体 现在预测模型中，从而使得Ｔａｋｃｎｓ定理所讲的时问序列 过去值与外来值之间的光滑映射，在制造业发展的原始数 据中很难存在，而且由于影响因素众多，把这种影响因素 全部包含在预测模型中是不现实的。所以本研究首先通过 小波分析，剔除不确定及短期因素的影响，力求对制造业 发展的趋势进行预测，这样虽然从技术层面上降低了预测 精度，但实际上，这样使得预测具有更强的可操作性。更重 要的是，我们对于制造业的预测，实际上更加关注其发展 趋势．而原始数据虽然包含了趋势信息，但还掺杂了许多 其它信息，而这些信息本身并不反映制造业发展的根本趋 势。因此，剔除这信息，实际上是一个信息筛选、提取根本 内容的过程，尽管表面上降低了原始数据预测的精度，但 从更高的层面上讲，恰恰将最根本的信息展现出来，因而 具有更深意义上的准确性，这种思路已经为许多预测研究 所采用ＩＯ－Ｌ２ 本文选取日本纺织行业产值在整个日本制造业的比 重作为主要分析数据，数据来源于日本官方网站 选取 １９５７～１９９２年的数据为训练样本，１９９３～２００２年ｌ０年的数 据为检验样本。首先对时间序列进行小波变换，然后将高 频部分置０，而后对数据求一阶差分，进行标准化处理，再 进行相空间重构，得到序列。其中，映射关系，１： Ｒ中的 ｍ取１５，预测方式采用递归预测。 支持向量机的核函数选定为径向基函数，那么支持向 量机的自适应学习过程实际上就是针对给定训练样本的 参数修正过程。给定相应参数的范围：Ｃ∈『ｌ，２００］，，ｆ∈ ［０．０００１，１］ａｎｄ ∈［０．００１，２０］，微分进化算法的控制参数 种群规模为１０，种群中每个个体包含上述３个参数。编码 方式见图３ 经过优化，得到最优解为： ｆＣ＝５４．９５３３７３ ｛ｓ＝０．Ｏ００１００ （７） Ｉ ｔｒ＝Ｏ．７２４９８３ 与此相对应的ＭＳＥ值为０．００００９８。 ｌｔｅｒａｔｉｏｎ （ａ）微分进化算法的逼近轨迹 ｌｔｅｒａｔｉｏｎ （ｂ）遗传算法的逼近轨迹 图５基于不同进化算法的支持向量机训练效果比较 为了便于同其它进化算法进行比较，本文依据文献 ”。 中介绍的遗传算法，构建了基于遗传算法的进化支持向量 机模型 分别利用微分进化算法、遗传算法对相同训练样 本的支持向量机模型参数进行优化，取相同的种群规模、 编码方式以及变异概率等关键参数，在Ｍａｔｌａｂ计算平台 上分别进３００次重复计算，其中微分进化算法平均需要迭 维普资讯 http://www.cqvip.com ・６６－ 科技进步与对策 ２００８拄 代１０４．４次，遗传算法平均需要２０８．９４次，其最优、最差以 及平均水平逼近轨迹如图５所示。其中在３００次计算过程 中．基于微分进化算法的计算过程全部收敛于目标函数的 最小值．而基于遗传算法的计算过程则有３６次由于陷入 局部最优而没有收敛于最小值，准确率为８８％。每次迭代 的平均时问分别为０．１７２９秒和０．１７３１秒，大体相同，所以 平均迭代次数明显小于遗传算法的微分进化算法，无疑消 耗的时问更少，同时具有更强的全局搜索能力。 按照训练得到的支持向量机进行预测，结果见表１， 整体拟合结果见图６。 附表 支持向量机预测输出数据列 Ｆｉｇｕｒｅ ｏｆＴｅｎｄｅｎｃｙ ｏｆ Ｓｈａｒｅ ｏｆＴｅｘｔｉｌｅ ｉｎ Ｍａｎｕｆａｃｔｕｒｉｎｇ ｉｎ Ｊａｐａｎ ２００５ Ｙｅａｒ 图６原始数据、趋势数据及预测数据拟合曲线 图６中，虚线表示原始数据，实线表示经小波分析后 得到的趋势数据，点序列表示预测数据，可以看出，预测结 果具有很高的精度。 ５结语 本研究在Ｔａｋｅｎｓ定理的基础上，根据观测到的序列 构建训练样本对（她，Ｙｉ），而后基于微分进化算法对支持向 量机模型进行训练，使其能够对未知数据进行更加准确的 预测。为满足Ｔａｋｅｎｓ定理的条件，通过小波去噪得到制造 业指标变化的趋势序列，虽然不是对原始数据的精确预 测，但其预测结果（见附表和图６）仍然具有很强的现实意 义。 通过基于微分进化的支持向量机预测，其平均迭代步 数和训练时间较遗传算法大大缩短，寻找最优参数的精度 大大提高．使得支持向量机具有了更强的自适应学习能力。 最终预测结果与实际值（见表１）的均方差为０．０００４１８７３， 显示了较高的预测精度。 Ｔａｋｅｎｓ定理证实了光滑映射的存在性，但没有说明如 何构建输入矢量，那么如何选取映射关系厂：尺 尺中的ｍ 以及延迟ｒ和Ｐ才能取得最优的预测效果，则应根据具体 情况进行调整。 参考文献 ［１］Ｔａｋｅｎｓ Ｆ．Ｏｎ ｔｈｅ Ｎｕｍｅｒｉｃａｌ Ｄｅｔｅｒｍｉｎａｔｉｏｎ ｏｆ ｔｈｅ Ｄｉｍｅｎｓｉｏｎ ｏｆ ａｎ Ａｔｔｒａｃｔｏｒ［Ａ］．Ｉｎ Ｒａｎｄ Ｄ，Ｙｏｕｎｇ Ｌ Ｓ．Ｄｙｎａｍｉｃａｌ Ｓｙｓｔｅｍｓ ａｎｄ Ｔｕｒｂｕｌｅｎｃｅ，Ｗａｒｗｉｃｋ，Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｍａｔｈｅｍａｔｉｃ［Ｃ］．Ｓｐ ｒｉｎｇｅｒ－－Ｖｅｒｌａｇ，１９８１，（８９８）：３１６．３８１． ［２］Ｈａｒｔｍａｎ Ｅ Ｊ，Ｋｏｗａｌｓｋｉ Ｊ Ｍ．Ｌａｙｅｒｅｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｗｉｔｈ Ｇａｕｓｓｉａｎ Ｈｉｄｄｅｎ Ｕｎｉｔｓ ａｓ Ｕｎｉｖｅｒｓａｌ Ａｐｐｒｏｘｉｍａｔｉｏｎｓ［Ｊ］． Ｎｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏｎ，１９９０，２（１）：２１０－２２１． 『３］ Ｋｒｅｎｏｖｉｃｈ Ｖ Ｙａ．Ａｒｂｉｔｒａｒｙ Ｎｏｎｌｉｎｅａｒｉｔｙ ｉｓ Ｓｕｆｆｉｃｉｅｎｔ ｔｏ Ｒｅｐｒｅｓｅｎｔ ａｌｌ ＦｕｎｃｔｉＯｎｓ ｂｙ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ：Ａ Ｔｈｅｏｒｅｍ［Ｊ］． Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，１９９１，４（２）：３８，１３８９． ［４］Ｖ・Ｖａｐｎｉｋ，Ｔｈｅ Ｎａｔｕｒｅ ｏｆ Ｓｔａｔｉｓｔｉｃａｌ Ｌｅａｒｎｉｎｇ Ｔｈｅｏｒｙ［Ｍ］．Ｎｅｗ Ｙｏｒｋ：Ｓｐｒｉｎｇｅｒ—Ｖｅｒｌａｇ，１９９５． ［５］Ｔａｅｓｈｉｋ Ｓｈｏｎ，Ｙｏｎｇｄａｅ Ｋｉｍ，Ｃｈｅｏｌｗｏｎ Ｌｅｅ，Ｊｏｎｇｓｕｂ Ｍｏｏｎ，Ａ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｆｒａｍｅｗｏｒｋ ｔｏｒ Ｎｅｔｗｏｒｋ Ａｎｏｍａｌｙ Ｄｅｔｅｃｔｉｏｎ Ｕｓｉｎｇ ＳＶＭ ａｎｄ ＧＡ［Ａ］．Ｉｎ Ｓｙｓｔｅｍｓ，Ｍａｎ ａｎｄ Ｃｙｂｅｒｎｅｔｉｃｓ （ＳＭＣ）Ｉｎｆｏｒｍａｔｉｏｎ Ａｓｓｕｒａｎｃｅ Ｗｏｒｋｓｈｏｐ，Ｐｒｏｃｅｅｄｉｎｇｓ ｆｒｏｍ ｔｈｅ Ｓｉｘｔｈ Ａｎｎｕａｌ ＩＥＥＥ［Ｃ］．２００５，（６）：１７６—１８３． ［６］ＺｈｅｎｇＣｈｕｎｈｏｎｇ，Ｊｉａｏ Ｌｉｃｈｅｎｇ，Ａｕｔｏｍａｔｉｃ Ｐａｒａｍｅｔｅｒｓ Ｓｅｌｅｃｔｉｏｎ ｆｏｒ ＳＶＭ Ｂａｓｅｄ ｏｎ ＧＡ ［Ａ］．Ｉｎ Ｆｉｔｆｈ Ｗｏｒｌｄ Ｃｏｎｇｒｅｓｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｃｏｎｔｒｏｌ ａｎｄ Ａｕｔｏｍａｔｉｏｎ［Ｃ］．２００４，（２）：１８６９—１８７２． ［７］ Ｚｈａｎｇ Ｘｉａｎｇｒｏｎｇ；Ｌｉｕ Ｆａｎｇ，Ａ Ｐａａｅｎｒ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｍｅｔｈｏｄ Ｂａｓｅｄ ｏｎ ＧＡ ａｎｄ ＳＶＭ［Ａ］．Ｉｎ ６ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓ ｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ［Ｃ］，２００２，（１）：１１０－１１３． ［８］ 熊建秋，邹长武，李祚泳．基于免疫进化支持向量机的年用 电量预测［Ｊ］．四川大学学报（工程科学版），２００６，３８（２）： ６—１０． ［９］Ｓｔｏｎｒ Ｒ，Ｐｒｉｃｅ Ｋ，Ｄｉｆｆｅｒｅｎｔｉｌａ Ｅｖｏｌｕｔｉｏｎ．ａ Ｓｉｍｐｌｅ ａｎｄ Ｅｆｆｉｃｉｅｎｔ Ａｄａｐｔｉｖｅ Ｓｃｈｅｍｅ ｆｏｒ Ｇｌｏｂａｌ Ｏｐｔｉｍｉｚａｔｉｏｎ ｏｖｅｒ Ｃｏｎｔｉｎｕｏｕｓ Ｓｐａｃｅｓ［Ｊ］．Ｊｏｕｒｎａｌ ｏｆ Ｇｌｏｂａｌ Ｏｐｔｉｍｉｚａｔｉｏｎ，１９９７，（１ １）：３４１— ３５９． ［１０］ 梁强，范英，一呜．基于小波分析的石油价格长期趋势预测 方法及其实证研究［Ｊ］．中国管理科学，２００５，１３（１）：３０—３５． ［１１］ 朱卫华，唐向宏，张福洪．小波分析在短期经济预测中的应 用［Ｊ］．杭州电子科技大学学报，２００５，２５（１）：４８—５１． ［１２］赵黎明，吴文清．基于小波分析的游客流量神经网络预测 研究［Ｊ］．系统工程学报，２００６，２１（２）：２２１—２２４． ［１３］ Ｋ－Ｐ－Ｗｏｎｇ ａｎｄ Ａ．Ｌｉ．Ｖｉｒｔｕａｌ Ｐｏｐｕｌａｔｉｏｎ ａｎｄ Ａｃｃｅｌｅｒａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｐｏｗｅｒ Ｆｌｏｗ Ｃａｌｃｕｌａｔｉｏｎ ｉｎ Ｐｏｗ— ｅｒ Ｓｙｓｔｅｍｓ ｉｎ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｏｐｔｉｍｉｚａｔｉｏｎ［Ｍ］．Ｒ．Ｓａｒｋｅｒ，Ｍ． Ｍｏｈａｍｍａｄｉａｎ ａｎｄ Ｘ．Ｙａｏ Ｅｄｓ，Ｋｌｕｗｅｒ Ａｃａｄｅｍｉｃ Ｐｕｂｌｉｓｈ— ｅｒｓ，ＵＳＡ，２０ｏ２．３２９—３４５． （责任编辑：赵贤瑶）
因篇幅问题不能全部显示，请点此查看更多更全内容