一种基于半监督集成SVM的土地覆盖分类模型

第４Ｏ卷第７期　２０１３年７月　一计算机科学　Ｖｏ１．４０　Ｎｏ．７　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　Ｊｕｌｙ　２０１３　种基于半监督集成ＳＶＭ的土地覆盖分类模型　刘颖　张柏。王爱莲　桑娟　何咏梅　（吉林财经大学管理科学与信息工程学院　长春１３０１１７）　（中国科学院东北地理与农业生态研究所摘长春１３０１０２）　（中国科学院研究生院　北京１０００４９）。　要　目前，支持向量机技术（ＳⅥ　）在遥感信息获取中普遍受到参数选择不准确和小样本问题的制约。针对这些　问题，提出一种新的半监督集成ＳＶＭ（ＥＰＳ３ＶＭ）分类模型。模型一方面利用自适应变异粒子群优化算法对ＳＶＭ参　数寻优以提高基分类器精度（ＰＳＶＭ）；另一方面采用自训练算法（Ｓｅｌｆ－ｔｒａｉｎｉｎｇ），充分利用大量廉价的未标记样本产生　性能差异的半监督分类器个体（Ｐｓ３ⅥⅥ），其中，在未标记样本标注过程中，引入模糊聚类算法（Ｇｕｓｔａｆｓｏｎ－ｋｅｓｓｅ１）来控　制错误类别的输入，最后对个体分类器采用加权集成策略，以进一步提高分类模型的泛化能力。为了测试其性能，应　用该模型进行多光谱遥感影像的土地覆盖分类实验，并与ＰＳＶＭ、ＰＳ３ＶＭ进行对比，分类精度从ＰＳＶＭ的８８．４８　提　高到９６．８８　，Ｋａｐｐａ系数由０．８５４６提高到０．９６０６。结果表明，ＥＰＳ３ＶＭ在克服传统ＳＶＭ参数选择不准确的同时，　有效地应对了小样本问题，分类性能更优。　关键词支持向量机，半监督学习，集成学习，Ｇｕｓｔａｆｓｏｎ－ｋｅｓｓｅｌ模糊聚类，土地覆盖，分类　ＴＰ３９１．４　文献标识码Ａ　中图法分类号Ｅｎｓｅｍｂｌｅ　Ｍｏｄｅｌ　ｗｉｔｈ　Ｓｅｍｉｓｕｐｅｒｖｉｓｅｄ　ＳＶＭ　ｆｏｒ　Ｒｅｍｏｔｅ　Ｓｅｎｓｉｎｇ　Ｌａｎｄ　Ｃｏｖｅｒ　Ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ＬＩＵ　Ｙｉｎｇ　’　’。ＺＨＡＮＧ　Ｂａｉ２　ＷＡＮＧ　一１ｉａｎ１　ＳＡＮＧ　Ｊｕａｎ１　ＨＥ　Ｙｏｎｇ－ｍｅｉ　（Ｃｏｌｌｅｇｅ　ｏｆ　Ｍａｎａｇｅｍｅｎｔ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｊｉｌｉｎ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｆｉｎａｎｃｅ　ａｎｄ　Ｅｃｏｎｏｍｉｃｓ，Ｃｈａｎｇｃｈｕｎ　１３０１１７，Ｃｈｉｎａ）　（Ｎｏｒｔｈｅａｓｔ　Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｇｅｏｇｒａｐｈｙ　ａｎｄ　Ａｇｒｏｅｃｏｌｏｇｙ　Ｃｈｉｎｅｓｅ　Ａｃａｄｅｍｙ　ｏｆ　Ｓｃｉｅｎｃｅｓ，Ｃｈａｎｇｃｈｕｎ　１３０１０２，Ｃｈｉｎａ）　（Ｇｒａｄｕａｔｅ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｃｈｉｎｅｓｅ　Ａｃａｄｅｍｙ　ｏｆ　Ｓｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ　１０００４９，Ｃｈｉｎａ）。　Ａｂｓｔｒａｃｔ　Ｎｏｗａｄａｙｓ，ｍｏｓｔ　ＳＶＭ－ｂａｓｅｄ　ｒｅｍｏｔｅ　ｓｅｎｓｉｎｇ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｍｅｔｈｏｄｓ　ａｒｅ　ｃｈａｌｌｅｎｇｅｄ　ｂｙ　ｉｎｃｏｒｒｅｃｔｌｙ　ｓｅｌｅｃｔｉｎｇ　ｐａ－　ｒａｍｅｔｅｒｓ　ｖａｌｕｅｓ　ａｎｄ　ｔｈｅ　ｓｍａｌｌ　ｓａｍｐｌｅ　ｐｒｏｂｌｅｍｓ．Ｔｈｉｓ　ｐａｐｅｒ　ｐｒｏｐｏｓｅｄ　ａ　ｎｏｖｅｌ　ｅｎｓｅｍｂｌｅ　ｍｏｄｅｌ　ｗｉｔｈ　ｓｅｍｉｓｕｐｅｒｖｉｓｅｄ　ＳＶＭ　（ＥＰｓ３ＶＭ）ｔＯ　ａｄｄｒｅｓｓ　ｔｈｅ　ｐｒｏｂｌｅｍ　ｏｆ　ｒｅｍｏｔｅ　ｓｅｎｓｉｎｇ　ｉｍａｇｅｓ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ．Ｔｈｅ　ｋｅｙ　ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ　ｏｆ　ｔｈｉｓ　ａｐｐｒｏａｃｈ　ａｒｅ　ｔｏ　１）ｓｅｌｆ－ａｄａｐｔｉｖｅ　ｍｕｔａｔｉｏｎ　ｐａｒｔｉｃｌｅ　ｓｗａｒｍ　ｏｐｔｉｍｉｚｅｒ　ｉｓ　ｉｎｔｒｏｄｕｃｅｄ　ｔｏ　ｉｍｐｒｏｖｅ　ｔｈｅ　ｇｅｎｅｒａｌｉｚａｔｉｏｎ　ｐｅｒｆｏｒｍａｎｃｅ　ｏｆ　ｔｈｅ　ＳＶＭ　ｃｌａｓｓｉｆｉｅｒ（ＰＳＶＭ），２）ｓｅｌｆ－ｔｒａｉｎｉｎｇ　ｓｅｍｉｓｕｐｅｒｖｉｓｅｄ　ｌｅａｒｎｉｎｇ　ｍｅｔｈｏｄ　ｔｈａｔ　ｌｅｖｅｒａｇｅｓ　ｌａｒｇｅ　ａｍｏｕｎｔｓ　ｏｆ　ｒｅｌａｔｉｖｅｌｙ　ｉｎｅｘ—　ｐｅｎｓｉｖｅ　ｕｎｌａｂｅｌｅｄ　ｄａｔａ　ｉｓ　ｐｒｅｓｅｎｔｅｄ　ｔｏ　ｐｒｏｄｕｃｅ　ａ　ｎｕｍｂｅｒ　ｏｆ　ｓｅｍｉｓｕｐｅｒｖｉｓｅｄ　ｃｌａｓｓｉｆｉｅｒｓ（ＰＳ３ＶＭ）．Ｔｈｅｎ　ｂｙ　ｔｈｅ　ｗｅｉｇｈｔｅｄ　ｖｏｔｉｎｇ　ｍｅｔｈｏｄ，ｔｈｅｓｅ　ｃｌａｓｓｉｆｉｅｒｓ　ａｒｅ　ｃｏｍｂｉｎｅｄ　ＳＯ　ａｓ　ｔｏ　ｉｍｐｒｏｖｅ　ｔｈｅ　ｇｅｎｅｒａｌｉｚａｔｉｏｎ　ａｂｉｌｉｔｙ　ｏｆ　ｔｈｅ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｍｏｄｅ１．Ｉｎ　ｏｒ－　ｄｅｒ　ｔＯ　ｒｅｄｕｃｅ　ｔｈｅ　ｉｍｐａｃｔ　ｏｆ　ｔｈｉｓ　ｉｓｓｕｅ　ｂｙ　ｉｎｃｏｒｒｅｃｔ　ｌａｂｅｌｓ，Ｇｕｓｔａｆｓｏｎ－ｋｅｓｓｅｌ　ｆｕｚｚｙ　ｃｌｕｓｔｅｒｉｎｇ　ａｌｇｏｒｉｔｈｍ（ＧＫｃｌｕｓｔ）ｉｓ　ｕｓｅｄ　ｆｏｒ　ｓｅｌｅｃｔｉｎｇ　ｔｈｅ　ｕｓｅｆｕ１　ｐｏｉｎｔｓ　ｆｒｏｍ　ｔｈｅ　ｕｎｌａｂｅｌｅｄ　ｓｅｔ．Ｔｈｅ　ｅｆｆｅｃｔｉｖｅｎｅｓｓ　ｏｆ　ｔｈｅ　ｐｒｏｐｏｓｅｄ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ａｐｐｒｏａｃｈ　ｉｓ　ｄｅ－　ｍｏｎｓｔｒａｔｅｄ　ｆｏｒ　ｉｄｅｎｔｉｆｙｉｎｇ　ｄｉｆｆｅｒｅｎｔ　１ａｎｄ　ｃｏｖｅｒ　ｒｅｇｉｏｎｓ　ｉｎ　ｍｕｌｔｉｓｐｅｃｔｒａｌ　ｒｅｍｏｔｅ　ｓｅｎｓｉｇ　ｉｎｍａｇｅｒｙ．Ｉｎ　ｐａｒｔｉｃｕｌａｒ，ｔｈｅ　ｐｅｒｆｏｒ－　ｍａｎｃｅ　ｏｆ　ｔｈｅ　ＥＰＳ３ＶＭ　ｉＳ　ｃｏｍｐａｒｅｄ　ｗｉｔｈ　ＰＳＶＭ　ａｎｄ　ＰＳ３ＶＭ　ｉｎ　ｔｅｒｍｓ　ｏｆ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ａｃｃｕｒａｃｙ　ａｎｄ　ｋａｐｐａ　ｃｏｅｆｆｉｃｉｅｎｔ．　Ｏｎ　ａｎ　ａｖｅｒａｇｅ，ｔｈｅ　ＥＰＳ３ＶＭ　ｍｏｄｅｌ　ｙｉｅｌｄｓ　ａｎ　ｏｖｅｒａｌｌ　ａｃｃｕｒａｃｙ　ｏｆ　９６．８８　ａｇａｉｎｓｔ　８８．４８　ｆｏｒ　ＰＳＶＭ　ａｎｄ　ｏｕｔｐｅｒｆｏｒｍｅｄ　ＰＳ３ＶＭ　ｉｎ　ｔｅｒｍｓ　ｏｆ　ｏｖｅｒａｌ１　ａｃｃｕｒａｃｙ（ｂｙ　ａｂｏｕｔ　５　）．Ｔｈｅ　ｏｂｔａｉｎｅｄ　ｒｅｓｕｌｔｓ　ｃｌｅａｒｌｙ　ｃｏｎｆｉｍ　ｒｔｈｅ　ｅｆｆｅｃｔｉｖｅｎｅｓｓ　ａｎｄ　ｒｏｂｕｓｔ—　ｎｅｓｓ　ｏｆ　ｔｈｅ　ＥＰＳ３ＶＭ　ａｐｐｒｏａｃｈ　ｔｏ　ｔｈｅ　ｒｅｍｏｔｅ　ｓｅｎｓｉｎｇ　ｌａｎｄ　ｃｏｖｅｒ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ．　Ｋｅｙｗｏｒｄｓ　Ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅｓ，Ｓｅｍｉｓｕｐｅｒｖｉｓｅｄ　ｌａｒｅｎｉｎｇ，Ｅｎｓｅｍｂｌｅ　１ｅａｒｎｉｎｇ，Ｇｕｓｔａｆｓｏｎ－ｋｅｓｓｅｌ　ｆｕｚｚｙ　ｃｌｕｓｔｅｒｉｎｇ，　Ｌａｎｄ　ｃｏｖｅｒ，Ｃｌａｓｓ￣ｆ￣ｃａｔｉｏｎ　言　￣ＮＮｌｌｌ是指人类施加于地表的活动，是基于人类活动　到稿日ｊ朝：２０１２－０９—１９返修日期：２０１２－１２－２２　刘目课题（ＫＺＺＤ－ＥＷ－０８—０２），吉林省科技发展计划项目（２Ｏ１３Ｏ５２２１７７ＪＨ）资助。　耋　覆盖归属和识别。目前许多机器学习算法被应用于多光谱土　本文受国家重点基础研究发展计划（９７３计划）课题（２ＯＯ９ｃＢ４２１１Ｏ３），中国科学院重点部署项　柏（１９６２一），男，研究　颖（１９７９一），女，博士生，主要研究方向为模式识别、计算智能、遥感图像处理等，Ｅ－ｍａｉｌ：ｌｙａｉｈｕａ１９９５＠１６３．ｃｏｍ；张员，博士生导师，主要研究方向为遥感应用研究、智能模型构建等，Ｅ－ｍａｉｌ：ｚｈａｎｇｂａｉ＠ｎｅｉｇａｅ．ａｃ．ｅｎ（通信作者）｝王爱莲（１９６７一），女，副教授，主　要研究方向为模式识别、数据库技术等；桑智能计算、计算机网络等。　・娟（１９６４一），女，讲师，主要研究方向为人工智能等；何咏梅（１９６８一），女，副教授，主要研究方向为　２０６・　地覆盖分类领域［２］，其中支持向量机技术（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅｓ，ＳＶＭ）由于能较好地解决高维特征、非线性、过学　习，且具有局部极小等优点，成为土地覆盖信息获取技术新的　研究热点，广泛应用于森林类型识￣Ｕｃ３．，ｌ、农业作物监测［５］、　道路信息提取［　、图像分割ｍ等领域。　ＳＶＭ尽管在遥感信息获取中取得了很好的效果［８］，但仍　存在有待改进和完善之处，主要表现在以下两方面，１）参数选　择问题：分类参数的选择没有特别好的办法，应用时不容易找　到最优分类参数；２）小样本问题：当训练样本集远远小于测试　样本集时，ＳＶＭ即便具有较强的泛化性，也难以给出令人满　意的结果。针对上述问题，诸多专家学者开展一系列卓有成　效的工作，并取得丰硕的研究成果。　对于分类参数选择问题，常用的方法是网格法，然而，这　图１半监督集成ＳＶＭ分类模型技术路线　２．１个体生成算法　２．１．１基于自适应变异粒子群的ＳＶＭ参数优化分类算法　种方法消耗大量时间，结果不是很理想［９］。很多学者利用智　能优化算法对ＳＶＭ参数进行优化，如采用遗传算法（Ｇｅｎｅｔｉｃ　Ａｌｇｏｒｉｔｈｍｓ，ＧＡ）实现ＳＶＭ特征子集的选择与参数同步优　化［１。。，用粒子群优化算法（Ｐａｒｔｉｃｌｅ　Ｓｗａｒｍ　Ｏｐｔｉｍｉｚａｔｉｏｎ，　ＰＳＯ）构建ＳＶＭ分类器优化模型［１　。在寻优过程中相比ＧＡ　方法，ＰＳＯ没有ＧＡ算法的选择、交差、变异过程，算法收敛速　度快、结构简单。但ＰＳＯ也同时存在着容易早熟收敛、搜索　精度较低、后期迭代效率不高等缺点。　对于小样本问题，学者们普遍采用半监督学习和集成学　习两种范式对ＳＶＭ进行改进。半监督学习［１２］利用未标记样　本所隐含的地物类型在特征空间中的结构信息，拟合出一个　更有代表性的分类器；集成学习［１。］综合多个同构或异构学习　机对同一个问题进行学习，进而提高分类器的泛化能力。然　而两种方法的发展几乎是并行的，最近一项研究结果表明，集　成学习与半监督学习之间存在许多互补性，且二者的混合范　式（即半监督集成）可以更大程度地改进学习系统的泛化能　力［１　。因此，设计有效的半监督集成方案是处理小样本问题　的另一个崭新思路［１引。　鉴于上述分析，本文提出一种新的半监督集成ＳＶＭ分　类模型，该模型可以同时解决ＳＶＭ参数选择不准确和小样　本问题，并在多光谱遥感影像的土地覆盖分类实验中获得很　好的分类效果。　２半监督集成ＳＶＭ的分类模型构建　Ｋｒｏｇｈ和ＶｅｄｅｌｓｂｙＣ　］以回归学习集成推导的泛化误差　公式表示为：　Ｅ＝　一　（１）　式中，　表示个体分类器固有误差，万表示个体分类器之间差　异。该公式表明，要获得好的集成，就需要降低个体分类器的　误差并增加个体分类器之间的差异。因此本文从个体生成　（使用程序来生成个体分类器）和结论生成（选择特定的策略　来组合分类器）两个部分考虑，提出半监督集成ＳＶＭ分类策　略。具体技术路线如下：（１）个体生成部分一方面利用自适应　变异粒子群算法（Ｓｅｌｆ－ａｄａｐｔｉｖｅ　Ｍｕｔａｔｉｏｎ　ＰＳＯ，Ｓ　）优　化ＳＶＭ分类器参数以获得高精度分类器个体，另一方面采　用Ｇｕｓｔａｆｓｏｎ－ｋｅｓｓｅｌ（ＧＫｃｌｕｓｔ）模糊聚类算法控制Ｓｅｌｆ－ｔｒａｉｎｉｎｇ　错误标记样本的加入以提高个体分类器的差异性；（２）结论生　成部分采用加权投票策略将半监督分类器个体集成。具体描　述如图１所示。　（Ｐｓ１，Ｍ）　ＳＶＭ的主要思想是建立一个超平面作为决策曲面，使得　正例和反例之间的隔离边缘（Ｍａｒｇｉｎ　ｗｉｄｔｈ）被最大化。寻找　最优超平面即正反例间隔最大化问题，最终归结为一个二次　规划问题。　假设给定训练样本集｛（Ｘｉ，　），ｉ＝１，２，…，　｝由两类组　成，其中，五ＥＲ＂为Ｎ维向量，　∈｛＋１，一１）。ＳＶＭ通过解　决式（２）所示的优化问题获得理想的分类超平面决策函数　，（　）一（　・ｚ）＋６，其中　和ｂ分别为权向量和偏移量。　Ｊ‘　专　　＋强８ｔ；ｌ　　●　●　Ｌ　・蕊＋６）≥１—８，８≥Ｏ，　＝１，２，…，　式中，ｃ为惩罚系数，控制对错分样本的惩罚程度，Ｃ越大表明　对错误分类的惩罚越大。当训练样本为非线性时，采用适当　核函数就可代替向高维空间的非线性映射，从而实现某一非　线性变换后的线性分类。建立ｌａｇｒａｎｇｅ函数求得其对偶式，　最终得到的分类决策函数为式（３）所示。　，（　）＝＝ｓｇｎ｛ｗ・　（　）＋６）　＝ｓｇｎ｛∑　ｔＫ（麓，　）＋６　）　（３）　在ＳＶＭ　４种核函数中应用最广泛的是径向基核（Ｒａｄｉａｌ　Ｂａｓｉｓ　Ｆｕｎｃｔｉｏｎ，ＲＢＦ）核，如式（４）所示，ＲＢＦ核具有较宽的收　敛性，不受维数以及样本数量的严格限制，是较为理想的分类　依据函数。　１　Ｋ（蕊，　）＝ｅｘｐ（一专Ｉｘ／一　ｌ　）　（４）　本文ＳＶＭ的主要参数，除了惩罚系数ｃ，还包括ＲＢＦ核　函数参数７。粒子群算法（ＰＳＯ）是常见的ｓ、　ｖＩ参数寻优方　法，然而，ＰＳＯ算法运行过程中容易陷入局部最优，即出现所　谓的早熟收敛现象，这种缺点会造成ＳＶＭ分类参数寻找不　准确，进而影响分类精度。Ｌｉｕｃ＂］提出利用自适应变异粒子　群算法优化ＳＶＭ分类参数，算法通过分析早熟收敛的判定　准则确定算法是否达到全局收敛，当出现早熟收敛时，通过变　异算子改变粒子的前进方向，从而让粒子进入其它区域进行　搜索，在其后的搜索过程中，算法就可能发现新的个体极值以　及全局极值。Ｌｉｕ将所提出的模型应用于遥感影像分类，并　与传统ＰＳＯ优化ＳＶＭ参数比较，实验表明所提模型可以有　效提高ＳＶＭ分类精度，详细算法参考文献［１７］。　２．１．２　自训练半监督分类算法（ＰＳ３ＶＭ）　自训练方法是半监督学习比较常用的方法，其基本思想　是首先用少量标签样本训练一个分类器，然后用此分类器对　・２０７・　所有无标签样本进行分类，并给每个无标签样本标上类别标　签和相应的置信度；再将置信度高的样本连同它的类别标签　合并到训练集中继续训练分类器；重复上述过程，直至结束条　件满足。自训练方法利用数量很少的标签样本获得初始弱分　类器，然后利用弱分类器估计无标签样本的标签置信度，很有　可能将错误类别加到训练集中，以致在迭代的过程中这个错　误累积并加强。Ｍａｕｌｉｋ等ｌ１。　曾提出利用ＦＣＭ模糊聚类算　法筛选标注对象，以控制错误样本的加入，然而ＦＣＭ不考虑　图像上下文中的任何空间信息，使得它对噪声非常敏感；此外　ＦＣＭ算法采用平方误差和准则，仅适合于发现球形或类似球　形分布的类别，这些很难满足趋于超椭球体分布的遥感数据　分类。鉴于此，本文在ＰＳ３ＶＭ模型中引入ＧＫｃｌｕｓｔ模糊聚　类算法，ＧＫｃｌｕｓｔ算法是距离自适应动态聚类算法的模糊推　广，可以有效地搜索超椭球、平面或线型的数据类别＿１９］（限于　篇幅，ＧＫｃｌｕｓｔ算法从略）。　ＰＳ３ＶＭ算法的主要思想：在未标签样本标注过程中，利　用ＧＫｃｌｕｓｔ对未标签样本产生模糊隶属度函数，然后通过判　定模糊隶属度函数值的大小确定是否将其作为标注对象，从　而远离无效标签样本值。ＰＳ３ＶＭ算法如表１所列。　表１　ＰＳ３ＶＭ算法　步骤　执行内容　ｓｔｅｐ　１　初始化标签样本集Ｔ—Ｌ，无标签样本集Ｍ，ｒ＝　。　Ｓｅｔｐ　２　当Ｍ≠中执行如下操作。　Ｓｔ印３　利用标签集训练ＳＶＭ，并利用自适应变异ＰＳＯ进行参数优化，　构建初始分类器。　ｓｔｅｐ　４　在集合Ｔ中利用Ｇｋｃｌｕｓｔ模糊聚类算法产生聚类中心ｖ。　ｓｔｅｐ　５　以Ｖ为初始聚类中心，在无标签集合中生成无标签样本的模糊　隶属度函数值。　Ｓｔ印６　将隶属度高的样本点组成候选集合Ｎ。　ｓｔ∞７　利用ＰＳＶＭ对Ｎ进行标注。　ｓｔｅＤ　８　基于ｒ产生标签子集‘ｊ，。　ＳｔｅＤ　９　更新标签集Ｔ—ＴＵ　。　ｓｔｅＤ１Ｏ　更新无标签集Ｍ—Ｍ一　。　ｓｔｅＤ　１１　如果‘Ｉ，一垂降低ｒ的值。　ｓｔｅＤ　１２　判断循环是否结束。　Ｓｔｅｐ１３　利用Ｔ再次训练ＰＳＶＭ。　其中Ｌ为标签样本集，Ｍ为无标签样本集。首先利用模　糊聚类算法Ｇｋｃｌｕｓｔ对初始标签样本点Ｌ进行非监督聚类，　产生Ｈ个类别的聚类中心　；然后以Ｖ为初始聚类中心，利　用Ｇｋｃｌｕｓｔ对无标签样本点Ｍ进行非监督聚类，产生Ｈ个类　簇和所有无标签样本点的模糊隶属度函数　，在各个类簇中，　将距离聚类中心较近的点（模糊隶属度函数辘较高的点）作　为未标签样本的候选集合Ｎ；利用ＰＳＶＭ模型，同时设定一　个阈值ｒ对候选集进行样本标注形成集合　；接下来将　增　加到Ｌ中，并在Ｍ中将　删除，如此迭代，直至Ｍ为空。　２．２结论生成算法　２．２．１加权投票法　集成学习的主要思想是利用分类器的融合改善单个分类　器的不足，其性能一方面取决于多样性强的个体学习器，另一　方面依赖于成员分类器的有效组合。常用的组合方法有叠加　法、选择法、投票法。对于分类问题，通常采用投票法［　，其　中包括多数投票和加权投票法。　加权投票法是将每个成员分类器均赋予一定的权重，权　重通常通过在训练集上测量每个成员分类器精度获得；且权　重与精度成正比，即分类能力好的基分类器被赋予较大的权　系数；而分类能力相对差的基分类器赋予较小的权系数，集成　・２０８・　的结果取决于加权和，而多数投票实际是加权投票的特例，即　权重值相等的加权投票法。设ｈ　（￡一１，２，…，Ｔ）是第ｔ个成　员分类器的决策函数，ｗｔ（￡一１，２，…，Ｔ）是相应的权重，则最　后的决策如式（５）所示。　Ｔ　厂（ｚ）一ｓｉｇｎ（∑ｗｔｈ　（ｚ））　（５）　２．２．２半监督集成分类算法（ＥＰＳ３ＶＭ）　ＰＳ３ＶＭ半监督方法利用未标记数据有效地应对训练样　本的不足，同时也产生若干性能差异的个体分类器。接下来　利用加权投票法将这些个体分类器集成，以进一步提高分类　模型的泛化能力。　假设利用自训练算法产生Ｔ个分类器个体Ｓ　，Ｓ　，…，　ＳＴ，一幅遥感影像分类问题包含Ｃ个类别。　算法步骤见表２。　表２　ＥＰＳ３ＶＭ算法　步骤　执行内容　Ｓｔｅｐ　用户精度作为权值硼（｜＿１，２，…，Ｔ；ｊ一１，２，…，ｃ）ｌ　各基分类器对未知像元Ｘ分类后，将分类结果相同的各基分类　ＳｅｔＤ　２　器对该类别的权值相加，即得到像元Ｘ属于各类别的权值之和－ｒ　善啊（ｊ＝１，２，…，Ｈ）；　ｓｔ印３　羹　禁　和的大小’将最大值对应的类别作为像元ｘ的最终　３　半监督集成ＳⅥ订模型在土地覆盖分类中的应用　为了测试ＥＰＳ３ＶＭ分类模型的性能，将半监督集成模型　应用于多光谱遥感影像的土地覆盖分类实验，同时与ＰＳＶＭ，　ＰＳ３ＶＭ进行对比。　３．１实验数据　本文选择２０Ｏ６年９月２２日获取的行列号为１１５—３０的　多光谱Ｌａｎｄｓａｔ－５　ＴＭ遥感影像（３０米空间分辨率，ＵＴＭ投　影）。根据植被的光谱特征和空间分布规律，本文提取了８个　特征，包括ＴＭ图像的６个波段（１－５，７）、Ｋ－Ｔ变换的第一主　分量、植被指数（ＮＤＶＩ）。热红外波段ＴＭ６的被排除，因为　它所包含的植被分类信息较少。　根据研究区实际情况并参考全国土地利用分类系统、东　北植被分布图，将实验区分为５个土地利用类型，即林地、水　体、农田、住宅、裸地。为了保证每个类别数据的变化性和代　表性，数字集采用随机像素的选择策略。土地覆盖类型及样　本数量如表３所列。　表３类别及样本数量　３．２结果与精度分析　当训练样本较少时，未标记样本参与的半监督分类方法　可有效提高分类精度，但随着己标记分类样本的增加，未标记　样本的作用越来越小。首先为了更好地体现小样本的特点，　将随机抽取的少部分样本作为训练样本（占每类样本的　３Ｏ％），整个数据集用于测试。分别采用ＰＳＶＭ，ＰＳ３ＶＭ，　ＥＰＳ３ＶＭ　３种分类模型进行对比实验，将分类精度、Ｋａｐｐａ系　数及相应的参数值列于表４。实验结果表明，使用ＥＰＳ３ＶＭ　方法分类得到的分类精度比ＰＳ３ＶＭ模型高出４．７２　，比　ＰＳＶＭ模型高出８．４　，Ｋａｐｐａ系数也要高于ＰＳ３ＶＭ模型０．　结束语本文针对ＳＶＭ遥感分类中存在的参数选择和　小样本问题，提出基于半监督集成ＳＶＭ分类方法。该方法　有如下特点：１）以ＰＳＶＭ模型作为基分类器，利用Ｓｅｌｆ－ｔｒａｉ－　ｎｉｎｇ￣￥法产生半监督分类器个体，其中在半监督学习过程中　为了避免错误样本的加入，引入ＧＫｃｌｕｓｔ模糊聚类算法；２）半　监督学习和集成学习两种范式的结合，一方面充分利用大量　０５９６，高于ＰＳＶＭ模型０．１０６。表５显示３种方法不同类别的　混淆矩阵，实验结果均证实ＥＰＳ３ＶＭ能有效提高影像的分类　精度。　姒。　。。一§１　。。。　一　表４分类参数、分类精度和Ｋａｐｐａ系数的比较　廉价的未标记样本来减少对有标记样本的需求量；另一方面，　未标记数据能够增加个体分类器之间的差异性，从而进一步　。　。　§１。　。。。。一旦。　０。。一§Ｉｌ。拗。。。　提高学习系统的泛化能力；３）利用所提模型解决遥感土地覆　盖分类的实验表明，在相同样本数量条件下相比于其它分类　同时，本文算法亦存在一些待改进之处。例如，在个体分　表５　３种方法的混淆矩阵　撇　。一　。。踟　。一　。。撇　。　技术，该模型能获取更丰富、更准确的遥感类别信息。　～０　０　３　胛～　～０　０　４　ｍ孔　ｃ｜，１　‘ｌ】２　（｜ｌ３　。∞　０瑚一　。　￣ｏ４　ｗ５　‘ｌ，ｌ　‘ｌＩ２　‘｜】３　（０４　￣ｏ５　ｃｌ，１　ｃｌＩ２　‘屹　ｃｔ】５　上述实验利用遥感影像的数字集，有效地测试了　ＥＰＳ３ＶＭ的性能。在本实验中，将３种分类模型应用于覆盖　研究区域１１５—３０ＴＭ影像子集的分类并产生分类专题图，分　类结果如图２所示。由于研究区主要土地覆盖类型为植被，　因此图２（ａ）为研究区５，４，３波段合成图；图２（ｂ）显示ＰＳＶＭ　的分类结果，其中１２５０个样本点作为训练集；图２（ｃ）和图２　（ｄ）以１２５０样本点作为已知样本点，并随机从影像上搜集　３０００个未知标签点进行半监督分类和半监督集成分类。从　分类图中可以得出结论如下：首先，研究区域的主要土地覆盖　类型为林地，同时可以看出森林正面临着快速城市化的威胁，　为了有效地保护森林资源，有必要对此研究区进行动态监测。　其次，比较３种分类图，不难发现ＰＳＶＭ分类模型在林地和耕　地存在错分现象，ＰＳ３ＶＭ的主要问题在于耕地、裸地和住宅分　类错误，而ＥＰＳ３ＶＭ在遥感影像数据上的分类明显优于其它　两种方法。　一■　■■　（ｃ）ＰＳ３ＶＭ分类　（ｄ）ＥＰＳ３ＶＭ分类　林地水体　耕地住宅裸地　图２　３种分类方法对ＴＭ影像子集产生的分类专题图　类器集成部分，对权系数产生的问题上，可采用更有效的策略。　黜一　。。。。ｍ　参考文献　［１］林剑，钟迎春，彭顺喜，等．多光谱遥感图像土地利用分类区域多　中心方法［Ｊ］．遥感学报，２０１０，１４（１）：１７３—１７９　［２］韩敏，林晓峰．一种基于Ｗｅｄｇｅｌｅｔ变换的遥感图像分类算法　［Ｊ］．红外与毫米波学报，２００８，２７（４）：２８０－２８４　［３］Ｋｎｏｒｎ　Ｊ，Ｒａｂｅ　Ａ，Ｒａｄｅｌｏｆｆ　Ｖ　Ｃ，ｅｔ　ａ１．Ｌａｎｄ　ｃｏｖｅｒ　ｍａｐｐｉｎｇ　ｏｆ　ｌａｒｇｅ　ａｒｅａｓ　ｕｓｉｎｇ　ｃｈａｉｎ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｏｆ　ｎｅｉｇｈｂｏｒｉｎｇ　Ｌａｎｄｓａｔ　ｓａｔｅ－　ｌｌｉｔｅ　ｉｍａｇｅｓ［Ｊ］．Ｒｅｍｏｔｅ　Ｓｅｎｓｉｇｎ　ｏｆ　Ｅｎｖｉｒｏｎｍｅｎｔ，２００９，１１３（５）：　９５７—９６４　［４］Ｈｅｉｋｋｉｎｅｎ　Ｖ，Ｔｏｋｏｌａ　Ｔ，Ｐａｒｋｋｉｎｅｎ　Ｊ，ｅｔ　ａ１．Ｓｉｍｕｌａｔｅｄ　ｍｕｌｔｉｓｐｅｃ－　ｔｒａｌ　ｉｍａｇｅｒｙ　ｆｏｒ　ｔｒｅｅ　ｓｐｅｃｉｅｓ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｕｓｉｇｎ　ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅｓ［Ｊ］．ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｇｅｏｓｃｉｅｎｃｅ　ａｎｄ　Ｒｅｍｏｔｅ　ｅＳｎｓｉｎｇ，２０１０，４８（３）：１３５５－１３６４　［５］Ｌａｒｄｅｕｘ　Ｃ，Ｆｒｉｓｏｎ　Ｐ　Ｌ，Ｔｉｓｏｎ　Ｃ，ｅｔ　ａ１．Ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒｍａｃｈｉｎｅ　ｆｏｒｍｕｌｔｉｆｒｅｑｕｅｎｃｙ　Ｒ　ｏｐｌａｒｉｍｅｔｒｉｃ　ｄａｔａ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ［Ｊ］．ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｇｅｏｓｃｉｅｎｃｅ　ａｎｄ　Ｒｅｍｏｔｅ　Ｓｅｎｓｉｎｇ，２００９，４７（１２）：　４１４３—４１５２　［６］Ｈｕａｎｇ　Ｘｉｎ，Ｚｈａｎｇ　Ｌｉａｎ－ｐｅｉ．Ｒｏａｄ　ｃｅｎｔｒｅｌｉｎｅ　ｅｘｔｒａｃｔｉｏｎ　ｆｒｏｍ　ｈｉｇｈ－ｒｅｓｏｌｕｔｉｏｎ　ｉｍａｇｅｒｙ　ｂａｓｅｄ　ｏｎ　ｍｕｌｔｉｓｃａｌｅ　ｓｔｒｕｃｔｕｒａｌ　ｆｅａｔｕｒｅｓ　ａｎｄ　ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅｓ［Ｊ］．Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｊｏｕｒｎａｌ　ｏｆ　Ｒｅ—　ｍｏｔｅ　Ｓｅｎｓｉｎｇ，２００９，３０（８）：１９７７—１９８７　［７］冯晓毅，王西博，王雷，等．基于改进ＪｓＥＧ算法的高分辨率遥感　图像分割方法口］．计算机科学，２０１２，３９（８）：２８４－２８７　［８］戴宏亮，戴道清．基于ＥＴＡＦｓ、　ｖＩ的高光谱遥感图像自动波段　选择和分类口］．计算机科学，２００９，３６（４）：２６８－２７２　［９］ＬａＶａｌｌｅ　Ｓ　Ｍ，Ｂｒａｎｉｃｋｙ　Ｍ　ｓ．Ｏｎ　ｔｈｅ　ｒｅｌａｔｉｏｎｓｈｉｐ　ｂｅｔｗｅｅｎ　ｃｌａｓｓｉ—　ｃｌａ　ｇｒｉｄ　ｓａｅｒｃｈ　ａｎｄ　ｐｒｏｂａｂｉｌｉｓｔｉｃ　ｒｏａｄｍａｐｓ［Ｊ］．Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｊｏｕｒｎａｌ　ｏｆ　Ｒｏｂｏｔｉｃｓ　Ｒｅｓｅａｒｃｈ，２００２，２３（８）：６７３—６９２　［１ｏ］ＦｒＯｈｌｉｃｈ　Ｈ，Ｃｈａｐｅｌｌｅ　Ｑ　Ｆｅａｔｕｒｅ　ｓｅｌｅｃｔｉｏｎ　ｆｏｒ　ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ＩＴＬＩＩ－　ｃｈｉｎｅｓ　ｂｙ　ｍｅａｎｓ　ｏｆ　ｇｅｎｅｔｉｃ　ａｌｇｏｒｉｔｈｍｓ［Ｃ］７ｆ　Ｐｒｏｃｅｅｄｉｇｎｓ　ｏｆ　ｔｈｅ　１５ｔｈ　ＩＥＥＥ　ｉｎｔｅｒｎａｔｉｏｎａｌ　ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　ｔｏｏｌｓ　ｗｉｔｈ　ａｒｔｉｆｉｃｉａｌ　ｉｎｔｅｌ—　ｌｉｇｅｎｃｅ．ＵＳＡ，Ｓａｃｒａｍｅｎｔｏ，Ｃ　Ａ，２００３　Ｅｌ１］Ｈｕａｎｇ　Ｃｈｅｎｇ－ｌｕｎｇ，Ｄｕｎ　Ｊｉａｎ－ｆａｎ．Ａ　ｄｉｓｔｒｉｂｕｔｅｄ　ＰＳＯ－ＳＶＭ　ｈｙ－　ｂｒｉｄ　ｓｙｓｔｅｍ　ｗｉｔｈ　ｆｅａｔｕｒｅ　ｓｅｌｅｃｔｉｏｎ　ａｎｄ　ｐａｒａｍｅｔｅｒ　ｏｐｔｉｍｉｚａｔｉｏｎ　口］．Ａｐｐｌｉｄｅ　Ｓｏｆｔ　Ｃｏｍｐｕｔｉｎｇ，２００８，８：１３８１—１９３１　　’［１２］Ｚｈｏｕ　Ｚｈｉ—ｈｕａ，Ｌｉ　Ｍｉｎｇ．Ｓｅｍｉ－ｓｕｐｅｒｖｉｓｅｄ　ｌａｅｒｎｉｎｇ　ｂｙ　ｄｉｓｇａｒｅｅ—　ｍｅｎｔ［Ｊ］．Ｋｎｏｗｌｅｄｇｅ　ａｎｄ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｓｙｓｔｅｍｓ，２０１０，２４（３）：　４１５—４３９　［１３］Ｚｈｏｕ　Ｚｈｉ—ｈｕ．山Ｅｎｓｅｍｂｌｅ　ｌａｅｒｎｉｎｇ［Ｍ］∥Ｌｉ　Ｓ　Ｚ，ｅｄ．Ｅｎｃｙｃｌｏｐｅｄｉａ　ｏｆ　Ｂｉｏｍｅｔｒｉｃｓ，Ｂｅｒｌｉｎ：Ｓｐｒｉｇｎｅｒ，２００９，２７０—２７３　［１４］邬俊，段晶，鲁明羽．基于偏袒性半监督集成的ＳＶＭ主动反馈　方案口］．模式识别与人工智能，２０１０，２３（６）：７４５—７５１　・２０９・　Ｅ１５］ｗｕ　Ｊｕｎ，Ｌｊｎ　Ｚｈｅｎｇ－ｋｕｉ，Ｌｕ　Ｍｉｎｇ－ｙｕ．Ａｓｙｍｍｅｔｒｉｃ　Ｓｅｍｉ－Ｓｕｐｅｒ—　ｃｏｖｅｒ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ［Ｊ］．Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｊｏｕｒｎａｌ　ｏｆ　Ｆｏｏｄ，Ａｇｒｉｃｕｌ—　ｔｕｒｅ＆Ｅｎｖｉｒｏｎｍｅｎｔ，２０１２，１０（２）：１３２—１３８　ｖｉｓｅｄ　Ｂｏｏｓｔｉｎｇ　ｆｏｒ　ＳＶＭ　Ａｃｔｉｖｅ　Ｌｅａｒｎｉｎｇ　ｉｎ　ＣＢｍＥＣ］｝｝Ｐｒｏｃｅｅ－　ｄｉｎｇｓ　ｏｆ　ｔｈｅ　ＡＣＭ　Ｉｎｔｅｒｎａｔｉｏｎａ１　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｉｍａｇｅ　ａｎｄ　Ｖｉｄｅｏ　Ｒｅｔｒｉｅｖａ１．Ｘｉ’ａｌｌ，Ｃｈｉｎａ，２０１０　［１８］Ｍａｕｌｉｋ　Ｕ，Ｃｈａｋｒａｂｏｒｔｙ　Ｄ．Ａ　ｓｅｌｆ－ｔｒａｉｎｅｄ　ｅｎｓｅｍｂｌｅ　ｗｉｔｈ　ｓｅｍｉｓｕ—　ｐｅｒｖｉｓｅｄ　ＳＶＭ：Ａｎ　ａｐｐｌｉａｔｃｉｏｎ　ｔｏ　ｐｉｘｅｌ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｏｆ　ｒｅｍｏｔｅ　［１６］Ｋｒｇｈ　ｎＡ，Ｖｅｄｅｌｓｂｙ　Ｊ．Ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｅｎｓｅｍｂｌｅｓ，ｃｒｏｓｓ　ｖａｌｉｄａ－　ｔｉｏｎ，ａｎｄ　ａｃｔｉｖｅ　ｌｅａｒｎｉｎｇ　ＥＪ，１．Ａｄｖａｎｃｅｓ　ｉｎ　Ｎｅｕｒａｌ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｇ　Ｓｙｓｔｅｍｓ，１９９５（７）：２３１—２３８　ｎｓｅｎｓｉｇ　ｎｉｍａｇｅｒｙＥＪ１，．Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ，２０１１，４４：６１５－６２３　［１９］黄金杰，李士勇，蔡云泽．一种建立粗糙数据模型的监督模糊聚　类方法［Ｊ］．软件学报，２００５，１６（６）：７４４－７５３　［１７］Ｌｉｕ　Ｙｉｎｇ，Ｚｈａｎｇ　Ｂａｉ，Ｈｕａｎｇ　Ｌｉ－ｈｕａ，ｅｔ　ａ１．Ａ　ｎｏｖｅｌ　ｏｐｔｉｍｉｚａｔｉｏｎ　ｐａｒａｍｅｔｅｒｓ　ｏｆ　ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅｓ　ｍｏｄｅｌ　ｆｏｒ　ｔｈｅ　１ｎｄ　ｕｓｅ／　ａ［２０３单丹丹，杜培军，夏俊士．基于多分类器集成的“北京一号”小卫　星遥感影像分类研究口］．遥感应用，２０１１，２：６９—７８　ｃｈｉｎｅ　Ｌｅａｒｎｉｎｇ．ＵＳＡ　Ｃｏｒｖａｓｌｌｉｓ：ＡＣＭ，２００７：１９３－２００　（上接第１９１页）　趋向于１（一般大于０．９），不同人的人脸数据的ｒ（　）都较小　并趋向于０。ＣＣＭＥＢＴＬ通过迁移学习尽量多地利用原有信　［２］ＰａｎＳＪ，ＹａｎｇＱ　Ａ　ｓｕｒｖｅｙｏｎｔｒａｎｓｆｅｒｌｅａｒｎｉｎｇ口］．ＩＥＥＥＴｒａｎｓａ—　ｃｔｉｏｎｓ　ｏｎ　Ｋｎｏｗｌｅｄｇｅ　ａｎｄ　Ｄａｔａ　Ｅｎｇｉｎｅｅｒｉｎｇ，２００９，２２（１Ｏ）：１３４５—　息实现了领域自适应，我们可以做到对人脸的有效识别。　同时通过ＣＣＭＥＢＴＬ算法，在３．３节表１中可求得训练　集（源域空间Ｄ１）的最小包含球球心ｃ的坐标和测试集（目标　域域空间Ｄ２）最小包含球球心Ｃ１的坐标，继而可求出不同人　脸图像的球间距离，如表７所列。球间距离越小，表示源域与　目标域相似度越高。　表７不同人脸图像的球间距离　通过表７观察可以发现，两大类数据内部子集的球心间　距明显小于不同类子集之间的球心间距，即同一人的人脸图　像球间距明显小于不同人的人脸图像球间距。结果显示算法　能较好地体现不同领域之间的相关性，具有较好的领域自适　应性。　结束语本文将ＭＥＢ、ＣＣＭＥＢ理论应用在迁移学习研　究上，提出了ＭＥＢＴＬ算法和ＣＣＭＥＢＴＬ算法。在求解目标　域球心位置时尽可能多地利用到源域数据完成知识传递，并　发现不同域之间的内部联系。最后通过比较不同域的概率统　计比可实现数据的修正和校正。为了满足大样本数据集运算　要求，引入了Ｃ、　、ＣＣＭＥＢ理论。大量的实验内容验证了　本文算法的有效性和快速性。应当指出本文算法仍有可深入　研究之处，如何将其应用于数据分类和数据回归将是我们下　一步的研究重点。　参考文献　［１］Ｄａｉ　Ｗ，Ｙａｎｇ　Ｑ，Ｘｕｅ　Ｇ，ｅｔ　ａ１．Ｂｏｏｓｔｉｍｇ　ｆｏｒ　ｔｒｎａｓｅｒｆｅｒ　ｌｅａｒｎｉｎｇ　［ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　２４　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｍａ一　・２１０・　１３５９　［３］Ｂｌｉｔｚｅｒ　Ｊ，ＭｃＤｏｎａｌｄ　Ｒ，Ｐｅｒｃｉｒａ　Ｆ　ｏＤｍａｉｎ　ａｄａｐｔａｔｉｏｎ　ｗｉｔｈ　ｓｔｒｕｔ－　ｔｕｒａｌ　ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ　ｌｅａｒｎｉｎｇ［ｃ］∥Ｐｒｏｃｅｓｓｉｎｇｓ　ｏｆ　ｔｈｅ　２００６　ｏＣｎｆｅｒｅｎｃｅ　ｏｎ　Ｅｍｐｉｒｉｃａｌ　Ｍｅｔｈｏｄｓ　ｉｎ　Ｎａｔｕｒａｌ　Ｌａｎｇｕａｇｅ　Ｐｒｏｃｅｓ－　ｓｉｎｇ．ＰＡ　ＵＳＡ：ＳＩＡＭ，２００６：１２０—１２８　［４］Ｈａｌ　Ｄａｕｍ’ｅ　ＩＩＩ．Ｄａｎｉｅｌ　Ｍａｒｅｕ　ｏＤｍａｉｎ　ａｄａｐｔａｔｉｏｎ　ｆｏｒ　ｓｔａｔｉｓｔｉｃａｌ　ｃｌａｓｓｉｆｉｅｒｓ［Ｊ，１．Ｊｏｕｒｎａｌ　ｏｆ　Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ　Ｒｅｓｅａｒｃｈ，２００６，　２６（４）：１０１—１２６　［５］ＢＩｉｔｚｅｒ　Ｊ，Ｃｒａｍｍｅｒ　Ｋ，Ｋｕｌｅｓｚａ　Ａ，ｅｔ　ａ１．Ｌｅａｍｉｎｇ　ｂｏｕｎｄｓ　ｆｏｒ　ｄｏ—　ｍａｉｎ　ａｄａｐｔａｔｉｏｎ［ｃ］／／Ｐｒｏｃｅｄｅｉｎｇｓ　ｏｆ　ｔｈｅ　２１ｓｔ　Ａｎｎｕａｌ　Ｃｏｎｆｅ－　ｒｅｎａｅ　ｏｎ　Ｎｅｕｒａｌ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇ　Ｓｙｓｔｅｍｓ．Ｃａｍｂｒｉｄｇｅ，　ＭＡ；ＭＩＴ，２００８：１２９—１３６　［６］Ｄａｉ　Ｗ，Ｘｕｅ　Ｇ，Ｙａｎｇ　Ｑ，ｅｔ　ａ１．Ｃｏ－ｃｌｕｓｔｅｒｉｎｇ　ｂａｓｅｄ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｆｏｒ　ｏｕｔ－ｏｆ－ｄｏｍａｉｎ　ｄｏｃｕｍｅｎｔｓ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　１３ｔｈ　ＡＣＭ　ＳＩＧＫＤｎ　Ｎｅｗ　Ｙｏｒｋ：ＡＣＭ，２００７：２１０—２１９　［７３　Ｔａｘ　Ｄ　Ｍ　Ｊ，Ｄｕｉｎ　Ｒ　Ｐ　Ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｄｏｍａｉｎ　ｄｅｓｃｉｒｐｔｉｏｎ［Ｊ］．　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ　Ｌｅｔｔｅｒｓ，１９９９，２０（１１）：１１９１—１１９９　［８］ＴｓａｎｇＩ，Ｋｗｏｋ　Ｊ，Ｚｕｒａｄａ　Ｊ．Ｇｅｎｅｒｌｉｚｅｄ　ｃｏｒｅ　ｖｅｃｔｏｒｍａｃｈｉｎｅｓ［Ｊ］．　ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ，２００６，１７（５）：１１２６—　１１３９　［９］Ｔｓａｎｇ　Ｉ，Ｋｗｏｋ　Ｊ，Ｃｈｅｕｎｇ　Ｐ．Ｃｏｒｅ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅｓ：Ｆａｓｔ　ＳＶＭ　ｔｒａｉｎｉｇｎ　ｏｎ　ｖｅｒｙ　ｌａｒｇｅ　ｄａｔａ　ｓｅｔｓ［Ｊ］．Ｊｏｕｒｎａｌ　ｏｆ　Ｍａｃｈｉｎｅ　Ｌｅａｒｎｉｎｇ　Ｒｅｓｅａｒｃｈ，２００５，６（４）：３６３—３９２　［１Ｏ］Ｆａｎｇ　Ｓ－Ｈ，Ｌｉｎ　Ｔ＿Ｎ．Ｉｎｄｏｏｒ　ｌｏｃａｔｉｏｎ　ｓｙｓｔｅｍ　ｂａｓｅｄ　ｏｎ　ｄｉｓｃｒｉｍｉ—　ｎａｎｔ－ａｄａｐｔｉｖｅ　ｎｅｕｒａ１　ｎｅｔｗｏｒｋ　ｉｎ　ＩＥＥＥ　８０２．１　１　ｅｎｖｉｒｏｎｍｅｎｔｓ　口］．ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ，２００８，１９（１１）：　１　９７３－１９７８　Ｅｌｌ，ｌ　Ｙａｎｇ　Ｑ，Ｐａｎ　Ｓ　Ｊ，Ｚｈｅｎｇ　Ｖ　Ｅｓｔｉｍａｔｉｎｇ　ｌｏｃａｔｉｏｎ　ｕｓｉｎｇ　Ｗｉ－Ｆｉ　口］．Ｉｎｔｅｌｌｉｇｅｎｔ　Ｓｙｓｔｅｍｓ，ＩＥＥＥ，２００８，２３（１）：８－１３　［１２］Ｓａｔｐａｌ　Ｓ，Ｓａｒａｗａｇｉ＆Ｄｏｍａｉｎ　Ａｄａｐｔａｔｉｏｎ　ｏｆ　ｏＣｎｄｉｔｉｏｎａｌ　Ｐｒｏｂａ—　ｂｉｌｉｔｙ　Ｍｏｄｅｌｓ　ｉｖａ　Ｆｅａｔｕｒｅ　Ｓｕｂｓｅｔｔｉｎｇ［ｃ］∥Ｐｒｏｃｅｄｅｉｎｇｓ　ｏｆ　ＰＫ—　ＤＤ　Ｈｅｉｄｅｌｂｅｒｇ．．Ｓｐｒｉｇｎｅｒ－Ｖｅｒｌａｇ　Ｐｒｅｓｓ，２００７，４７０２：２２４—２３５　［１３，ｌ　ＰａｎＳＪ，Ｋｗｏｋ　ＪＴ，ＹａｎｇＱＴｒａｎｓｆｅｒｌａｅｒｎｉｇｎ　ｖｉａｄｉｍｅｎｓｉｏｎａｌｉｔｙ　ｒｅｄｕｃｔｉｏｎ［Ｃ］∥Ｐｒｏｅ．２３ｒｄ　Ａｓｓｃｏ．ｆｏｒ　ｔｈｅ　Ａｄｖａｎｃｅｍｅｎｔ　ｏｆ　Ａｒｔｉｆｉ—　ｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ（ＡＡＡＩ）Ｃｏｎｆ．Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ．Ｃｈｉａｃｇｏ，　ＩＬ，Ｊｕｌｙ　２００８：６７７—６８２　［１４，ｌ　Ｐａｎ　Ｓ　Ｊ，ＴｓａｎｇＩＷ，Ｋｗｏｋ　ＪＴ，ｅｔ　ａ１．ＤｏｍａｉｎＡｄａｐｔａｔｉｏｎ　ｖｉａ　Ｔｒａｎｓｆｅｒ　Ｃｏｍｐｏｎｅｎｔ　Ａｎａｌｙｓｉｓ［Ｊ１．ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｎｅｕ—　ｒａ１　Ｎｅｔｗｏｒｋｓ，２０１１，２２（２）：１９９—２１０　［１５］Ｏｓｕｎａ　Ｅ，Ｆｒｅｕｎｄ　Ｒ，Ｇｉｒｏａｌ　Ｆ．Ｔｒａｉｎｉｎｇ　ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅｓ：　ｎａ　ａｐｐｌｉｃａｔｉｏｎ　ｔｏ　ｆａｃｅ　ｄｉｃｔｉｏｎ［Ｃ］｝｛Ｐｒｃｅｅｄｉｎｇｓ　ｏｆ　ＩＥＥＥ　Ｃｏｎｆｅ－　ｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ．Ｓａｎ　Ｊｕａｎ，　ｌ９９７：１３０—１３６