Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄＡｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用 一种模糊加权的孪生支持向量机算法 娜，卢霄霞 李 凯，李ＬＩ Ｋａｉ，ＬＩ Ｎａ，ＬＵ Ｘｉａｏｘｉａ 河北大学数学与计算机学院，河北保定０７１００２ Ｃｏｌｌｅｇｅ ｏｆ Ｍａｔｈｅｍａｔｉｃｓ ａｎｄ Ｃｏｍｐｕｔｅｒ，Ｈｅｂｅｉ Ｕｎｉｖｅｒｓｉｔｙ，Ｂａｏｄｉｎｇ，Ｈｅｂｅｉ ０７ １ ００２，Ｃｈｉｎａ ＬＩ Ｋａｉ，ＬＩ Ｎａ，ＬＵ Ｘｉａｏｘｉａ．Ｔｗｉｎ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ ａｌｇｏｒｉｔｈｍ ｗｉｔｈ ｆｕｚｚｙ ｗｅｉｇｈｔｉｎｇ．Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，２０１３，４９（４）：１６２—１６５． Ａｂｓｔｒａｃｔ：Ａｌｔｈｏｕｇｈ Ｔｗｉｎ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ（ＴＳＶＭ）ｈａｓ ｆａｓｔｅｒ ｓｐｅｅｄ ｔｈａｎ ｔｒａｄｉｔｉｏｎａｌ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ ｆｏｒ ｃｌａｓｓｉｉｆ— ｃａｔｉｏｎ ｐｒｏｂｌｅｍ，ｉｔ ｄｏｅｓ ｎｏｔ ｔａｋｅ ｔｈｅ ｉｍｐｏｒｔａｎｃｅ ｏｆ ｔｈｅ ｔｒａｉｎｉｎｇ ｓａｍｐｌｅｓ ｏｎ ｔｈｅ ｌｅａｒｎｉｎｇ ｏｆ ｔｈｅ ｄｅｃｉｓｉｏｎ ｈｙｐｅｒｐｌａｎｅ ｉｎｔｏ ａｃｃｏｕｎｔ ｗｉｔｈ ｒｅｓｐｅｃｔ ｔｏ ｔｈｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｔａｓｋ．Ｉｎ ｔｈｉｓ ｐａｐｅｒ．Ｆｕｚｚｙ Ｔｗｉｎ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ（ＦＴＳＶＭ）ｉｓ ｐｒｏｐｏｓｅｄ ｂｙ ａｐｐｌｙｉｎｇ ａ ｆｕｚｚｙ ｍｅｍｂｅｒｓｈｉｐ ｔｏ ｅａｃｈ ｔｒａｉｎｉｎｇ ｓａｍｐｌｅ ｔｏ ｒｅｄｕｃｅ ｔｈｅ ｅｆｆｅｃｔｓ ｏｆ ｔｈｅ ｓａｍｐｌｅｓ ｏｎ ｔｈｅ ｈｙｐｅｒｐｌａｎｅ．Ｅｘｐｅｒｉｍｅｎｔｓ ｏｎ ｓｅｖｅｒａｌ ＵＣＩ ｂｅｎｃｈｍａｒｋ ｄａｔａｓｅｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｆｕｚｚｙ ｔｗｉｎ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ ｉｓ ｅｆｆｅｃｔｉｖｅ ａｎｄ ｆｅａｓｉｂｌｅ ｒｅｌａｔｉｖｅ ｔｏ ｔｗｉｎ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ，ｆｕｚｚｙ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ ａｎｄ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ． Ｋｅｙ ｗｏｒｄｓ：Ｔｗｉｎ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ；ｆｕｚｚｙ ｗｅｉｇｈｔｉｎｇ；ｃｌａｓｓｉｉｃａｔｉｏｎ ｆ摘要：虽然孪生支持向量机（Ｔｗｉｎ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ，ＴＳＶＭ）的处理速度优于传统的支持向量机，但其并没有考 虑输入样本点对最优分类超平面所产生的不同影响。通过为每个训练样本赋予不同的样本重要性，以及减少样本点对非 平行超平面的影响，提出了模糊加权孪生支持向量机（Ｆｕｚｚｙ ＴＳＶＭ，ＦＴＳＶＭ）。在ＵＣＩ标准数据集上，对ＦＴＳＶＭ进行了 实验研究并与ＴＳＶＭ、ＦＳＶＭ和ＳＶＭ方法进行了比较，实验结果表明ＦＴＳＶＭ方法是有效的。 关键词：孪生支持向量机；模糊加权；分类 文献标志码：Ａ 中图分类号：ＴＰ１８ ｄｏｉ：１０．３７７８￣．ｉｓｓｎ．１００２．８３３１．１１０７．０２９３ ｌ 引言 支持向量机（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ，ＳＶＭ）是由 Ｖａｐｎｉｋ等最先提出的一种用于解决二类问题的机器学习方 于处理多分类问题的不可分区域；Ｌｉｎ 等提出了用于二分 类问题的模糊支持向量机；之后，Ａｂｅ 等又提出了处理多 分类问题的模糊最小二乘支持向量机。 法，目前它已引起越来越多学者的关注并广泛应用于许多 领域。支持向量机是基于统计学习理论的结构风险最小 化原理（Ｓｔｒｕｃｔｕｒａｌ Ｒｉｓｋ Ｍｉｎｉｍｉｚａｔｉｏｎ，ＳＲＭ），该算法通过 求解一个凸二次规划问题来获得全局最优解，从理论上 来说，它克服了传统机器学习方法的小样本、非线性、维数 在２００１年，Ｆｕｎｇ和Ｍａｎｇａｓａｒｉａｎ 提出了近似支持向量 机（Ｐｒｏｘｉｍａｌ Ｓｕｐｐｏ￣Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ，ＰＳＶＭ），通过在每 类样本集中设置与样本点邻近的平行超平面，且使两个超 平面之间距离达到最大，而所求的超平面为与它们等距平 行的超平面。在这种方法中，采用了类似于最小二乘支持 灾难和局部极值等问题。之后，Ｓｕｙｋｅｎｓ等提出了最小二 乘支持向量机（Ｌｅａｓｔ Ｓｑｕａｒｅｓ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ， ＬＳ．ＳＶＭ），此方法将传统支持向量机中的不等式约束转换 为等式约束，从而使原来求解支持向量机的二次规划问题 转化为求解一个线性方程组，极大地提高了求解速度并降 低了求解难度，但该方法却破坏了传统支持向量机的稀疏 性。可以看到，在这些支持向量机中，所有样本对超平面 的贡献是相同的，为此Ａｂｅｕ 等提出了将模糊支持向量机用 向量机的等式约束而不是传统支持向量机的不等式约束， 通过求解线性方程组来获取问题的解；然而，ＰＳＶＭ并没有 考虑不同输入样本点可能对最优超平面的影响。为此， 文［５—６］提出了模糊邻近支持向量机。在２００６年，Ｍａｎｇａｓ— ａｒｉａｎｔＴ｝等人对ＰＳＶＭ进行了推广，提出了广义特征值近似 支持向量机（Ｐｒｏｘｉｍａｌ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ ｖｉａ Ｇｅｎ— ｅｒａｌｉｚｅｄ Ｅｉｇｅｎｖａｌｕｅｓ，ＧＥＰＳＶＭ），其实质是寻找两个无平 行约束的最优超平面，使得每一类样本尽可能离一个超平 基金项Ｈ：国家自然科学基金（Ｎｏ．６１０７３１２１）；河北省自然科学基金（Ｎｏ．Ｆ２０１２２０１０１４）。 作者简介：李凯（１９６３一），男，博士，教授，主要研究领域为机器学习，数据挖掘，模式识别等；李娜（１９８３一），女，硕士研究生；卢霄霞 （１９８４一），女，硕士研究生。Ｅ—ｍａｉｌ：ｌｉｋａｉ＠ｈｂｕ．ｅｄｕ．ｃｎ 收稿日期：２０１１—０７—１３ 修回日期：２０１１－０９—０５ 文章编号：１００２—８３３１（２０ｌ３）０４—０１６２一Ｏ４ ＣＮＫＩ出版日期：２０１１－１１－１４ ｈｔｔｐ：／／ｗｗｗ．ｃｎｋｉ．ｎｅｔ／ｋｃｍｓ／ｄｅｔａｉｌ／１１．２１２７．ＴＰ．２０１１１１１４．０９４９．０６３．ｈｔｍｌ 李凯，李娜，卢霄霞：一种模糊加权的孪生支持向量机算法 孪生支持向量机中的平衡因子Ｃ 和ｃ 仅能控制经验风险 的比例，为此，Ｐｅｎｇ 通过引入参数ｖ。和ｖ 来控制支持向量 和间隔错误并提出了ｖ—ＴＳＶＭ，同时还对这种方法给出了 几何解释。 面距离近而离其他类样本尽可能的远，其问题归结为求解 两个广义特征值问题的最小特征值来获得全局极值；后 来，Ｊａｙａｄｅｖａ 等人又提出了模糊广义特征值支持向量机； 之后，基于ＧＥＰＳＶＭ思想，Ｊａｙａｄｅｖａ 提出了孪生支持向量 机（Ｔｗｉｎ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ，ＴＳＶＭ），该方法为两个 类分别得到一个分类超平面，属于每类的数据尽量围绕在 与之对应的分类超平面周围，即ＴＷＳＶＭ需要求解一对规 模相对更小的二次规划问题。目前，许多学者在孪生支持 ３模糊加权孪生支持向量机 ３．１模糊加权孪生支持向量机算法 最初提出的孪生支持向量机ＴＳＶＭ与ｖ—ＴＳＶＭ均没有 考虑训练样本对最优分类超平面所产生的不同影响，为 向量机进行研究，并且提出了许多改进算法，如Ｋｕｍａｒｕ ｕ－等 提出的最小二乘孪生支持向量机；Ｐｅｎｇ提出的最小二乘孪 生支持向量超球… 和孪生支持向量回归机－ －。由于孪生支 持向量机中的平衡因子Ｃ 和Ｃ，仅能控制经验风险的比例， 所以Ｐｅｎｇ“ 又提出了ｖ．ＴＳＶＭ，通过引入参数ｖ 和ｖ，控制 支持向量和间隔错误，但这些改进都没有考虑不同样本点 可能对最终的最优超平面的影响，为此在二分类问题中为 每一个训练样本赋予一个模糊隶属度，以减少其由于样本 的重要性不同而对超平面产生的影响，以此来改进孪生支 持向量机。实验结果表明，与传统的支持向量机相比，模 糊孪生支持向量机不仅分类性能要高，而且训练和测试的 时间明显缩短。 ２孪生支持向量机 孪生支持向量机不同于传统的支持向量机，它通过求 解两个规模更小的二次规划问题来获得一对非平行超平 面，以使每个二次规划的目标函数对应一个特定的类，同 时其约束条件受另一类样本的影响，并且在此二次规划问 题的约束中仅出现正类或负类的样本。下面对孪生支持 向量机做一简介。 设矩阵Ａ∈Ｒ，Ｉ 表示＋１类样本，矩阵Ｂ∈Ｒｆ２ 表示 一１类样本，其中，，，和，，分别表示＋１类样本数和一１类样 本数。与传统支持向量机仅寻找一个超平面¨’ Ｘ＋ｂ＝０不 同，孪生支持向量机寻找两个非平行的超平面： Ｔｗ‘ｎ＋ｂ‘ｎ＝０和 Ｔｗ‘ ＋ｂ‘ ＝０ （１） 其中的每一个超平面离一类很近而离另一类尽可能的远， 也就是说，在孪生支持向量机中，正类样本聚集在 Ｗ ＋ ｂ‘”：０平面周围，而负类样本聚集在 ｗ ＋ｂ‘ ：０平面周 围。孪生支持向量机可以归结为求解下面两个二次规划 问题： ．脚 ￣１Ａｌｗ（１）－－｝ｅｂ ’ｌ２ｌ＋ＣｌｅＴ（ ｓ．ｔ．一（ ｗ‘ ’＋ ≥Ｐ，一 １＞０ （２） ｌ［ＩＢｗ ＋ Ｉ２＋ｃ２ｅ（￣。 ｓ．ｔ．一（ ｗ‘ ＋ ）≥ｅ１一 ≥０ （３） 其中，Ｃ 和Ｃ，分别表示正负样本超平面的平衡因子。由于 此，本文在ｖ—ＴＳＶＭ的基础上，通过引入样本所属类别的 重要程度，提出了模糊加权孪生支持向量机（Ｆｕｚｚｙ Ｔｗｉｎ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ，ＦＴＳＶＭ）。ＦＴＳＶＭ主要通过对 样本进行加权以获得非平行超平面，该二次规划问题如下： （ ，ｃ ） ＋ ｙ。 ｌｆ２＿ＶｌＰｌ＋ １ ｓ．ｔ．一（ （ ，Ｃ ） ＋ ’）≥ｐ 一 ＞０，／Ｐ１／＞０ （４） ａｒｉｎ Ｉ ｆ（ ，ｃ ） ＋ 。’ ２＿ｖ２Ｐ２＋了－１ ，６ ｓ．ｔ．一（ （ ，ｃ ） ＋ ）≥ｐ，一 ‘ ≥０ ｐ，≥０ （５） 其中，ｃ＝［ 剀，ｖ。，ｖ （０，１］分别表示正负样本超平面的 正则化参数；Ｓ ，Ｓ，∈（０，１］分别表示正负样本的模糊隶属度 值组成的向量。在此算法中，先分别对正负样本点加权， 之后再寻找两个不平行超平面（即一个正类超平面和一个 负类超平面），其中给定的正类样本点围绕在正类超平面 周围，反之亦然。可以看到，ＦＴＳＶＭ将问题转换为求解两 个规模大致为原始样本一半的数据集，故ＦＴＳＶＭ的处理 速度高于ＦＳＶＭ。 为简洁起见，在此仅考虑式（４）的对偶问题。为了解 式（４）的优化问题，构造如下的Ｌａｇｒａｎｇｅ函数： 三＝￣Ｉ一 ＩＫ（Ａ，ＣＴ）ｗ ＋Ｐ ｌ 一ｖ Ｐ ＋ ∥ ２ 一 １十 ６ｃ （ （ ，ｃ ）ｗ ＋ ＋ｐ 一 ）一 （６） 其中，Ｌａｇｒａｎｇｅ乘子满足。［≥０， ≥０，ｆ≥０。将Ｌａｇｒａｎｇｅ函 数对ｗ ”，ｂ‘”，Ｐｌ， ‘ 求偏导并令其等于零，可得如下等式： ＝Ｋ（Ａ，ＣＴ） （ （ ，ＣＴ）ｗ。 ＋ｅ１ｂ０））＋Ｂ ａ＝０ ＯＷ ． ＝ （ （ ，ｃＴ）ｗ（１）＋ ＋ Ｔ＝０ ｙ ：＿ｖｌ＋ Ｔ —ｒ：０ Ｇｐ、 ‘ ｓ２＝ 一（２－－ ：０ （７） ’２ 经过简单计算，由式（７）可得到如下的等式： ［（Ｋ（ ，Ｃｖ） ｅ￣］ｔＫ（Ａ，Ｃｒ）Ｐｌ儿’＇，‘ ６‘ ］ ＋［（ （ ，ＣＴ） Ｐ ］ ＝ｏ（８） 设［ （ ，ＣＴ）ｅＩ］＝ ，［¨，‘ ６‘ ｒ＝Ｕ，［ （ ，Ｃｒ）Ｐ２］＝Ｇ，则 Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ￣＇］＂算机工程与应用 等式（８）可进一步转化为如下： Ｈ ＨＵ＋Ｇ ｎ＝０，Ｕ＝一（日 日）一 Ｇ ａ （９） ４实验结果及分析 为了评估ＦＴＳＶＭ的性能，本节选择了ＵＣＩ 数据库中 的数据集进行了实验，并与孪生支持向量机ＴＳＶＭ，模糊支 持向量机ＦＳＶＭ（Ｆｕｚｚｙ Ｓｕｐｐｏ￣Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）和传统支 在等式（９）中，矩阵Ｈ 日是半正定的，然而在某些情 况下它可能是病态矩阵。为此引入正则化项８，，８＞０，其 中Ｊ表示单位矩阵，式（９）变为： Ｕ：一ｆＨ Ｈ＋ １ Ｇ ６【 （１０） 持向量机ＳＶＭ等数据分类方法进行了比较。 在模糊加权孪生支持向量机的实验中，采用了五折交 叉验证方法，样本的隶属度函数值使用样本类中心法计 算，核函数分别为线性核函数和高斯核函数。表１与表２ 分别给出了ＦＴＳＶＭ、ＳＶＭ、ＦＳＶＭ和ＴＳＶＭ方法比较的实 ｎ 将以上得到的等式带入Ｌａｇｒａｎｇｅ函数，则可得到原始 优化问题（６）的对偶问题： ｍｉｎ Ｇ（Ｈ ） Ｇ 验结果，各种不同方法对每个数据集分类的最好结果用加 ≤ Ｔ… ． 其中Ｇ＝［ Ｂ，Ｃ ）ｅＩ】和Ｈ＝ （ ，Ｃ ）ｅ２］。 对应的ＫＫＴ互补条件为： Ｔ（ （ ，ＣＴ）ｗ‘ ＋６‘ ＋ｐ１一 ‘ ）：０Ｔ ‘ ＝， ０， ｌ＝０（１２） 按照类似的方法，则可得到（７）的对偶问题： ａｒｉｎ １ Ｐ（Ｑ Ｑ）一 Ｐ （１３） ｓ．ｔ．０≤ ≤ ，Ｐ ≥Ｖ２ 其中Ｐ＝ （ ，Ｃ ）ｅＩ】和Ｑ＝［ （ ，Ｃ ）ｅ２］。两个非平行超 平面的参数为［ｗ ６‘。 ］ ＝ ， ＝一（Ｑ Ｑ）一 Ｐ 。 基于上面的推导，下面给出模糊加权孪生支持向量机 ＦＴＳＶＭ算法： 步骤１选择一个核函数 ，计算每个点的隶属度值并 构成向量 １和 ２。 步骤２计算Ｈ＝ （ ，Ｃ ）Ｐ１］和Ｇ＝［ （ ，Ｃ ）Ｐ２］。 步骤３选择参数ｖ ，Ｖ，∈（０，１）。 步骤４解二次规划问题（１１）和（１３）得到两个非平行 超平面的参数 和胄。 步骤５对一个新的测试点 ∈ ，计算它到超平面 ＸＴＷ（１）＋ｂＯ）和Ｘ ｗ‘。 ＋ｂ‘ 的垂直距离，分别记为ｄｉｓｔ＋１和ｄｉｓｔｊ。 步骤６若ｄｉｓｔ＋．＞ｄｉｓｔ一 ，则将数据点Ｘ分配￣ｍＪ＋ｌ类，否 则，将数据点Ｘ分配到一１类。 ３．２隶属度函数 在上面的算法中，计算每个样本点的隶属度值，采用 了基于样本点和其类中心的距离方法。首先，分别计算正 负例的类中心为 ＝∑ｘｉ／ｌ＋和 一＝∑ｘ／ｌ～，卢１，２，…， ｙｆ ＋１ １ ｊ ，。其中， 和，一分别表示正负样本点的样本总数。其次，分 别计算正负类中训练点到其对应类中心的最远距离，并将 其作为正负例的半径。正例的半径为 ＝ｆ ｝ＩＩｘ＋一Ｘｉｌｌ， 而负例的为ｒ一＝ ｍａｘ…ＩＩｘ—Ｘｉｌｌ。最后，根据类均值和半径 ｛ ：ｙ 一Ｉ｝ 获得每个样本的模糊隶属度。 ｌ ＳＳＩ＝Ｉ Ｉ２＝１ Ｄ一‘一Ｉ ｘ： Ｘ一二一 一ｉ”Ｉ ：／（ｒ ：＋ 瓮 二），若ｙｆ＝一 （１４） 其中， ＞０用来避免Ｓ ＝０，本文中的 ＝１０～。 粗显示，其中表１中的实验结果是使用线性核函数得到 的，而表２中的实验结果是使用高斯核函数方法得到的。 可以看到，在大多数情况下，ＦＴＳＶＭ的性能要优于ＴＳＶＭ、 ＦＳＶＭ和ＳＶＭ。以上结果表明，在孪生支持向量机中，对 一个给定的数据集计算样本的模糊隶属度是一个不错的 选择。另外，表３给出了ＦＳＶＭ和ＦＴＳＶＭ的测试时间。可 以看到，ＦＴＳＶＭ比ＦＳＶＭ所用时间要少，其主要原因在于 ＦＴＳＶＭ是通过求解两个规模相对更小的二次规划问题得 到的。 表ｌ 使用线性核函数方法对数据集的分类正确率（％） 表２使用高斯核函数方法对数据集的分类正确率（％） 表３运算时间的比较 另外，针对孪生支持向量机ＴＳＶＭ与模糊加权孪生支 李凯，李娜，卢霄霞：一种模糊加权的孪生支持向量机算法 ２０１３，４９（４） １６５ ６ ４ ２ Ｏ 一２ —－２ ０ ２ ４ ６—－２ ０ ２ ４ ６—．２ ０ ２ ４ ６ 图１使用ＴＳＶＭ对未加噪声 图２使用ＴＳＶＭ对加噪声 图３使用ＦＴＳＶＭ对加噪声 数据的分类结果 数据的分类结果 数据的分类结果 持向量机ＦＴＳＶＭ也进行了抗噪性能的研究。首先在平面 ［５］Ｊａｙａｄｅｖａ，Ｋｈｅｍｃｈａｎｄｎｉ Ｒｅｓｈｍａ，Ｃｈａｎｄｒａ Ｓｕｒｅｓｈ．Ｆａｓｔ ａｎｄ ｒｏ— 上随机产生两类样本，分别以“Ｘ”和“◇”表示，然后增加三 ｂｕｓｔ ｌｅａｒｎｉｎｇ ｔｈｏｕｇｈ ｆｕｚｚｙ ｌｉｎｅａｒ ｐｒｏｘｉｍａｌ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ 个噪声数据点，分别为（一２，一２）（一２，Ｏ）（一１，一１）。实验结 ｍａｃｈｉｎｅｓ［Ｊ］．Ｎｅｕｒｏｃｏｍｐｕｔｉｎｇ，２００４，６１：４０１—４１１． 果如图１至图３所示。其中图１是针对未加噪声数据且使 【６】张猛，付丽华，王高峰．模糊临近支持向量机［Ｊ］计算机工程与 用ＴＳＶＭ的分类结果，图２和图３分别表示加噪声数据后 应用，２００５，４１（５）：３７—３９． ＴＳＶＭ和ＦＴＳＶＭ的分类情况。由实验结果可知，ＦＴＳＶＭ ［７］Ｍａｎｇａｓａｒｉａｎ Ｏ Ｌ，Ｗｉｌｄ Ｅ Ｗ．Ｍｕｌｔｉｓｕｒｆａｃｅ ｐｒｏｘｉｍａｌ ｓｕｐｐｏ￣ 几乎不受噪声数据的影响，而ＴＳＶＭ受噪声影响较大，这就 ｖｅｃｔｏｒ ｍａｃｈｉｎｅ ｃｌａｓｓｉｉｆｃａｔｉｏｎ ｖｉａ ｇｅｎｅｒａｌｉｚｅｄ ｅｉｇｅｎｖａｌｕｅｓ［Ｊ］． 表明样本的模糊隶属值在分类中所起的作用。 ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａ￣ｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉ— ｇｅｎｃｅ，２００６，２８（１）：６９—７４． ［８］Ｋｈｅｍｃｈａｎｄｎｉ Ｒ，Ｓｕｒｅｓｈ Ｃ．Ｆｕｚｚｙ ｐｒｏｘｉｍａｌ ｓｕｐｐｏ￣ｖｅｃｔｏｒ ｃｌａｓ・ ５结论 ｓｉｆｔｃａｔｉｏｎ ｖｉａ ｇｅｎｅｒａｌｉｚｅｄ ｅｉｇｅｎｖａｌｕｅｓ［Ｊ］．Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ 通过引入样本的模糊隶属度，提出了一种加权孪生支 ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ．２００５，３７７６：３６０・３６３． 持向量机，也就是模糊加权孪生支持向量机（ＦＴｓＶＭ）。在 ［９】Ｋｈｅｍｃｈａｎｄｎｉ Ｒ，Ｓｕｒｅｓｈ Ｃ．Ｔｗｉｎ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ ｆｏｒ ＦＴＳＶＭ中，通过解两个规模更小的二次规划问题，不仅提 ｐａｔｔｅｒｎ ｃｌａｓｓｍｃａｔｉｏｎ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙ— 高了ＴＳＶＭ的分类性能，而且所用时问少于模糊支持向量 ｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２００７，２９（５）：９０５—９１０． 机；另外，ＦＴＳＶＭ更适宜解交叉超平面这样的分类问题，且 【１０］Ｋｕｍａｒ Ｍ Ａ，Ｇｏｐａｌ Ｍ．Ｌｅａｓｔ ｓｑｕａｒｅｓ ｔｗｉｎ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ 抗噪性能优于ＴＳＶＭ方法。 ｍａｃｈｉｎｅｓ ｆｏｒ ｐａｔｔｅｒｎ ｃｌａｓｓ诳ｃａｔｉｏｎ［Ｊ］．Ｅｘｐｅｒｔ Ｓｙｓｔｅｍｓ ｗｉｔｈ Ａｐｐｌｉｃａｔｉｏｎｓ，２００９，３６（４）：７５３５－７５４３． 参考文献： 【１ １］Ｐｅｎｇ Ｘｉ￣ｕｎ．Ｌｅａｓｔ ｓｑｕａｒｅｓ ｔｗｉｎ ｓｕｐｐｏ￣ｖｅｃｔｏｒ ｈｙｐｅｒｓｐｈｅｒｅ ［１】Ｓｈｉｇｅｏ Ａ，Ｔａｋｕｙａ Ｉ．Ｆｕｚｚｙ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ ｍａｃｈｉｎｅ ｆｏｒ ｍｕｌｔｉ－ （ＬＳ－ＴＳＶＨ）ｆｏｒ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ［Ｊ］．Ｅｘｐｅｒｔ Ｓｙｓｔｅｍｓ ｗｉｔｈ ｃｌａｓｓ ｐｒｏｂｌｅｍｓ［Ｃ］／／Ｅｕｒｏｐｅａｎ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ａｐｐｌｉｃａｔｉｏｎｓ，２０１０，３７（１２）：８３７１－８３７８． Ｎｅｔｗｏｒｋｓ，２００２：１１３－１１８． 【１２］Ｐｅｎｇ Ｘｉ￣ｕｎ．ＴＳＶＲ：Ａｎ ｅｆｉｆｃｉｅｎｔ ｔｗｉｎ ｓｕｐｐｏ￣ｖｅｃｔｏｒ ｍａ— ［２］Ｌｉｎ Ｃｈｕｎ—Ｆｕ，Ｗａｎｇ Ｓｈｅｎｇ—Ｄｅ．Ｆｕｚｚｙ Ｓｕｐｐｏ￣Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ［Ｊ］． ｃｈｉｎｅ ｆｏｒ ｒｅｇｒｅｓｓｉｏｎ［Ｊ］．Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ．２０１０，２３：３６５－３７２． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｎｅｕｒａｌ Ｗｏｒｋｓ，２００２，１３（２）：４６４—４７１． 【１ ３］Ｐｅｎｇ Ｘｉｎｊｕｎ．Ａ Ｖ－ｔｗｉｎ ｓｕｐｐｏ￣ｖｅｃｔｏｒ ｍａｃｈｉｎｅ（Ｖ—ＴＳＶＭ）ｃｌａｓ— ［３］Ｄａｉｓｕｋｅ Ｔ，Ｓｈｉｇｅｏ Ａ．Ｆｕｚｚｙ ｌｅａｓｔ ｓｑｕａｒｅｓ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａ－ ｓｉｔｆｅｒ ａｎｄ ｉｔｓ ｇｅｏｍｅｔｒｉｃ ａｌｇｏｒｉｔｈｍｓ［Ｊ］．Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅｓ， ｃｈｉｎｅｓ ｆｏｒ ｍｕｌｔｉｃｌａｓｓ ｐｒｏｂｌｅｍ［Ｊ］．Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，２００３，１６： ２０１０．１８０：３８６３－３８７５． ７８５．７９２． ［１４］Ｂｌａｋｅ Ｃ Ｌ，Ｍｅｒｚ Ｃ Ｊ．ＵＣＩ Ｒｅｐｏｓｉｔｏｒｙ ｆｏｒ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ 【４］Ｆｕｎｇ Ｇ，Ｍａｎｇａｓａｒｉａｎ Ｏ Ｌ．Ｐｒｏｘｉｍａｌ ｓｕｐｐｏ￣ｖｅｃｔｏｒ ｍａｃｈｉｎｅ ｄａｔａｂａｓｅｓ［ＥＢ／ＯＬ］．（１９９８—０１—１２）．ＩｒｖｉｎｅＣＡ：Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｃａｌ— ｃｌａｓｓｉｆｉｅｒｓ［Ｃ］／／Ｐｒｏｃ ７ｔｈ ＡＣＭ ＳＩＦＫＤＤ Ｉｎｔｌ Ｃｏｎｆ ｏｎ Ｋｎｏｗｌ・ ｉｏｆｒｎｉａ，Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅｓ． ｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ ａｎｄ Ｄａｔａ Ｍｉｎｉｎｇ，２００１：７７—８６． ｈｔｔｐ：／／ｗｗｗ．ｉｃｓ．ｕｃｉ．ｅｄｕ／ｍｌｅａｒｎ／ＭＬＲｅｐｏｓｉｔｏｒｙ．ｈｔｍ１．
