如何将分类器和特征提取器集成到一个统一的模型框架中进行联合优化学习是人工智能算法设计中的一大挑战,这将可以充分发挥特征提取器与分类器的性能,从而使系统的识别精度达到最佳状态。
经两年多的严格评审,由深圳大学计算机与软件学院计算机视觉所博士生张峻弘同学为第一作者、导师赖志辉教授为通讯作者,深圳市宝安区中心医院甲乳外科主任孔恒、南京理工大学教授杨健为合作者完成的论文“”Learning the Optimal Discriminant SVM With Feature Extraction”,近日发表于计算机、人工智能领域权威期刊IEEE Transactions on Pattern Analysis and Machine Intelligence(IEEE TPAMI)。该期刊在中国计算机学会推荐的人工智能领域A类期刊中位列首位,最新影响因子为24.6(2023年),五年平均影响因子26.7,张峻弘同学为计算机软件学院首篇发表TPAMI论文的在读学生。据公开资料显示,这是深圳大学第二篇在读研究生以第一作者身份在该期刊发表的研究成果。
为解决上述问题,该文提出了最优判别支持向量机(Optimal Discriminant Support Vector Machine,ODSVM)算法,通过设计判别信息的图结构保持优化问题,将支持向量分类与判别性子空间学习无缝地设计到一个框架中进行联合优化,以同时获得最优判别子空间和最优的SVM分类器,从而使SVM的分类性能达到最佳,从而使其在图像识别、肿瘤分类等任务中实现优异的性能。
该工作主要贡献如下:
(1)在模型设计方面:提出基于图正则重构的判别特征提取准则,并由此设计了特征提取器与支持向量机分类器的联合优化学习框架,即ODSVM;
(2)在优化算法方面:通过交替最小化法、对偶方法等技术求解二分类与多分类ODSVM问题,特别地,针对多分类情形设计带剪枝的序列最小化算法,显著提高了算法效率,从而可用于较大规模数据;
(3)在理论证明方面:严格证明了ODSVM的优化算法的全局收敛性,为算法稳定性提供了理论保证。本文首次为基于表示学习的SVM算法建立了收敛性基础理论。

图1.可视化ODSVM学习到的特征,不同颜色表示不同类别的数据,可见其性能之优异。

图2. ODSVM的收敛性与识别率变化情况。在不同的二分类、多分类任务中,ODSVM模型的目标函数值能快速单调下降且收敛,分类准确率呈迅速上升并逼近最高精度。
该研究得到了国家自然科学基金、广东省自然科学基金、深圳市科技计划重点项目等的资助。论文链接与具体信息如下:
Junhong Zhang, Zhihui Lai*, Heng Kong, Jian Yang. Learning the optimal discriminant SVM with feature extraction, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 47, no. 4, pp. 2897-2911, 2025.(https://xplorestaging.ieee.org/document/10840348)