近日，信创海河实验室许志伟研究员团队联合南开大学、中国科学院计算技术研究所、纽约州立大学联合开展研究，成果被人工智能领域顶级期刊IEEETNNLS (IEEE Transactions on Neural Networks and Learning Systems) 录用。该项研究以多视图表示学习为背景，深入分析了现有方法中过度自信的伪标签对多视图表示学习的影响、并为多视图表示学习提出了一种全新的自监督聚类框架。具体来说，团队开发了一种创新的多视图聚类框架——DistilMVC，这一框架通过自蒸馏机制，克服了传统多视图学习中过度自信伪标签所引发的误导问题。DistilMVC利用来自不同视图的特征，生成更丰富和准确的暗知识，这些暗知识取代了传统的伪标签，用于引导模型训练过程。框架中还融合了不同层次信息的对比学习，有效提取并整合了不同视图间的共同语义，显著提升了模型处理复杂数据的能力。DistilMVC的应用成功展现了在处理多视图数据时，如何有效整合不同模态信息的重要性及其在实际应用中的潜在价值。
论文题目：Toward Generalized Multistage Clustering: Multiview Self-Distillation
作者：王嘉泰；许志伟*；王欣;李涛
论文地址：https://ieeexplore.ieee.org/document/10750075
研究表明，现有多视图聚类方法在处理高噪声数据时往往会产生错误的伪标签，这些伪标签会误导模型，造成多视图聚类模型性能下降。为了克服这一挑战，研究团队设计了一种新的深度多阶段聚类方法，引入了自监督的对比学习策略，使模型能够在没有外部监督的情况下自我演进，如下图所示：
DistilMVC框架工作流通过在多个开放数据集上的测试，同几种最先进的聚类方法比较，DistilMVC表现出显著的性能提升。其中，在Caltech-4V数据集上，DistilMVC相对于当前SOTA，聚类准确率（ACC）提高了7.6%，表明DistilMVC通过引入暗知识显著缓解了常见的伪标签问题。此外，该框架还具有很强的普适性和扩展性，可应用于更广泛的多视图学习任务，包括但不局限于不完全多视图学习、跨模态检索和三维重建等领域。对多模态学习、自监督学习等机器学习领域的研究也具有重要的参考价值。研究团队将继续探索DistilMVC框架在实际应用场景中的潜力，在无人系统、数字医疗、智慧能源等领域展开合作，以期进一步拓展其应用范围和影响力。
