最新综述：多标签学习的新趋势

这里给大家带来一篇武大刘威威老师、南理工沈肖波老师和 UTS Ivor W. Tsang 老师合作的 2020 年多标签最新的 Survey，我也有幸参与其中，负责了一部分工作。

论文链接：

https://arxiv.org/abs/2011.11197

上半年在知乎上看到有朋友咨询多标签学习是否有新的 Survey，我搜索了一下，发现现有的多标签 Survey 基本在 2014 年之前，主要有以下几篇：

1. Tsoumakas 的《Multi-label classification: An overview》(2007)

2. 周志华 老师的《A review on multi-label learning algorithms》(2013)

3. 一篇比较小众的，Gibaja 《Multi‐label learning: a review of the state of the art and ongoing research》2014

时过境迁，从 2012 年起，AI 领域已经发生了翻天覆地的变化，Deep Learning 已经占据绝对的主导地位，我们面对的问题越来越复杂，CV 和 NLP 朝着各自的方向前行。模型越来越强，我们面对的任务的也越来越复杂，其中，我们越来越多地需要考虑高度结构化的输出空间。多标签学习，作为一个传统的 机器学习 任务，近年来也拥抱变化，有了新的研究趋势。因此，我们整理了近年多标签学习在各大会议的工作，希望能够为研究者们提供更具前瞻性的思考。

关于单标签学习和多标签学习的区别，这里简单给个例子：传统的图片单标签分类考虑识别一张图片里的一个物体，例如 ImageNet、CIFAR10 等都是如此，但其实图片里往往不会只有一个物体，大家随手往自己的桌面拍一张照片，就会有多个物体，比如手机、电脑、笔、书籍等等。在这样的情况下，单标签学习的方法并不适用，因为输出的标签可能是结构化的、具有相关性的（比如键盘和鼠标经常同时出现），所以我们需要探索更强的多标签学习算法来提升学习性能。

本文的主要内容有六大部分：

• Extreme Multi-Label Classification
• Multi-Label with Limited Supervision
• Deep Multi-Label Classification
• Online Multi-Label Classification
• Statistical Multi-Label Learning
• New Applications

接下去我们对这些部分进行简单的介绍，更多细节大家也可以进一步阅读 Survey 原文。另外，由于现在的论文迭代很快，我们无法完全 Cover 到每篇工作。我们的主旨是尽量保证收集的工作来自近年已发表和录用的、高质量的期刊或会议，保证对当前工作的整体趋势进行把握。如果读者有任何想法和意见的话，也欢迎私信进行交流。

1. Extreme Multi-Label Learning (XML)

在 文本分类 ， 推荐系统 ，Wikipedia， Amazon 关键词匹配 [1] 等等应用中，我们通常需要从非常巨大的标签空间中召回标签。比如，很多人会 po 自己的自拍到 FB、Ins 上，我们可能希望由此训练一个分类器，自动识别谁出现在了某张图片中。

对 XML 来说，首要的问题就是标签空间、特征空间都可能非常巨大，例如 Manik Varma 大佬的主页中给出的一些数据集 [2]，标签空间的维度甚至远高于特征维度。其次，由于如此巨大的标签空间，可能存在较多的 Missing Label（下文会进一步阐述）。最后，标签存在长尾分布 [3]，绝大部分标签仅仅有少量样本关联。

现有的 XML 方法大致可以分为三类，分别为：Embedding Methods、Tree-Based Methods、One-vs-All Methods。近年来，也有很多文献使用了 深度学习 技术解决 XML 问题，不过我们将会在 Section 4 再进行阐述。XML 的研究热潮大概从 2014 年开始，Varma 大佬搭建了 XML 的 Repository 后，已经有越来越多的研究者开始关注，多年来 XML 相关的文章理论和实验结果并重，值得更多的关注。

关键字 ：多标签学习