ICCV2023 | 新数据集MeViS: 基于动作描述的视频分割

随着各种视觉语言大模型的蓬勃发展，构建强大的多模态模型以解决实际问题已成为明显的趋势。多模态大模型，如 CLIP 和 SAM ，在以自然语言（文本）作为提示的图像识别和分割任务上展现出了卓越的性能。然而，当面对复杂场景的视频以及包含动作行为等描述信息的自然语句时，比如“ 找出违规掉头的那些车辆”，模型是否能够准确地从视频中找到并分割出这些目标物体呢？

为了探究这个问题，来自南洋理工大学的研究团队构建了一个 专注于复杂场景中动作描述的大规模语言 - 视频分割数据集 M eViS  ( M otion   expressions Video Segmentation ) 。

论文地址： https://arxiv.org/abs/2308.08544  

项目主页： https://henghuiding.github.io/MeViS/

图 1 给定一段视频和一个描述动作的句子“玩逗猫棒的那只猫”，MeViS 要求找到并分割这只猫

自然语言引导的视频分割，即language-guided video segmentation 或者RVOS (referring video object segmentation ）是计算机视觉领域的新兴热点问题。其主要目标是通过分析自然语句提供的目标物体在视频中的某些线索，精确地定位、追踪、并分割自然语句所指向的目标物体，获目标物体在整个视频序列中每一帧的高质量mask ，如图1 所示的MeViS 数据集示例 。之前的RVOS 数据集使用的视频中物体数量较少且大都为显著物体，同时倾向于使用描述物体静态特征（如颜色）的句子，这使得目标物体很容易通过单一图像帧的观察就能辨别出来。这种情况意味着相对于视频的动态属性未被充分利用，导致RVOS 任务演变为一种语言图像分割任务。相对于现有的RVOS 数据集，MeViS 的主要特点是 使用自然语句来描述物体的动态特征，并显著增加视频场景复杂性。因此，MeViS 能够有效评估语言- 视频分割算法在复杂场景下对自然语句和视频中 动态信息的推理能力，推动语言- 视频分割在更真实场景下的应用研究。

MeViS 数据集简介

MeViS 包含共2,006 个视频，对视频集中的8,171 个物体提供了总共28,570 个自然描述语句。从下表中可以看出，MeViS 在 自然语句数量、物体数量、 Mask 规模等方面显著超越其他数据集 。

同时，MeViS 所提供的近3 万个自然语句，主要关注描述目标物体的 动态特性。如下图2 展示的MeViS 语句词云所示，MeViS 包含大量描述动态属性的单词，如walking 和moving 等。

图 2 MeViS 中包含大量描述动态属性的单词，如walking, moving, playing 等

不仅在数据集规模上，MeViS 在视频难度上也尤为突出 。从表中的单个视频平均物体数量 (Object/Video) 一列来看，MeViS 中的视频包含的物体显著高于其他数据集，这极大增加了定位目标物体的难度。同时，不同于以往数据集的每个句子仅指向一个目标物体，MeViS 进一步增加了 指向多个目标物体的描述语句，使得平均每句话指向的目标物体数量达到了1.59 ，大幅增加了对语言- 视频理解的要求。图3 中的例子展示了视频内容复杂度上升带来的质量和难度的提升。

图3 MeViS (a) 和Refer-YouTube-VOS (b) 在动态描述上的对。 MeViS 句子所描述的物体“那些转身的长颈鹿”需要观察一段视频才能找到，Refer-YouTube-VOS 由于视频难度的原因，即使提供了动态描述，也可以通过类别名称，如“人”，在单帧图像中找到。

此外，在保证目标物体的多样性和复杂性的同时，MeViS 也丰富了视频长度的多样性。数据集视频平均时长达到 13.16 秒，显著高于Refer-YouTube-VOS 数据集的4.28 秒。

更多 MeViS 可视化

下面介绍一些MeViS 数据集中的典型视频。

在下面的MeViS 视频中，出现了三只外观非常相似的鸟。通过颜色、形状等静态特征很难描述这些目标物体，因此在这种场景下， 传统的语言 - 图像分割模型面临巨大挑战 。然而，通过描述“飞走的那只鸟”等动态特征，却能轻松准确地捕捉目标物体的特点。 这突显了动态特征描述在视频理解中的实用性、必要性和重要性。

如下MeViS 视频展示了两艘相向行驶的船，“向右行驶的那艘船”这种语句描述无法通过观察单帧图像定位目标船只， 展示了在 MeViS 数据集中获取时序信息的重要性 。

更多可视化片段参见项目主页。

方法

为了迎接 MeViS 数据集所带来的新挑战，研究人员提出了一种基于 object embedding 获取时序动态信息的基线方法： Language-guided Motion Perception and Matching (LMPM) 。如下图所示， LMPM 首先使用语言特征检测单帧图像中尽可能多的潜在目标对象，然后利用 object embeddings 来表示这些目标对象，并通过 object embeddings 之间的信息交互来获取时序信息。接着，通过语言特征来关联各帧的 object embeddings ，形成 object trajectories 。最后通过对比语言特征和各个 object trajectories 之间的相似度，选择相似度高于阈值的物体作为最终输出，并为其生成 mask 。该方法的代码已经开源，可在 https://github.com/henghuiding/MeViS  获取。

实验

MeViS 数据集分为 Train ， Val ^u ， Val ，和 Test 四个部分，其中 Train 和 Val ^u 的数据标注已公开，分别作为模型训练和线下用户自测。 Val 结果需要将生成的 mask PNG 图片按要求整理并提交到 CodaLab ，由数据集组织方进行在线评估。 Test 部分将作为未来比赛用途。

如下为 MeViS 数据集 Val 部分目前的 benchmark 结果。最优结果仅为 37.2% ，这表明仍存在巨大的发展和研究空间。

更多实验结果请见论文。

总结

研究者创建了一个名为 MeViS 的大规模语言 - 视频分割数据集，其重点是推动语言 - 视频分割在更真实且复杂的场景中的应用研究，特别侧重于 动作特征的推理 。基于提出的   MeViS  数据集，研究者对现有语言 - 视频分割方法进行了基准测试并进行了全面比较。发现在视频场景更加复杂以及语言偏向动作描述时，会给现有算法带来了巨大挑战。期待 MeViS 能够启发更多研究人员进行复杂场景下的语言 - 视频理解研究。

更多细节请见论文。