港中文开源视频动作分析库MMAction，目标检测库算法大更新

昨日，香港中文大学多媒体实验室（MMLab）OpenMMLab 发布动作识别和检测库 MMAction，同时也对去年发布的 目标检测 工具箱 mmdetection 进行了升级，提供了一大批新的算法实现。

OpenMMLab 计划是香港中文大学多媒体实验室（MMLab）2018 年启动的计划，由香港中文大学教授、 商汤科技 联合创始人 林达华 老师负责，初衷是「为 计算机视觉 的一些重要方向建立统一而开放的代码库，并不断把新的算法沉淀其中。」

2018 年 10 月，在 OpenMMLab 的首期计划中，商汤和港中文正式开源了 mmdetection，这是一个基于 PyTorch 的开源 目标检测 工具包。该工具包支持 Mask RCNN 等多种流行的检测框架，读者可在 PyTorch 环境下测试不同的预训练模型及训练新的检测分割模型。

昨日， 林达华 发表知乎文章，发布 OpenMMLab 第二期内容： 

1. MMDetection（目标检测 库）升级到 1.0，提供了一大批新的算法实现。

2. MMAction（动作识别和检测库）全新发布。

MMDetection 1.0

Github 地址： open-mmlab/mmdetectiongithub.com 

最新的 MMDetection 是 MMLab 联合 商汤科技 以及十多个研究团队合作完成的。据介绍，相较于其他开源 数据库 ，MMDetection 1.0 的优势如下：

1. 高度模块化的设计。通过不同检测算法流程的分解，形成一系列可定制的模块。然后对这些模块进行随机组合，可以迅速搭建不同的检测框架。

2. 多种算法框架支持。MMDetection 直接支持多种主流的目标检测 与实例分割的算法框架，包括 single-stage、two-stage、multi-stage 等多种典型架构，以及各种新型模块。此外，MMDetection 还提供了 200 多个预训练的模型。

3. 高计算性能。MMDetection 所支持的主要模块均能在 GPU 上运行。整体的训练速度优于 Detectron、maskrcnn-benchmark、以及 SimpleDet。特别值得一提的是，MMDetection 还直接支持混合精度训练以及多卡联合训练，这些技术的引入都能显著提高训练的效率。

4. 先进算法。MMDetection 提供了在 MSCOCO 2018 比赛中夺冠的 HTC 算法。随着越来越多研究团队加入到 mmdetection 的开发中，MMLab 研究团队将持续保持和最新算法的同步。

此外，MMLab 也发布了一份技术报告，对 MMDetection 进行了详细介绍。

从机构名称中，我们可以发现 MMDetection 的发布联合了国内外 13 所机构。

报告链接： https://arxiv.org/abs/1901.11356

该报告还提供了 MMDetection 与其他开源库的对比，可以看到 MMDetection 提供的算法远比其他开源库丰富：

MMDetection 与其他开源库的对比

MMLab 的研究团队还在 MMDetection 的基础上对相关算法进行了全方位的对比试验。他们比较了 损失函数 、归一化策略、训练尺度等一系列设计参数的选择对于检测性能的影响。

视频动作分析库 MMAction

林达华 介绍道，「在 深度学习 刚刚开始进入 计算机视觉 领域的时候，MMLab 已经开始了对使用 深度学习 进行视频动作分析的研究，提出了一系列有影响的算法框架。比如，我们在 ECCV 2016 提出的时序分段网络（Temporal Segmental Network）已经被广泛运用于实际系统中，并影响了很多新的算法设计。」

基于过去几年的探索，MMLab 建立了专门用于视频动作分析的统一代码库 MMAction。

项目地址： https://github.com/open-mmlab/mmaction

据介绍，MMAction 有以下重要优点：

1. 全面支持视频动作分析的各种任务，包括动作识别（action recognition）、时域动作检测（temporal action detection）以及时空动作检测（spatial-temporal action detection）。

2. 支持多种流行的数据集，包括 Kinetics、THUMOS、UCF101、ActivityNet、Something-Something、以及 AVA 等。

3. 已实现多种动作分析算法框架，包括 TSN、I3D、SSN、以及新的 spatial-temporal action detection 方法。MMAction 还通过 Model Zoo 提供了多个预训练模型，以及它们在不同数据集上的性能指标。

4. 采用高度模块化设计。用户可以根据需要对不同模块，比如 backbone 网络、采样方案等等进行灵活重组，以满足不同的应用需要。

林达华 知乎文章： https://zhuanlan.zhihu.com/p/69830582