业界首发行业大模型，提出落地3大关键路径，百度的大模型原来是这么用的

在过去的几年，深度学习领域掀起了一场轰轰烈烈的「练大模型」运动，千亿、万亿参数模型层出不穷。但与之形成反差的是，这些大模型的落地过程却非常缓慢。前段时间从谷歌离职创业的两位 Transformer 作者也感叹，虽然他们训练的模型越来越大，但这些模型却很难用来做实际的事情。

 这个问题在国内同样引发了关注。在前段时间的百度认知 AI 创意赛决赛期间，百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜就提到，参数并不是衡量大模型优劣的唯一标准，模型质量、算力大小等软硬件协同能力以及大模型的工程落地能力，也是重要的评价维度。所以，在去年发布了 2600 亿参数的 鹏城 - 百度 · 文心之后，百度并没有着急继续推高参数，而是着眼于更加实际的问题： 前沿的大模型技术如何与真实场景的方方面面要求相匹配。

 在今天开幕的 WAVE SUMMIT 2022 深度学习开发者峰会上，百度分享了他们关于这个问题的思考并 提出了大模型产业落地的三个关键路径。

 具体来说，他们从三个方面开展工作：第一是建设更适配应用场景的 模型体系，包含学习了足够多数据与知识的基础大模型、面向常见 AI 任务专门学习的任务大模型、以及引入行业特色数据和知识的行业大模型；第二是要有更有效的 工具和方法来让大模型发挥作用，充分考虑落地应用的全流程问题；第三是要有 开放的生态，以生态促创新。这些内容都包含在最新的文心全景图中。

 作为支撑文心大模型走向规模化生产和产业级应用的重要平台， 飞桨也在同一天迎来了重要升级。最新版的飞桨全景图包含 技术、场景、生态三大领域的六大全新发布，旨在夯实工业大生产强大底座，加速 AI 规模化落地。

这次 WAVE SUMMIT 的所有发布，都折射出百度对人工智能新发展趋势的思考。百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰在演讲中表示，人工智能越来越普惠，赋能千行百业，惠及千家万户。2019 年，在第一届 Wave Summit 深度学习开发者峰会上，王海峰提出，深度学习具有很强的通用性，并具备标准化、自动化和模块化的工业大生产特征，推动人工智能进入工业大生产阶段。三年来，深度学习技术、平台和产业应用的发展正是这一观点的最好验证。王海峰指出，在 AI 工业大生产阶段，深度学习技术的通用性越来越强，深度学习平台的标准化、自动化和模块化特征越来越显著，深度学习应用越来越广泛且深入，已经遍地开花。

 AI 大模型是深度学习技术的新突破，进一步增强了 AI 技术的通用性，也让广大深度学习开发者可以更低成本、低门槛，助力普惠 AI。吴甜表示，今年是大模型产业落地的关键年。

以下是百度为这个「关键年」所贡献的解法。

  3+1+1 ：百度文心贡献大模型落地新解法

 AI 大模型作为深度学习技术的新突破，是普惠 AI 的重要助推力。此次飞桨大模型的架构升级可以概括为 「3+1+1」，即 三类大模型 + 一套工具平台 + 一个生态系统，并发布了 10  个新的大模型，其关键词是 「产业级」和「知识增强」。

 

三类大模型

 此次新增的 10 个大模型可以分成三个不同的层次，包括 基础通用大模型、任务大模型、行业大模型三大类。

为什么要把模型分成这些层次？吴甜解释说， 基础大模型和应用场景之间其实存在鸿沟，因为它只是掌握了通识知识，缺乏对特定任务和行业知识、行业 know-how 的深入了解，因此在应用到特定场景、特定行业时可能无法达到性能最优。

为了弥合这一鸿沟，文心大模型此次 最重要的升级是业界首次发布行业大模型，旨在为行业头部企业搭建 AI 基础设施，共同推进大模型在行业的深度应用。

行业大模型的打造过程如下：先基于通用的文心大模型挖掘相关行业的知识，再结合实际行业特色的数据和知识进行大规模无监督的联合训练。为了更好地学习行业中的特色知识，文心技术团队设计了行业领域的特别算法，使得最终训出的行业大模型能真正解决真实场景的问题。行业大模型会在行业场景当中有更加优秀的表现，适配性会更强。

 此次发布的 两个行业大模型包括知识增强的能源行业NLP大模型 国网-百度·文心和知识增强的金融行业NLP大模型 浦发-百度·文心。

• 国网 - 百度 · 文心由百度和国家电网联合研发。在能源电力行业，百度与国家电网合作，共同探索了行业大模型机制。基于通用文心大模型，百度与国网的专家们一起，引入电力业务积累的样本数据和特有知识，并且在训练中，结合双方在预训练算法和电力领域业务与算法的经验，设计电力领域实体判别、电力领域文档判别等算法作为预训练任务，让文心模型深入学习到了电力专业知识，在国网场景任务应用效果提升。
• 浦发 - 百度 · 文心由百度和浦发银行联合研发。相似的思路，百度与浦发银行也联合研制了金融行业大模型。文心大模型结合浦发场景积累的行业数据与知识，双方技术和业务专家一起设计了针对性的财报领域判别、金融客服问答匹配等预训练任务，让文心大模型学习到金融行业的知识，在浦发典型任务应用效果显著提升。

除此之外，文心此次还发布了文心基础大模型和任务大模型共八个，包括：融合任务相关知识的千亿大模型ERNIE 3.0 Zeus、多任务视觉表征学习VIMER-UFO 2.0、商品图文搜索表征学习VIMER-UMS、文档图像表征学习VIMER-StrucTexT 2.0、语音-语言跨模态大模型ERNIE-SAT、地理-语言跨模态大模型ERNIE-GeoL，以及面向生物计算领域的化合物表征学习HELIX-GEM和蛋白质结构分析HELIX-Fold。

以基础NLP大模型为例，ERNIE家族增添新成员，融合任务相关知识的千亿大模型ERNIE3.0 Zeus全新发布，在学习海量数据和知识的基础上，进一步学习百余种不同形式的任务知识，增强了模型的效果；通过融合层次化提示的预训练，更好地建模不同任务的共性与特性；再通过将不同的任务组织成统一的自然语言形式，统一建模增强模型的泛化能力。相对其他模型，ERNIE 3.0 Zeus在各类NLP任务上表现出了更强的零样本和小样本学习能力。

这三类模型组合在一起，文心大模型就具备了能够结合场景落地的全面模型能力。



  一套工具平台

 在提及上述三类模型时，吴甜把它们比作齐头并进、奔向产业应用的三驾马车。但好马还要配好鞍，要想让不同算法能力的开发者都能方便、快速地使用文心大模型，全面释放大模型的使用效能，配套一些开发套件、平台并开放一些 API 是非常必要的。

此次新发布的文心大模型套件包括四方面的能力：

1. 为了降低开发者标注成本，提升数据的处理效率，该套件集成了数据增强、数据清洗等丰富的 数据标注与处理工具。
2. 基于大模型精调是大模型应用在各类 AI 任务中的主要方式，为解决开发者不同场景的应用需求，该套件提供了对抗学习、提示学习等灵活、高效的 精调工具。
3. 大模型部署成本高是企业应用的重要难题，为降低开发者应用大模型成本，套件提供了模型蒸馏、模型裁剪等多种 大模型轻量化方案。
4. 为了降低用户代码开发量，套件也提供了 NLP 和 CV 领域共 60 多个 预置基础任务，大多数场景可开箱即用。

 在平台层面，使用者可以通过飞桨的 EasyDL和 BML开发平台直接调用文心大模型的能力，因为这一能力已经内置在两个开发平台中。在这两个平台上，超过 1 万名用户使用了文心预训练大模型进行开发，累计创建了 3 万多个任务。平台数据显示，在使用了大模型技术之后，数据标注量平均降低了 70%，模型效果平均提升了 10.7%。

在 API 层面，文心大模型此次开放了 4 个大模型的 API 服务供使用者直接调用，包括：

• ERNIE3.0 Zeus 的文本生成能力；
• ERNIE3.0 Zeus Prompt，预置 16+Prompt 技能，也支持开发者自定义 prompt 技能；
• PLATO 对话大模型 API，可以在智能对话定制与服务平台 UNIT 接入体验；
• ERNIE-ViLG 跨模态文生图 API。

 这些 API 可以让开发者低门槛享受大模型带来的收益。

  一个生态系统

 在扫除了种种障碍之后，百度的文心大模型已经在保险、银行、农业、工业、生物医药、搜索引擎等多个领域得到了应用。但我们也知道，在世界范围内，大模型的应用其实都还处在探索阶段，还有很大的创意和探索空间。

 为了促进文心大模型惠及最广泛的行业与人群，把最新大模型 API 试用提供给更多人，文心大模型宣布将共享飞桨生态，同时新发布了基于文心大模型的创意社区—— 旸谷大模型创意与探索社区。「旸谷」在传说中是「日出的地方」，百度希望借助这个社区进一步把智能化能力带到千行百业，带到所有人面前。

  六大全新发布，飞桨要做最懂中国 AI 场景的深度学习平台

 我们经常开玩笑说，大模型都是用「钞能力」堆出来的。但我们也知道，要想训练出千亿参数大模型，光有钞能力是不够的，还需要一个成熟的开发、训练、推理平台做支撑。对于文心来说，这个支撑就是飞桨。它是产生和应用大模型的关键。

 在这次的 Wave Summit 大会上，飞桨迎来了六项重要发布， 技术、场景、生态三大领域都有了进一步深化。

 在技术领域， 飞桨框架推出了最新的 2.3 版本，开发、训练、推理部署全面升级，提升了深度定制开发和自动化能力。

 为了满足真实产业场景的很多刚性需求，进一步推动 AI 规模化落地，飞桨发布了 训推一体导航图、产业模型选型工具、PaddleScience 赛桨、飞桨移动工作站和深度学习实践教辅书。

 此外，为了共建中国最强大的 AI 开发者生态，飞桨的「大航海」2.0 共创计划新增了 产业实践范例库、AI for Science、硬件生态三个领域共创计划。

  飞桨框架 v2.3：定制化、自动化、上云需求统统满足

 深度学习框架在编程界面上一般有两种编程模式：命令式编程和声明式编程，即动态图和静态图。二者在开发灵活性和训练部署效率方面各有千秋。为了兼顾二者的优势，飞桨在 2019 年的 Wave Summit 上就确定了动静统一的框架设计理念，目前已经臻于成熟。所以 此次的发布旨在进一步提供框架内部的深度定制开发能力，并通过自动化等方式全面提升框架使用体验。

 具体来说， 飞桨框架 v2.3 涉及四个方向的核心升级。

  一是灵活的深度定制开发。一个深度学习框架有大量的开发接口可以直接调用，但如果想要实现一些比较定制化的功能，你需要对框架底层的很多功能进行改造。为了满足高阶开发者的这种深度定制开发需求，飞桨框架 v2.3 推出了高复用性算子库，极大地降低了开发成本，典型算子内核（如 einsum）代码量可以降低至业内领先水平。

此外，飞桨框架的通用异构参数服务器架构也实现了升级，这项技术解除了传统参数服务器模式必须严格使用同一种硬件型号 Trainer 节点的枷锁。升级后的通用异构参数服务器适配新硬件代码量从万行减少至千行，仅需添加图采样策略即可实现 GPU 三级存储图检索引擎。

  二是自动调优的高性能训练。对于开发者来说，把一个深度学习框架性能调到最优是非常具有挑战性的，需要大量背景知识。针对这一困难，飞桨框架 v2.3 推出了业内首个全流程性能自动调优方案，充分发挥软硬一体融合优势，关键环节感知硬件特性自动调优。有了这个方案，开发者无需了解硬件特性，即可获得与专家级手工优化水平相当的性能。

  三是自动化压缩与高性能推理部署。模型压缩牵扯到整个训练推理的全部流程以及硬件特性，想要做好是非常具有挑战性的。为此，飞桨框架 v2.3 推出了业内首个自动化压缩功能，通过蒸馏微调解除对模型训练代码的依赖，感知硬件延时，自动选择最优压缩方案，压缩精度与手工方法相当，代码量减少 50% 以上。此外，它的高性能推理引擎还能实现端到端深度优化，端、边、云多平台推理性能全面提升。

  四是云上飞桨。当前，深度学习的规模正变得越来越大，很多的训练、推理任务需要多个算力中心协同，还要兼顾算力中心的数据隐私需求。为此，飞桨框架 v2.3 推出了业内首个异构多云自适应分布式训练架构，支持多个算力中心联合训练。此外，它还推出了飞桨专属云上部署编排工具，仅需两行配置，即可定制云上开发部署环境，用户基于多套件多模型配置模板，可快速完成多模型自由组合，实现 AI 应用高效落地。

  训推一体导航图：为开发、训练、部署全流程趟出过千条完整路径

 在 AI 实际应用的过程中，模型的部署一直是一个让人头疼的问题。在某些深度学习平台上，如果你想把训练出的模型部署到不同的芯片、不同的硬件设备上（比如服务器、手机），你就需要针对每种情况进行额外开发，这种训练和推理解耦的情况对于开发者来说是非常痛苦的。

飞桨的训推一体旨在解决这个问题，它能让模型在训练完成后立即在不同的芯片、不同的硬件设备上进行部署，在各个场景中做推理。在去年发布的「推理部署导航图」中，飞桨展示了 300 多条部署通路，深刻诠释了飞桨在打通 AI 应用最后一公里所做出的不懈努力。

飞桨去年发布的推理部署导航图



在今年的 Wave Summit 上，这个导航图升级为训推一体导航图，打通了模型的开发、训练、推理部署整个流程，为 AI 产业应用的落地提供了全流程智能导航。

飞桨今年发布的训推一体导航图

  产业模型选型工具：专治「选择困难症」

 

 在 2018 年刚推出的时候，飞桨上只有十几个模型，如今几年过去，这一数字变成了几百个。在本次 Wave Summit 上，百度 AI 技术生态总经理马艳军宣布，飞桨产业级开源模型新增 100 多个，总数达到 500+；结合产业实际场景、精心打造的精度与性能平衡 PP 系列特色模型由 13 个新增至 23 个；产业实践范例由原来的 22 个增加到 47 个。这无疑给了用户更多选择，但也带来了困惑：模型、范例那么多，哪个适合我？「产业模型选型工具」就是用来解决这个问题的。

这个工具根据用户输入的「场景任务」、「需求指标」、「标注文件」等展开需求分析，然后给出自己的推荐结果，告诉你选择哪个模型、硬件和产业实践范例更好。产业实践范例是飞桨团队与各个行业的企业共同建设的，里面包含任务实现的整个流程，可以降低 AI 应用落地门槛。

  PaddleScience  赛桨：比量桨、螺旋桨更通用的科学计算工具集

 近年来，AI for Science 正受到越来越多的关注。AlphaFold 等模型的成功让人们看到，AI 正在为科学研究提供一种新的范式。

 2020 年，飞桨团队发布了量子机器学习开发工具集 量桨（Paddle Quantum）和生物计算平台 螺旋桨（PaddleHelix）。在此基础上，飞桨今年又发布了一个更加基础、通用的工具集——赛桨（PaddleScience）v1.0 Beta，具备支持多领域多场景算例、丰富的算法和开发接口、端到端核心框架功能支持、广泛适配异构硬件四大优势，支持的科学领域要更加广泛。

这几个工具和与之配套的算力、框架、算例、场景一起，组成了最新的飞桨 AI for Science 全景图。

  飞桨移动工作站：把 EasyDL 拎进车间

针对那些数据保密度极高的行业，飞桨推出了一款便携式可移动的 AI 工作站，解决数据「不能出工厂」甚至「不能出车间」的问题。

飞桨企业版重磅发布的飞桨移动工作站，是以便携式可移动工业加固计算机为硬件底座，集成显示屏/键盘等输入输出设备，专为人工智能任务设计，最多可支持2张350W功耗的AI加速卡。具备宽温、稳定性强、抗干扰能力强等特点。特别适合工业级环境使用。

飞桨移动工作站搭配EasyDL桌面版和智能边缘控制台，实现了训推一体和边端协同的全流程AI开发和应用。适应诸多移动作业场景，如教育教学、公安/交通移动执法、临时指挥布控、防疫检测作业、产线临时采样检测等。一体化解决模型开发、部署、迭代问题。

  深度学习实践教辅书，培养更懂应用的AI人才为帮助开发者更好地理解深度学习框架运行机理、掌握深度学习实践知识，飞桨在本次峰会上联合浙江大学上海高等研究院常务副院长、浙江大学人工智能研究所所长吴飞教授，以及复旦大学计算机学院邱锡鹏教授分别 发布了深度学习实践教辅书《人工智能导论：案例与实践》和《神经网络与深度学习：案例与实践》。借此，飞桨希望将产业实践与理论教学深度结合的教辅书能够进一步完善人工智能领域教学资源，向产业输送更懂应用的AI人才。

  三大共创计划，共建飞桨生态

 在生态领域，飞桨已经有了非常成功的实践，尤其是在硬件领域。截至目前，飞桨已经适配了 30 多款国内外最主流的芯片，不少芯片厂商也推出了针对自家芯片优化的飞桨版本，比如英伟达。这是过去两年开展的共聚、共研计划结出的果实。

在此基础上，飞桨更进一步，提出了「共创计划」，而且这次不仅涉及硬件，还新增了产业实践范例库和 AI for Science 两个领域。这两个领域知识跨度都非常大，开源共建、产学研结合将是非常理想的发展方式。

  稳居中国深度学习平台市场综合份额第一，飞桨是怎么做到的？

过去的几年，飞桨一直在高速发展。截至 2022 年 5 月，飞桨平台开发者规模达到 477 万，平台上的企业和开发者共同创造了 56 万个 AI 模型，服务企事业单位 18 万，广泛应用于工业、农业、金融、医疗、能源、物流等各行业。IDC 的报告显示，飞桨在中国深度学习市场中的综合份额已超越其他国际巨头，成为中国第一，稳居中国深度学习平台市场综合份额第一。

 这个「第一」的取得包含很多因素。第一个因素是前面提到的动静统一、训推一体、大规模分布式训练、各种自动化技术等核心产业级技术能力。

从事智能编程机器人产品研发的某一线算法工程师告诉人工智能站，从大规模分布式训练的角度，他感觉飞桨的分布式训练 API FleetX 用起来非常方便，基本上只需要配置到底使用什么样的分布式策略，就能将单机模型改为可以进行大规模分布式训练的模型。而且本来 PaddleNLP 模型库就有很多大规模分布式训练的例子，改起来非常方便。此外，在分布式训练的过程中，框架的运行也很稳定，没有出现过 NaN 问题，学习率、梯度、损失都非常正常，分布式训练的中断、加载权重以继续训练都没有问题。值得注意的是，飞桨的保存与加载用起来也很方便，不需要手动做多余操作。

 第二个因素是飞桨一直跟开发者走得非常近，比如建立了专门的学习社区、答疑群，开源了很多神器（如 PP 系列模型）、产业实践范例库帮助企业开发者节省时间，将国内开发者的痛点需求提到了很高的开发优先级等。

 第三个因素是生态。通过多年的生态建设以及上面提到的「共聚」、「共研」、「共创」计划，飞桨已经和硬件企业、开发者等相关群体建立了一种共生的关系。

 上述算法工程师提到，他认为 PaddleNLP 在推理方面做得比较好的一点是能对接 NVIDIA 之前开发的 FasterTransformer，其用 CUDA 底层重新写了一遍 Transformer 模型，并向上提供一些高效的 API，这样一般类似 Transformer 的模型就能编译为可高效运行的算子，并通过 C++ 高效地调用、嵌入到应用中。所以总体来看，他觉得，「从分布式数据迭代器、分布式训练到推理，飞桨把整个模型的训练与应用都打通了，算法工程师也不需要多少额外的开发工作就能完整地跑通，所以还是很好用的。」

  结语

 纵观历史，每一次科技革命都是由一项通用性技术的突破来驱动的，第一次是机械技术，第二次是电气技术，第三次是信息技术。这些技术往往从少量场景开始，然后逐渐走向标准化、自动化和模块化，并最终实现人类社会生产力的提升，我们管这种现象叫做工业大生产。

 在我们所身处的第四次科技革命中，深度学习技术在人工智能的各个方向上已经表现出良好的通用性。而预训练大模型的兴起，使得人工智能的通用性进一步增强。吴甜表示，目前飞桨已构建了业内布局最全、最适宜产业应用的模型库体系。大模型作为人工智能应用的「基础设施」，不仅拓宽了场景覆盖的广度，更加深了产业应用的深度。文心大模型将持续降低应用门槛，推动产业智能化升级，让人工智能技术惠及每一个人。

 与此同时，深度学习平台的工业大生产特征也越来越显著。王海峰表示，「基于飞桨平台，人人都可以成为 AI 应用的开发者。」