在 2023 年上半年,AI 圈内有一个热议观点:「所有产品都值得用大模型重做一次。」
最早的时候,我们以为「重做」可以依靠生成式 AI 助手,实际上这仅仅是大模型技术对现有数字化场景的一种补充,让以往一部分繁琐、重复的工作变得相对高效、简单,还未能触及深层。
后来我们发现,用大模型「重做一遍」,除了意味着创新性的用户体验,还应该彻底变革当前的生产范式和生活范式。
但是,如果想让所有行业、所有应用、所有服务都被革新,正确的路径是怎样的呢?
在近日接受外媒 SiliconANGLE 采访时,亚马逊云科技 CEO Adam Selipsky 给出了一个洞察:随着生成式 AI 进入各行各业,有一个核心能力可以确保其兑现其承诺 ——「适应性」。
这也可以被用来概括 re:Invent 2023 大会的核心主题。在这场科技盛会中,亚马逊云科技分享了助推各行业客户在生成式 AI 革命中追赶前沿趋势、实现智能化转型的低成本方法论。
其中一个重要观点是「生成式 AI 技术栈」。曾以「芯片层、框架层、模型层和应用层」为普遍架构的 AI 技术栈已经发生了巨大变化,取而代之的是
基础设施层、工具层和应用层。
围绕这三层架构的最新技术趋势,亚马逊云科技发布了一系列面向生成式 AI 的重磅更新。对于千行百业的企业来说,有了技术跟进能力,就具备了「重做一遍」的充分条件。而全球各地的客户,现在都可以通过亚马逊云科技的服务获得这些强大助力。
在亚马逊云科技的三层生成式 AI 技术栈中,「工具层」的 Amazon Bedrock 处于承上启下的位置。
它想要解决的是各行业企业客户入局生成式 AI 最普遍遇到的问题:缺少构建大模型和快速开发应用的技术经验。
在试图全面拥抱生成式 AI 的公司中,能够从零开始或使用开源资源构建大模型只占很少一部分。直接使用现成的大模型 API 是一种更实际的方式,更重要的是,企业自身也希望将主要精力放在打造符合业务需求的应用上。
当然,没有一个模型会完全适合所有的应用场景,企业多次尝试和切换模型的过程首先就会造成高额成本。而 Amazon Bedrock 打造了一个业内几乎所有领先的基础大模型的汇聚平台,覆盖文本、嵌入和图像等多种模态,不管是 Anthropic 的 Claude、Stability AI 的 Stable Diffusion XL、Cohere 的 Command、Meta 的 Llama 2,还是亚马逊自研的 Titan 模型。
在 re:Invent 2023 大会上,亚马逊云科技又宣布了
数位新成员加入 Amazon Bedrock 模型库。首先是两款第三方大模型,Anthropic 最新 200K 上下文窗口的 Claude 2.1 和开源大模型领域表现最好的模型之一 Llama-2 70B,均已入驻 Amazon Bedrock 。
提到 OpenAI 的竞争对手,Anthropic 往往被认为是最具潜力的一个。这家公司今年 9 月获得了成立以来最大的一笔投资:40 亿美元,来自亚马逊。这次战略合作证明了亚马逊在生成式 AI 领域的雄心。目前,Amazon Bedrock 的客户拥有了其他云服务所没有的 Anthropic 旗下 Claude 大模型的早期访问、自动定制和微调等特供功能。
同时,亚马逊云科技的 Titan 大模型也迎来了重量级更新,正式加入多模态大模型之战。
其中,
Amazon Titan Multimodal Embeddings 可以将图像和短文本转换为 embedding 数字表示形式,使模型能够轻松理解语义以及数据之间的关系,提高多模态搜索和推荐体验。
Amazon Titan Image Generator 预览版本也已经登陆 Amazon Bedrock,它不仅可以理解复杂的提示词并生成准确度较高的图像,还可以直接输入自然语言提示对生成图像或上传图像进行自动编辑。
Amazon Titan Image Generator 提供了隔离图像的某些部分以添加或替换细节的能力,也可以实现使用其他类似原作风格的细节扩展图像的边界。
多模态大模型的加入,解决了 Amazon Bedrock 企业客户更深层探索生成式 AI 应用时的燃眉之急。真实世界中的问题往往是「多模态」的,企业所想要打造的应用往往也需要跨越多个模态,以此创造更丰富的用户体验。
这也代表着生成式 AI 落地的未来趋势。比如最近比较火热的「具身智能」,就是将多模态大模型和机器人技术相结合。多模态大模型增加了机器人的推理决策能力,能够识别环境中的多模态信息,并将人类给出的自然语言指令拆解成机器人可执行的步骤。
这些从文本、语音到图像、视频的大模型既可单独调用,也可灵活组合。对于企业来说,Amazon Bedrock 帮助它们以最快的速度加入了下半场的生成式 AI 竞赛。
同时,Amazon Bedrock 还提供了大模型开发流程中的配套服务,让企业开发者更容易上手。比如,
Amazon Bedrock 的「模型评估」功能能够帮助企业在不断涌现的大模型中快速完成评估和筛选,简化了确定基准、设置评估工具和运行评估这一套原本复杂耗时的流程。
选择好大模型之后,很多企业在将其接入自身业务的时候,还会遇到「水土不服」的现象。很多企业也意识到,训练一个「定制」大模型才是推动进一步落地的关键。
一方面,幻觉问题已经成为当前大模型落地的绊脚石之一。这项难题与大模型的基础架构有关,由于当前的 AI 只是在通过压缩数据产生智能,就很难彻底避免错误。目前的解决途径就是加强各领域内专业知识的注入,使用现有知识库中未包含的数据进行训练。
另一方面,即使是能力非常强的通用模型,企业也需要在基础模型上使用专有数据对预训练模型的权重进行额外训练来微调,这个过程中还可能会出现过拟合、「灾难性遗忘」等问题。
这些增强大模型能力的方法首先是需要一流的技术团队做支撑,而生成式 AI 的高级人才却格外紧缺,全部「自研」并不现实。
亚马逊云科技提供了一种低代码甚至无代码的一站式解决方案:三个新的定制功能
检索增强生成 (RAG)、微调、持续预训练已经加入到 Amazon Bedrock 现有服务之中。
检索增强生成 (RAG) 功能允许模型外挂企业知识库来引入外部知识,能够尽量减少幻觉。大概可以理解为,根据企业自身的「上下文」来定制语言模型。
另外两项新功能是
微调和
持续预训练。预训练模型的实际落地一直是个难题,特别是当大模型竞争的风向从模型层转向应用层之后,将会有越来越多的企业遭遇挑战。
Amazon Bedrock 微调功能支持企业客户在「标记数据集」上训练受支持的 Bedrock 模型,持续预训练功能支持企业客户使用大量「未标记数据」来提高模型在其行业或领域的知识和推理能力。后者所用数据不需要包含 AI 模型应生成的输出示例,减少了创建训练数据集所需的工作量,进一步降低了 AI 定制成本。
随着 Amazon Bedrock 在大模型开发工具上的不断完善,我们预计会看到更多的定制化大模型的应用。
不管是使用任何 LLM API,还是借助 Amazon Bedrock 为自身业务接入大模型,企业都会遇到一些不可避免的部署细节问题。
鉴于模型本身擅长提供答案而不擅长跨公司系统和数据源执行具体的任务,企业的开发人员必须编写代码来协调模型、系统和用户之间的交互,以便应用程序可以按逻辑顺序执行一系列 API 调用。此外,在尝试部署的过程中,企业必须根据自身需求制定数据安全和隐私策略。
这些步骤非常耗时且需要专业知识,都会增加生成式 AI 应用程序开发的时间成本。
现在,Amazon Bedrock 将这些过程标准化了。用户同样能用一种简化的方式完成部署阶段的这些问题,甚至不写一行代码。
我们可以将创建「Agent」理解为「生成式 AI 应用程序落地的最后一步」,亚马逊云科技目前已经全面推出 Agents for Amazon Bedrock 。借助这一功能 ,用户只需选择所需的模型,用自然语言编写一些说明,并开放其对公司企业系统和知识库的访问,就能创建自动分析请求并将任务分解为逻辑序列的 Agent 。
随着 AI 大模型在行业中的广泛应用,对数据隐私保护和「负责任的 AI」的关注度急剧上升。这些目标的实现,离不开工具和框架方面的创新。
针对
数据隐私安全的问题,Amazon Bedrock 做了特别安排。企业客户的任何输入或输出内容不会用于改进基本模型,也不会与第三方模型提供商共享。出于多一重保障的考虑,Amazon Bedrock 也支持加密。无论是在传输过程中,还是在静态存储时,企业客户的数据始终处于加密状态,也可以使用密钥对数据加密。
此外,依据
「负责任的 AI」原则,Amazon Bedrock 发布了 Guardrails 功能的预览版,Guardrails 会自动评估用户查询和模型响应,以检测并防止出现属于受限类别的内容。
正如「生成式 AI 技术栈」全景图所展示的,「工具层」位于「应用层」和「基础设施层」之间,三者互为铺垫、密不可分,每一层都是能否赢到最后的关键。
纵观海内外,能够自下而上进行全栈 AI 布局的科技公司并不多。在这场大会中,我们也看到了亚马逊云科技的竞争力。
在应用层,亚马逊云科技推出了
企业级生成式 AI 助手 Amazon Q。有了 Amazon Q ,用户可以使用其数据询问有关其业务的问题,无需去浩如烟海的工作文档中检索。例如,员工可以通过与 Amazon Q 聊天,查询到公司最新的徽标使用指南,或者了解其他工程师的代码来维护应用程序。
大模型的定制化和落地应用都需要更高的算力密度,带来了全新的业务负载特征。在「基础设施」上,亚马逊云科技已有深厚积累。
多年前,亚马逊预判到了高性能计算市场的爆发,开始投入自研芯片。相比于完全依赖公开发售的芯片产品,自研一定程度上帮助了这家公司在竞争激烈的云计算市场保持领先地位。
大会上,亚马逊云科技正式发布了新版本的定制微处理器
Amazon Graviton4 和用于训练神经网络的专用芯片
Amazon Trainium2。Graviton4 计算性能较上一代提升 30 %,Trainium 2 芯片针对万亿参数的基础模型(FM)和大语言模型设计,与第一代相比训练速度提升多达 4 倍。
从左到右分别是Graviton 1、2、3、4
还有一个环节是英伟达 CEO 黄仁勋现身亚马逊云科技 re:Invent 大会,他告诉与会者,亚马逊云科技是第一家认识到 GPU 加速计算重要性的云提供商。作为多年的合作伙伴,英伟达也选择了亚马逊云科技作为第一家部署 Nvidia GH200 芯片的云提供商。
这意味着,两家具备深厚技术创新能力的公司,在生成式 AI 领域的合作未来将进一步深化。
2023 年,生成式 AI 热度居高不下,并重构了大众生活。历史上有过一些类似的令人铭记的转折时刻,比如第一代 iPhone 的发布,曾经开启了智能手机的时代。
以前,人们热衷于围观苹果公司的新品发布会,称其为「科技春晚」。但从此以后,生成式 AI 将成为人们注意力的中心。
正如习惯了 iPhone 的人无法想象没有智能手机的日子,体验过 ChatGPT 的用户如今也不愿想象没有生成式 AI 的未来。将被颠覆的不只是「消费级产品」,还有背后的一切,包括企业、场景和思维方式。
不过,围绕生成式 AI 的新生态构建,要想从概念化为实践,仍然是一件充满困难的事情,需要行业共创。
但伟大成就的取得,通常要先有对技术长期投入的信心,同时克服急功近利的心态或短期内的「高估」。
作为全球云计算领域的领导者,亚马逊云科技深知技术创新的重要性。同时,这家企业用了很多年的时间坚持做一件事:帮助各行各业的公司积极掌握最新科技,探索不断变化的未来。目前,全球 80% 的独角兽企业,都在使用亚马逊云科技的技术。
现在,属于生成式 AI 的故事开始了,我们将迎来一个全新的繁荣时代。