采用机器学习新范式协助业务发展已经存在了几十年。随著足够的可扩充运算力的到位、海量数据的爆炸，以及机器学习技术的快速进步，各行各业的客户开始对业务进行重塑。最近，像ChatGPT这样的生成式AI应用引起了广泛的关注，引发了诸多想像。我们正处在一个机器学习被大规模采用的令人兴奋的转捩点上，Amazon Web Services（AWS）相信生成式AI将会重塑大量客户体验和应用程式。
二十多年来，人工智能和机器学习一直是亚马逊关注的焦点。亚马逊提供客户的许多功能都是由机器学习驱动的，例如我们的电商推荐引擎、营运中心捡货机器人的路径选择，以及我们的供应链、预测和产能规划。Prime Air（亚马逊无人机）和Amazon Go（亚马逊实体无人零售实体店，消费者可以自选商品后直接离开，无需现场排队结帐付款）中的电脑视觉技术都使用了深度学习。Alexa每周回应客户数十亿次关于管理智能家居、购物、资料取得和娱乐的请求，这也得益于来自 30 多种不同的机器学习系统的支援。亚马逊有数千名工程师专注于机器学习研究，这既是亚马逊的宝贵资产，也是亚马逊现在最关注的理念，和面向未来的实力之所在。
AWS致力于不断降低机器学习的使用门槛，已经帮助超过十万家来自各行各业的不同规模的客户使用机器学习进行创新。AWS 在人工智能和机器学习堆叠的三个层级都拥有至深至广的产品组合。长期以来，AWS 不断投入、持续创新，为机器学习提供高效能、可扩充的基础设施，和极具性价比的器学习训练和推论；AWS 研发了Amazon SageMaker，所有开发人员能更便利地建构、训练和部署模型；AWS 还推出了大量服务，使客户透过简单的API调用就可添加AI功能到应用程式中，如图像识别、预测和智能搜寻。得益于此，Intuit、汤森路透、AZ（AstraZeneca）、法拉利、德甲联赛、3M和BMW等客户，以及全球数千家新创企业和政府机构正在透过机器学习进行数码转型，带动产业升级，重新定义机器学习的使命。AWS 同样致力于推动生成式AI技术的普及：AWS 将这些技术从研究和实验领域释放出来，不只是少数新创和资金雄厚的大型科技公司，而是让更多企业都能从中受益。因此，AWS 宣布数项创新，帮助客户更简单、更容易地在业务中使用生成式AI。
生成式AI和基础模型
生成式AI是人工智能的一种，能够创造新内容和想法，包括对话、故事、图像、影片和音乐。与所有人工智能技术一样，生成式AI的能力由机器学习模型提供。这些模型是基于大量数据进行预先训练的大模型，通常被称为基础模型（Foundation Models）。机器学习的最新进展（特别是基于Transformer的神经网络架构的发明）直接带来一种模型的爆发式增长，这种模型通常包含数十亿个参数或变数。这是怎样一个数量变化呢？2019年最大的预训练模型是3.3亿个参数。现在，最大的模型包含的参数超过5千亿个，相当于几年间增加了1,600倍。如今的基础模型，例如大型语言模型GPT3.5或BLOOM，以及由Stability AI开发的文生图模型Stable Diffusion，可以执行跨多个领域的多种任务，例如撰写博客文章、生成图像、解决数学问题、对话聊天、基于文档回答问题等。基础模型的规模和通用场景的性质使其不同于传统的机器学习模型，后者通常仅执行特定的任务，例如分析文本观点、分类图像和预测趋势等。
基础模型包含大量参数，能够学习复杂的概念，因此可以执行更多任务。透过基于互联网规模的、各种形式和模式的海量资料进行预先训练，基础模型学会在各种语境中应用所习得的知识。尽管预训练基础模型所带来的功能和可能性已足够令人惊叹，而真正让客户为此兴奋不已的是，这些通用模型也可以被客制化加工，执行专属于其业务领域的特定功能，帮助业务建立差异化竞争优势，与从零开始训练模型相比，仅需使用一小部分资料和运算资源。客制化的基础模型可以带来独特的顾客体验，体现公司的观点、风格和服务，适用于众多消费者产业，如金融银行、旅游和医疗等。例如，一家金融公司如果需要将所有相关交易自动生成每日报告以供内部流通，它可以使用包括既往报告在内的专有资料来客制化模型，以便基础模型了解如何阅读报告和使用哪些资料来生成日报。
基础模型拥有巨大的潜力，但我们仍处在初级阶段。ChatGPT率先吸引了客户对生成式AI的关注。对生成式AI展开研究的人很快意识到，多家公司已经在基础模型上耕耘多年，可用的基础模型也有很多，且各有各的优势和特点。在过去的数年间，我们都经历了技术的快速发展，机器学习的演进也是日新月异。AWS期待未来会涌现全新的体系和架构，而基础模型的多样化会推动新一波的创新浪潮。此前所未闻的新应用体验在今天已经成为现实。很多客户都在询问我们，如何快速利用现今以及未来可能出现的技术，如何快速使用基础模型和生成式AI立刻为公司业务大幅提升生产效率和变革产品与服务。
推出Amazon Bedrock和Amazon Titan模型
借助基础模型建构和扩充生成式AI应用程式的最简单途径
客户提出了他们主要的需求。首先，他们需要能直接找到并接驳高性能基础模型，这些模型需要能够给出既匹配业务场景又优秀得回馈结果。其次，客户希望无缝与应用程序整合，且无需管理大量基础设施，也不会增加过高的成本。最后，客户希望能够轻松上手，基于基础模型，利用自己的数据（可多可少）建构差异化的应用程序。由于客户进行客制化的数据是非常有价值的 IP，因此需要在处理过程中确保数据安全和私隐保护。同时，客户还希望能控制数据的分享和使用。
听取了客户的意见，AWS 很高兴宣布推出Amazon Bedrock。这项新服务允许使用者透过API存取来自AI21 Labs、Anthropic、Stability AI和亚马逊的基础模型。Bedrock是客户使用基础模型建构和扩充生成式AI应用程式的最简单方法，为所有开发者降低使用门槛。在Bedrock上，用户可以透过可扩充、可靠且安全的AWS托管服务，存取从文本到图像的一系列强大的基础模型，以及AWS 此次发布的Amazon Titan基础模型。Amazon Titan基础模型目前包括了两个全新的大语言模型。凭借Bedrock所带来的无服务器体验，客户可以轻松找到适合自身业务的模型，快速上手，在确保资料安全和私隐保护的前提下，使用自有资料基于基础模型进行客制化，并使用他们已经熟悉的AWS工具和能力，将客制化模型整合并部署到他们的应用程式中，同时无需管理任何基础设施。比如，客户可以将基础模型与Amazon SageMaker机器学习功能整合，使用Amazon SageMaker Experiments测试不同模型和使用Pipelines大规模管理基础模型等。
客户也可使用Bedrock存取一些目前最领先的可用基础模型。这将包括AI21 Labs开发的Jurassic-2多语种大语言模型系列，能够根据自然语言指令生成文本内容，目前支援西班牙语、法语、德语、葡萄牙语、意大利语和荷兰语。还有Anthropic开发的大语言模型Claude，它是基于Anthropic对于训练诚实和负责任的AI（responsible AI）系统的大量研究，能够执行多种对话和文本处理任务。客户还可以透过Bedrock轻松存取Stability AI开发的文生图基础模型Stable Diffusion，这是文生图领域目前最流行的模型，能够生成独特、写实、高品质的图像、艺术作品、商标和其它设计图。
Bedrock最重要的能力之一是极其容易客制化模型。客户只需向Bedrock展示Amazon S3中的几个标注好的资料范例，Bedrock就可以针对特定任务微调模型，最少仅需20个范例即可，且无需标注大量资料。假设一位时装零售产业的内容营销经理，想为即将推出的手提包新品系列开发新颖且使用者导向的广告创意。他向Bedrock提供了一些表现最佳的过往营销广告示例，以及新品的相关描述，Bedrock将能自动为这些新品生成有效的社交媒体内容、展示广告和产品网页。没有任何客户资料被用于训练底层模型，所有资料都进行了加密，且不会离开客户的虚拟私有云（Virtual Private Cloud，VPC），确保客户的资料安全和私隐保护。
Bedrock目前提供有限预览，Coda.IO等客户的开发团队对使用Bedrock充满期待。Coda.IO的联合创始人兼CEO Shishir Mehrotra表示：“作为AWS的长期客户，我们对Amazon Bedrock带来的高品质、可扩充性和效能充满期待。我们所有的数据已经储存在AWS上，我们能够利用Bedrock快速采用生成式AI，并能充分保证我们数据的安全和私隐。目前，包括Uber、纽约时报、Square在内的成千上万个团队都在采用Coda，因此，可靠性与可扩充性十分重要。”
一些客户已经预览了亚马逊全新的Titan基础模型，在未来几个月内，AWS 会进一步扩充其可用范围。AWS将首先发布两个Titan模型。第一个是针对总结、文本生成（如原创博客文章）、分类、开放式问答和资讯撷取等任务的生成式大语言模型。第二个是文本嵌入（embeddings）大语言模型，能够将文本输入（字词、短语甚至是大篇幅文章）翻译成包含语义的数值表示（即embeddings 嵌入编码）。虽然这种大语言模型不生成文本，但对个性化推荐和搜寻等应用程式却大有裨益，因为相对于匹配文字，对比编码可以帮助模型产生更相关、更符合情境的结果。实际上，Amazon.com的产品搜寻能力就是采用了类似的文本嵌入模型，能够帮助客户更好地查找所需的商品。为了持续推动负责任使用AI的最佳实践，Titan基础模型可以识别和删除客户提交给客制模型之资料中的有害内容，拒绝使用者输入不当内容，也过滤模型输出结果中的不当内容，如仇恨言论、脏话和语言暴力。
任何规模的企业都可以透过Bedrock存取基础模型，加速机器学习在组织内部的应用，并凭借其轻松上手的特性，建构自己的生成式AI应用程序。AWS 相信，Bedrock将是基础模型普及化过程中的一大步。埃森哲、德勤、Infosys和Slalom等合作伙伴都在建构最佳实践，帮助企业借助生成式AI实现快速发展。C3AI和Pega等独立软件供应商（ISV）对于利用Bedrock轻松存取大量基础模型，兼具安全性、私隐性和可靠性充满期待。
宣布Amazon EC2 Trn1n和Amazon EC2 Inf2执行个体正式可用
最具成本效益的生成式AI云端基础设施
无论执行、建构还是客制化基础模型，客户都需要高效能、低成本且为机器学习专门建构的基础设施。过去五年，AWS持续加大投入自研芯片，不断突破效能和价格的极限，以支持对此有极高要求的机器学习训练与推理等工作负载。AWS Trainium和Inferentia芯片可以提供在云上训练模型和执行推理的最低成本。正是因为AWS 在成本和效能方面的优势，像 AI21 Labs、Anthropic、Cohere、Grammarly、Hugging Face、Runway、Stability AI 等领先的AI新创公司都选择执行在AWS上。
由Trainium支援的Trn1执行个体与其他任何EC2执行个体相比，都可以节省高达50%的训练成本，并经过优化，可以在与高达800Gbps的第二代EFA（弹性结构适配器）网络相连的多个服务器上分发训练任务。客户可以在超大规模集群（UltraClusters）中部署Trn1执行个体，数量可以扩充到在同一可用区中3万个Trainium芯片，相当于超过6 exaflops的运算能力，并具有PB级网络。许多AWS客户，包括Helixon、Money Forward和亚马逊的搜索团队，都使用Trn1执行个体将训练最大规模的深度学习模型，所需的时间从几个月缩短到几周甚至几天，并且降低了成本。800 Gbps的频宽已经很大，但AWS 仍不断创新、扩充频宽。AWS 宣布全新的、网络优化型Trn1n执行个体正式可用，它可以提供1600 Gbps的网络频宽，专为大型网络密集型模型设计，其效能比Trn1高出20%。
现今基础模型花费的时间和金钱主要用于训练，这是因为许多客户才刚刚开始将基础模型部署到生产中。但是，未来，当基础模型进入大规模部署时，大部分成本将用于执行模型和进行推理。客户通常会定期训练模型，于是生产应用程序会不断生成预测（称为推论）——每小时可能生成数百万预测。而且这些预测需要即时发生，这就需要极低延迟和高输送量的网络。Alexa就是一个典型的例子，它每分钟都会接受数百万次请求，处理这些请求占所有运算成本的40%。
AWS 相信，未来大部分机器学习成本将来自推理的执行。因而，几年之前，当AWS 开始研发新型芯片时，就已经将推论优化型芯片置于首位。2018年，AWS 发布了首款推论专用芯片Inferentia。每年，亚马逊都运用Inferentia执行数万亿次推论，并节省数亿美元成本。这是十分显著的成果，然而AWS认为继续创新的空间依然很大，因为随著越来越多的客户将生成AI整合到他们的应用程序中，工作负载的规模和复杂性只会越来越大。
因此，AWS 宣布由AWS Inferentia2提供支援的Inf2执行个体正式可用，这些执行个体专门针对执行数千亿个参数模型的大规模生成式AI应用程序进行了优化。与上一代相比，Inf2执行个体不仅输送量提高了4倍，延迟降低了10倍，还可实现加速器之间的超高速连接以支持大规模分散式推论。与同类Amazon EC2执行个体相比，这些能力将推理性价比提高了40%，并把云中的推理成本降到最低。与同类Amazon EC2执行个体相比，Runway等客户有望利用Inf2将部分模型的输送量提升至原来的两倍。受益于高效能和低成本的推理，Runway能够引入更多功能，部署更复杂的模型，并最终为自己的数百万用户提供更优质的体验。
宣布CodeWhisperer正式可用，并针对个人开发者免费开放
对客户而言，利用正确的基础模型进行建构，并在最佳效能的云端基础设施上大规模执行生成式AI应用程序，将带来颠覆性变革。同时，这也将带来革命性的全新用户体验。当应用程序或系统具备内建的生成式AI能力时，用户可以获得更自然、更流畅的交互体验。这就如同现今手机的人脸识别解锁功能，我们无需了解这一功能背后强大的机器学习模型，却可以做到看一眼手机就解锁了。
程序设计将是生成式AI技术可快速应用的领域之一。现今，软件开发者需要花费大量时间编写相当浅显和无差别的代码。他们还需要花费不少时间学习复杂的新工具和技术，而这些工具和技术总在不断演进。因此，开发者真正用于开发创新的功能与服务的时间少之又少。为应对这一难题，开发者会尝试从网上复制代码片段再进行修改，但可能无意中就复制了无效代码、有安全隐患的代码、或对开源软件的使用没有进行有效的追溯。而且这种搜寻和复制的方式也浪费了开发者用于创新的时间。
生成式 AI 可以透过“编写”大部分无差别的代码来大大减少这种繁重的工作，让开发人员能够更快地编写代码，同时让他们有时间专注在更具创造性的程序设计工作上。 因此，AWS 去年宣布推出了 Amazon CodeWhisperer 预览版，这是一款 AI 程序设计助手，透过内嵌的基础模型，可以根据开发者用自然语言描述的注释和整合式开发环境（IDE）中的既有代码即时生成代码建议，从而提升开发者的生产效率。开发人员只需要向 CodeWhisperer 提出任务命令，例如“解析一个含有歌曲资讯的 CSV 字串”，并要求它回传一个基于艺术家、标题和排行榜最高排名等资料的结构化清单，CodeWhisperer 就可以解析字串并回传指定的清单，从而大幅提升工作效率。CodeWhisperer 预览版发布后得到了开发者们的热烈回应。AWS 始终相信，帮助开发人员编写代码可能成为未来几年生成式 AI 得以发挥巨大效力的应用场景之一。 在预览期间，AWS 还进行了一项生产力测试，与未使用 CodeWhisperer 的参与者相比，使用 CodeWhisperer 的参与者完成任务的速度平均快57%，成功率高 27%。这是开发人员生产力的巨大飞跃，而我们相信这才仅仅是个开始。
Amazon CodeWhisperer正式可用，在适用 Python、Java、JavaScript、TypeScript 和 C#之外，新增支持Go、Kotlin、Rust、PHP 和 SQL等10 种开发语言。开发者可以透过在VS Code、IntelliJ IDEA、AWS Cloud9等整合式开发环境中的AWS Toolkit IDE外挂程序使用 CodeWhisperer。 CodeWhisperer 也可在AWS Lambda控制台中使用。除了从数十亿行公开程式码中学习之外，CodeWhisperer 也基于亚马逊的代码进行了训练。 AWS 相信 CodeWhisperer 是目前为AWS（包括 Amazon EC2、AWS Lambda和Amazon S3）生成代码的最准确、最快和最安全的方式。
如果生成式 AI 工具建议的代码包含隐藏的安全性漏洞或未能负责任地处理开原始代码，开发人员则无法真正提高工作效率。CodeWhisperer是唯一具有内建安全扫描功能（透过自动推论实现）的 AI 程序设计助手，用于查找难以检测的漏洞并提出补救建议，例如十大开放式Web应用程序安全专案（OWASP）中的漏洞，以及不符合加密库最佳实践的漏洞等。为了帮助开发人员以负责任的方式开发代码，CodeWhisperer会过滤掉可能被认为有偏见或不公平的代码建议，同时，由于客户可能需要参考开源代码或获得其使用许可，CodeWhisperer 是唯一可以过滤和标记类似开源原始代码之生成结果的程序设计助手。
AWS 相信生成式AI将改变开发者的游戏规则，因此希望它能尽可能被更多人所用。 所以，CodeWhisperer将开放所有个人用户免费使用，并不设任何次数或使用时间的限制！任何人都可以透过email帐户在几分钟内注册 CodeWhisperer进行使用，而无需具备AWS帐号。对于企业客户，AWS 则提供了CodeWhisperer 专业版，其中包括更多高级管理功能，如整合了AWS Identity and Access Management（IAM）身份与存取管理服务的单点登录（single sign-on，SSO），以及使用更高程度的安全扫描。
建构像 CodeWhisperer 这样强大的应用程序，对开发人员和AWS 所有的客户来说，都带来巨大的变革性。AWS 还有更多创新的产品在规划中，也期待更多的客户和开发者在AWS上建构更加创新和颠覆性的生成式AI应用。AWS 的使命是，让各种技能水准的开发人员和各种规模的组织都有机会使用生成式AI进行创新。AWS 相信，新一波机器学习技术创新才刚刚开始、方兴未艾，未来还有无限可能。
