市场定义/描述
Gartner将云AI开发者服务(CAIDS)定义为云托管或容器化服务。即使不是数据科学专家,软件开发者也能够凭借此项服务,通过API、软件开发工具包(SDK)或应用程序使用人工智能(AI)模型。核心能力包括自动化机器学习(autoML)、自动数据准备、特征工程、自动模型构建和模型管理。可选和重要的互补能力包括语言和视觉服务,如情感分析和图像生成。
我们对CAIDS市场的看法侧重于每个供应商满足最终用户未来需求的能力。只提供语言服务或视觉服务的供应商,以及只专注于特定用例的供应商,均不在这个魔力象限的分析范围内。
魔力象限
图1:云AI开发者服务魔力象限
Gartner依照市场变化审查并调整了魔力象限的入选标准。由于上述调整,任何魔力象限中的供应商组合可能随着时间的推移而变化。若某一年魔力象限中出现某供应商但第二年无该供应商,这并不必然表明我们已经更换了该供应商。这种情况可能是市场变化和评估标准变化或该供应商重心变化的反映。
摒弃的供应商
-
Aible:Aible被排除在外是因为它的上市推广战略并不关注专业软件开发者这一角色。
-
Dataiku:Dataiku被排除在外是因为它的上市推广战略并不关注专业软件开发者这一角色。
-
Prevision.io:Prevision.io已被Density收购,不再在CAIDS市场提供产品。
入选和排除标准
要获得入选此魔力象限的资格,每个供应商都必须符合以下要求:
核心能力
自动化机器学习服务
利用自动化机器学习服务,开发者可以创建自定义模型或补充模型,以便与现有的通用服务结合使用。以下各项服务使不具有重要机器学习(ML)或数据科学技能的开发者能够定制供应商提供的ML服务或构建专用ML:
-
自动数据准备 — 这些服务可以准备用于训练模型的数据集。这些服务可以从组织提供的原始数据中清理和扩充数据集,并且可以支持实现数据可视化。
-
特征工程 — 这些服务自动评估数据并将元数据添加到提交给提供程序的数据集中。这种扩充可以通过众包功能或ML模型来完成。此项功能还便于对特征进行自动检测和分类,以及根据现有特征生成新特征。
-
自动模型构建 — 这些模型要求开发者提供可用于训练模型的数据集,以及元数据标签,这些标签需要具有开发者希望模型经过训练后能识别的属性。他们还必须确定他们建模来预测的变量。这些服务分析数据,然后推荐或选择可用于构建和优化模型的潜在最佳算法。此类服务通过调整模型的超参数来自动优化模型的性能和准确性。此类服务还可以混合算法来优化模型性能。
-
模型管理/操作化 — 这些服务可以提供模型加工/编排功能,以自动构建ML管道,范围涵盖模型训练、部署、监控和管理投产模型。此类服务还可以为所创建的模型打包和提供基础架构,如Kubernetes容器。此类服务还应该自动创建访问模型所需的API。此项能力便于开发者监控测试和生产环境中的模型,以评估模型性能和模型漂移。此服务可以自动再训练模型,并提供用更好的模型替换过时模型的配置。其他功能可能包括针对模型值的业务关键绩效指标(KPI),以及评估影响模型性能的数据质量的能力。
-
负责任AI — 这些服务分析数据集的潜在偏差、可解释性和可诠释性:
-
自动偏差检测/补偿 — 这些服务分析用于训练AI和ML模型的数据集,以消除来自不平衡样本(由过采样造成,包含由监管限制造成的特别禁止的数据)或其他来源的潜在偏差。
-
可解释性 — 这些服务解释模型的运作,例如,参数、用于给定模型输出的参数的权重以及模型中采用的算法方法。
-
可诠释性 — 这些服务解释模型如何以开发者和其他普通用户可以理解的方式得出输出结果。
可选功能
语言服务
语言服务可以包括:
-
自然语言处理/理解 — 此服务涵盖令牌化、词性(POS)标记、词干提取、检索词频率与逆文档频率(TF-IDF)和其他文本处理功能。自然语言理解是处理机器理解的自然语言处理的一个子集。它接受文本输入并从文本中提取元数据。元数据提取很简单,但理解文本输入者的意图并非易事,并通常需要借助补充模型。
-
语音转文本 — 此服务是计算语言学的一个子集,它将模拟输入转换为文本输出。这种文本输出可以是最终产品,开发者也可以将其输入到自然语言理解模型中,以便提取元数据。个人电脑和智能手机等许多计算设备都有内置自动语音识别(ASR)功能。
-
自然语言生成 — 此服务根据机器表示创建自然语言,例如,知识库中的概念、数据集或最简要描述;也根据逻辑表单创建自然语言,例如,生成给客户的信函的退货表单。此服务本质上是将数据转换为自然语言文本。
-
文本转语音 — 此服务将文本输入转换为模拟输出/语音。
-
翻译 — 此服务从源语言获取文本输入并将其转换为目标语言。这是一项具有挑战性的任务,因为不同的语言有不同的结构。它不像把一个词从一种语言翻译成另一种语言中对应的词那么简单。
-
情感分析 —此服务根据开发者在对话或社交模型中输入的词语来分析语言的积极、消极或中立情绪。可以通过分析模拟输入音调的其他服务完善这些服务。
-
文本分析 — 此服务分析非结构化文本以提取概念、主题和关键字属性等元素,并将这些元素添加为元数据。
视觉服务
视觉服务可以包括:
-
图像识别/标注 — 此服务通常识别图像中包含的物体或人物。有些服务还可以识别图像中的其他属性,如颜色或图案。此服务使开发者能够识别图像中是否有人物或其他感兴趣的项目,添加用于对图像进行分类或标记的元数据,并提交用于标注的图像数据集。
-
视频AI — 此服务通常结合图像识别和ASR来识别视频中的人物和其他物体,并为音频创建转录文本。有些服务还可以在视频的多个帧中追踪人物的移动。
-
启用机器学习的光学字符识别(OCR) — 该服务将打字、手写、打印文本或图像或视频中文本的电子图像转换为机器编码文本,并将元数据添加到内容中。此服务还借助ML,根据内容对给定字段中的信息进行分类。
-
图像生成 — 此服务构建类似于给定图像集的图像或基于词语提示构建图像。合成数据是图像生成的一种常见用途。
我们排除符合以下情况的任何供应商:
荣誉提名
Live Tech SRL:Live Tech SRL提供LOKO AI IDE,这是一种低代码和纯代码的开发环境,可供数据科学家和软件工程师轻松拖放数据源、算法和工作流程,以构建模型并开展操作。这家供应商提供与大型云提供商的集成,以获取常见存储服务并实现模型部署。支持使用R和Python对自定义扩展进行编码,并可将这些扩展作为简单的构建块集成到LOKO AI IDE中。LiveTech SRL还提供可在本地使用的社区版本。为特定行业用例提供范围有限的预构建模型,而且技术仍在不断成熟。
Hugging Face: Hugging Face:Hugging Face推出了名为 “Hub”的开放平台,这一平台的目标领域是人工智能(AI)和机器学习(ML),适用范围广泛。下面这些产品均构建于Hugging Face Hub平台,旨在使提高先进机器学习的可及性。Inference Endpoints可助力社区在全管理型专用基础架构上快速部署自定义模型或超过200,000个预训练转换器、句子转换器或扩散器模型。利用AutoTrain,用户无需代码即可创建强大的AI模型。最后,Hugging Face专家会为公司提供直接指导和实际帮助,以加速执行公司的机器学习路线图。
评估标准
执行能力
本魔力象限中使用的执行能力标准如下(关于Gartner使用这些标准进行评估的信息来源,请参阅“依据”部分):
-
产品或服务:此标准旨在根据供应商的RFP响应和视频提交内容,评估供应商的CAIDS产品在关键能力领域的竞争力和成功程度。产品权重高,其原因在于至关重要的最终用户价值,这种价值是由学习和采用自动化机器学习、语言和视觉服务并将这些服务应用于创新和智能化企业应用程序和系统的能力所产生的。
-
整体可行性:这一标准涉及组织的财务状况和模式,因为它与CAIDS相关。该标准还衡量现有和潜在客户对供应商可能的未来相关性的看法。
-
销售执行/定价:这一标准涵盖供应商在销售活动中的能力。它包括供应商方面的总体评估和合同谈判/灵活性以及客户获得的价值。
-
市场响应速度/记录:这一标准使用一套平衡的指标来衡量供应商在全球市场上的发展势头和成功程度。
-
客户体验:这一标准关注客户在购买后与供应商合作的体验。衡量因素包括高质量第三方资源(如集成商和服务提供商)的可用性、最终用户培训和认证的质量和可用性,以及对等用户社区的质量。
-
运营:这一标准关注供应商对客户的支持程度以及软件的可靠程度。
表1:执行能力评估标准
评估标准 |
权重 |
产品或服务
|
高
|
整体可行性
|
中
|
销售执行/定价
|
中
|
市场响应速度/记录
|
中
|
营销执行
|
中
|
客户体验
|
中
|
运营
|
中
|
|
来源:Gartner(2023年5月)
愿景完整性
本魔力象限中使用的愿景完整性标准如下(关于Gartner使用这些标准进行评估的信息来源,请参阅“依据”部分):
-
对市场的了解:这一标准关注CAIDS供应商与软件工程领导者不断变化的需求的契合程度,以及其客户对最新和新兴功能的使用范围。
-
营销战略:该标准考虑供应商是否有一套清晰的信息来传达其在CAIDS市场中的价值和优势,以及该供应商是否正在产生对其优势的认知。
-
销售战略:这一标准关注供应商的销售方法在多大程度上受益于鼓励客户评估其CAIDS产品的一系列选项和驱动因素。
-
产品战略:Gartner评估了供应商支持未来将创造商业价值的关键趋势的能力。根据每个供应商提出的路线图,有助于促成这些趋势的现有和计划中的产品和功能将计入供应商在该标准上的得分。供应商路线图能够展现各个供应商的特点,并能够凸显当前进展与路线的偏离程度,而且这一标准的权重很高,原因在于该市场变化迅速并需要优先予以执行。
-
垂直/行业战略:这一标准衡量供应商通过模板或打包的数据和分析内容可以满足各行业需求的程度。供应商一直在投资他们的垂直战略,因为各个组织正在设法构建AI来解决他们特定业务领域内的问题。因此,这一标准的权重很高。
-
创新:这一标准衡量供应商在多大程度上为生成式AI能力投资、扩展其自动化机器学习技术的价值和提供独特能力。该标准评判供应商是否正在树立可供其他供应商效仿的创新标准。这个市场的创新速度很快,所以这一标准的权重很高。
-
地区战略:这一标准衡量供应商在全世界的覆盖情况如何。
表2:愿景完整性评估标准
评估标准 |
权重 |
对市场的了解
|
中
|
营销战略
|
中
|
销售战略
|
中
|
产品战略
|
高
|
业务模式
|
中
|
垂直/行业战略
|
高
|
创新
|
高
|
地区战略
|
中
|
|
来源:Gartner(2023年5月)
象限描述
领导者
领导者在所有三个关键服务领域都有稳健的产品:自动化机器学习、语言和视觉。他们可以通过API提供CAIDS产品,开发者无需掌握数据科学专业知识,也可使用。领导者还提供支持能力,以增强其核心服务,包括自动偏差检测和缓解、特征工程、自然语言处理、图像标注、MLOps以及可解释和可诠释的AI。领导者在多个地区提供服务,支持多种语言。
挑战者
挑战者通常是资产雄厚的大型企业。挑战者拥有资源,可对其CAIDS服务进行投资,但在清晰表达产品愿景并将愿景与市场需求相匹配的能力方面,可能存在不足。挑战者可能在地区或全球范围内经营业务。他们甚至可能在一个地区占据主导地位。
前瞻者
前瞻者渴望在CAIDS市场上参与竞争,并拥有取得成功所需的资源,但他们尚未提供有竞争力的服务组合。前瞻者通常只提供市场所需整体服务的其中一部分,并打算扩大服务,以便与领导者竞争。
利基企业
与领导者和挑战者相比,利基企业通常专注于更小范围的AI服务。有的利基企业规模较小,资源有限,难以对自己的服务进行投资,也无法向本国以外的地区扩张。有的利基企业是大型组织,但在创建和执行具有吸引力的产品路线图方面遇到困难。
背景
软件工程领导者应该从多个方面评估CAIDS供应商的能力,包括:
-
负责任AI:为了响应客户日益提高的期望,大多数CAIDS供应商都在加大投资,完善负责任AI组件。
-
模型组合管理:供应商越来越多地对AI能力进行产品化和工业化,将AI能力融入到支持治理、可重用性、可扩展性和审计的平台中。
-
预构建模型和可定制性:CAIDS供应商正在扩展他们针对特定垂直领域的预建模型集合,以普及AI/ML增强软件的开发。
-
模型创作技术:供应商目前使用开源和开放数据库并为之做贡献,并为软件开发者提供涵盖命令行界面(CLI)、SDK和低代码方法等方面的模型创作能力。
-
部署灵活性:有些供应商的部署方式十分灵活,而另一些供应商会限制团队部署模型的位置。
供应商之间的关键区别在于他们在负责任AI、生成式AI能力、语言和地理支持以及模型部署灵活性方面的成熟程度。
在选择自动化机器学习服务时,软件工程领导者应该优先考虑在内置偏差检测功能和可解释的透明模型方面表现出色的供应商。使用具有这些功能的CAIDS有助于团队构建负责任且更合乎道德的AI解决方案。模型的整个生命周期耗时不短,并需要持续投资。 软件工程团队需要提高使用这些工具的技能和熟练度,包括在数据获取、特征工程、模型创作和性能改进等领域。
除了获取数据和创作新模型外,软件工程领导者还必须帮助他们的团队学习支持ModelOps所需的技能(参见“MLOps、ModelOps和DevOps协调要求”)。随着开发者越来越熟悉AI和ML模型以及可以添加到应用程序中的功能,他们将越来越多地承担ModelOps的部分或全部责任。具体包括:
-
监控和管理部署ML模型的应用程序中的ML模型
-
从非结构化文本或数据资产中提取信息(或向该等文本或资产添加元数据)
-
使用自动化机器学习服务来构建用于给出后续最佳操作的ML模型,实现文档处理分类和自动化或实现业务工作流决策的自动化
-
评估模型在道德问题和缓解偏差方面的表现
-
在更为关注功能重用和大型模型组合管理的更大的社区中使用
软件工程领导者还必须让自己和其他利益相关者了解负责任AI的必要性,以及围绕AI使用的道德和隐私问题。他们应该推动建立负责AI隐私、安全和风险的特别工作组。Gartner的《2021年组织中的人工智能研究》发现,拥有AI隐私、安全和风险特别工作组的组织将更高比例的AI概念验证转化为生产,也从AI投资中获得了更多价值。
市场概况
生成式AI的最新进展强烈激发了软件工程领导者和商业领导者对AI技术的巨大兴趣。向Gartner提出的有关生成式AI的咨询数量同比增长超过1,300%。AWS、Microsoft和Google是社交媒体上热议的CAIDS供应商。1 到2025年,AI软件市场的收入预计将达到1,348亿美元,复合年增长率为29.2%,增速是整个软件市场增长速度的两倍多。2 2023年,许多公司就此发表了声明,宣布将继续塑造今年和未来的市场。3,4,5,6
尽管软件工程领导者对AI的潜力充满期待,但这种热情尚未促使新兴AI技术得到主流采用。在《2022年Gartner技术创新投资调查》中,参与者表示,AI是他们尚未部署但预计在未来五年内特别重要的领先技术。此项调查还发现,在许多新兴AI技术中,负责任AI是采用人数最少的技术之一(只有13%的受访者已经部署此项技术)。
软件工程领导者面临的阻碍AI技术采用的一个主要障碍是团队内部缺乏这方面的技能。《2022年Gartner技术创新投资调查》还发现,对于每一项新兴AI技术,缺乏相关技能始终是妨碍采用这些技术的最大限制因素,其比重超过了资金、法律、客户或员工阻力以及不明确的投资回报率等其他因素。软件工程领导者迫切需要雇佣这方面的人才并提升现有员工的技能,以便团队能够构建、维护和操作机器学习模型。
云AI开发者服务(CAIDS)是必不可少的工具,此类服务可以减轻软件工程团队所需要付出的努力和技能提升。CAIDS供应商目前提供一些功能来帮助弥合技能差距,包括:
-
数据准备
-
特征工程
-
自动化机器学习构建
-
在生产环境中部署,并在其中进一步监控漂移和调整
-
监测准确性、性能和道德问题
CAIDS使软件工程团队能够构建新一代应用程序
CAIDS不会取代软件工程师。相反,这些服务增强了团队的能力,使他们能够以全新的方式运用他们的应用程序、数据和技术技能。
CAIDS使软件工程师能够构建更具预测性和智能化程度更高的功能,从而更好地满足用户需求。CAIDS为软件工程团队提供创建和自定义ML模型所需的自动化机器学习能力。软件工程团队目前使用ML模型来增强现有应用程序的功能,并创建全新类型的应用程序。ML模型能够对信息进行分类、预测趋势、评估风险,并在所有功能领域和工作流程中实现流程自动化。
CAIDS对于构建集成的MLOps管道也是必不可少的,在这类管道中,软件工程团队不必组装单个的工具,也无需弄清楚如何组合使用这些工具。这种自动化管道可以使开发者更快、更有效地交付全新和增强的应用程序功能。
软件工程领导者可以使用单个提供自动化机器学习、语言和视觉服务的CAIDS供应商,以此简化操作的复杂性并从中受益。这种方法可以改善开发者的体验,并使团队顺畅地游弋于不同服务之间,从而简化团队的工作流程。然而,使用多个供应商并非不可能。专注于自动化机器学习的规模较小的供应商可以提供与您的用例紧密结合的服务和能力,并且他们可以提供最大的价值。
CAIDS供应商正在扩大和改善他们的服务
在过去一年里,CAIDS供应商极大地扩展了他们针对垂直解决方案的预构建ML模型库,并大幅完善了对这些解决方案的支持。供应商在教育、生命科学、专业服务、交通运输、银行和金融等领域提供更多预构建模型,进一步普及了AI。向Gartner提出的关于生成式AI的咨询同比增长超过1,300%,CAIDS供应商一直在宣布推出全新的生成能力并公开跨视觉和语言用例的合作伙伴关系。
CAIDS供应商也在改进其在三个关键用例中的能力:
-
自动化机器学习:规模较小的供应商继续引领自动化机器学习能力的创新,但大型供应商正在迎头赶上。供应商正在扩展机器学习模型的性能和准确性,专注于提供增强可解释性、透明度和减少偏差的功能。供应商也在细调软件工程团队需要的核心自动化机器学习功能,以便在生产环境中快速开发、部署和维护模型。
-
语言:供应商正在开发大量语言模型,这些模型可以提供更广泛的高质量语言服务。各大云供应商正在使用他们庞大的计算基础架构来开发专有的语言模型。规模较小的供应商正在使用开源软件、数据和机器学习模型来努力与之抗衡。
-
视觉:几乎每个CAIDS供应商都改进了自己的视觉能力。在过去一年里,计算机视觉在中国的广泛应用推动了总部设在中国的供应商实现巨大的改进。OpenAI于2022年发布了DALL-E 2,这为CAIDS供应商当前的执行计划、合作伙伴关系和路线图方向增加了投资、关注和创新。
我们期望CAIDS供应商提高模型部署的灵活性,改进模型组合管理和负责任AI,以及提供更多使用生成式AI的能力和服务,从而实现成长和发展。
依据
1 经认可的方法:Gartner利用第三方数据工具进行社交媒体监测分析,以对本文档中介绍的其他事实基础进行补足或补充。鉴于研究结果的定性和不可分割性,这些结果不应与本研究的其余部分分开使用。不应仅从这一数据得出结论。所参考的社交媒体数据取自于2021年1月1日到2023年2月20日期间,来源包括所有地区(中国除外)和合规语言的数据。社交媒体分析团队的Fahim Talmeez为本研究作出了贡献。
2 预测分析:人工智能软件,Worldwide
2021年Gartner针对组织中的人工智能调查。本调查的目的是了解成功实现AI的关键因素和AI操作化的障碍。Gartner于2021年10月至12月期间对来自美国、德国和英国组织的699名受访者进行了本次在线调查,同时对本次调查设立了配额,以确保样本在各个行业和公司规模中具有良好的代表性。所调查的组织必须是会在未来三年内开发或打算部署AI。受访者必须是该组织企业领导层的一员或承担企业领导角色,并高度参与至少一项AI计划。受访者还必须在其组织中担任以下与AI相关的角色之一:确定AI业务目标,衡量AI计划产生的价值或管理AI计划的制定和实施。免责声明:本次调查的结果并不代表“全球”调查结果或整个市场,而是反映了受访者和受访企业的观点。
2022年Gartner技术创新投资调查。本研究旨在确定围绕关键技术采用的态度和过程以及负责技术采用的角色。本研究还探讨了与这些技术相关的各种挑战和影响。Gartner于2022年5月至6月期间对164名受访者进行了本次在线调研,这些受访者分别来自北美州(92人;美国和加拿大)、欧洲(40人;英国)和亚太地区(32人;澳大利亚和新加坡)。 调查结果来自2021年企业年收入在5,000万美元或以上的受访者。调查的行业包括银行业/投资服务业、院校、能源、政府、医疗保健、IT、保险、制造业、自然资源、零售、服务、通信服务提供商、交通运输、公用事业和批发。调查对在以下方面对受访者进行了筛选:受访者职衔、公司规模、工作职责(必须重点从事与IT或业务相关的任务)、对公司内特定创新技术决策的认识、与特定技术相关的知识的准确性以及技术部署时间框架。免责声明:本次调查的结果并不代表“全球”调查结果或整个市场,而是反映了受访者和受访企业的观点。
评估标准定义
执行能力
产品/服务:由供应商为既定市场提供的核心产品和服务。这包括当前的产品/服务能力、质量、功能集、技能等,无论是自营,还是通过按照市场定义和子标准中详细定义确定的OEM协议/合作伙伴提供,均计入其中。
整体可行性:可行性包括对组织整体财务状况的评估,以及对业务部门的财务和实际成功情况的评估,还有单个业务部门持续对产品进行投资、持续提供产品以及在组织的产品组合中提高工艺水平的可能性。
销售执行/定价:供应商在所有售前活动中的能力以及支持这些活动的结构。其中包括交易管理、定价和谈判、售前支持以及销售渠道的整体有效性。
市场响应速度/记录:随着机会的发展、竞争对手的行动、客户需求的演变以及市场动态的变化,做出响应、改变方向、保持灵活性并取得竞争成功的能力。该标准还考虑了供应商响应的历史记录。
营销执行:计划的清晰度、质量、创造性和有效性,这些计划旨在传递组织的信息以影响市场、推广品牌和业务、提高产品知名度,以及在买家心中树立产品/品牌和组织的正面形象。这种“品牌影响力”可以通过宣传、促销活动、思想领导、口头宣传和销售活动来推动。
客户体验:能够让客户通过所评估产品获得成功的关系、产品和服务/计划。具体来说,这包括客户获得技术支持或客户支持的方式。可能还包括辅助工具、客户支持计划(及其质量)、用户组的可用性和服务级别协议等。
运营:组织达成其目标和承诺的能力。影响因素包括组织结构的质量,其中包含技能、经验、计划、系统,以及使组织能够持续有效且高效地开展运营的其他工具。
愿景完整性
对市场的了解:供应商能了解买家的愿望和需求并将其转化为产品和服务。供应商对其市场表现出清晰的愿景,愿意倾听并了解客户的愿望和需求,以及用自己增加的愿景来塑造或增强市场变化。
营销战略:在组织内部或通过网站、广告、客户计划和定位声明向外部持续传达的清晰、与众不同的宣传信息。
销售战略:产品销售战略,运用恰当的直接或间接销售网络、营销、服务和通信附属机构来延伸所涉市场、技能、专业知识、技术、服务和客户群的广度及深度。
产品战略:供应商用于产品开发和交付的方法,强调市场优势、功能性、方法和功能集,因为它们反映了当前和未来的需求。
业务模式:供应商内在业务主张的合理性和逻辑性。
垂直/行业战略:供应商的战略,用于引导资源、技能和产品来满足个别细分市场的特定需求,包括垂直市场。
创新:用于投资、合并、防御性或先发制人这些目的的资源、专业知识或资本的直接、相关、互补和协同性布局。
地区战略:供应商引导资源、技能和产品的战略,其目的是满足“本土”或本地区域以外地区的特定需求,可以直接实现,也可以通过合作伙伴、渠道和子公司来实现,视当地情况和市场情况而定。