MLOps铸造模型高质效交付新范式——模型交付标准解读之构建集成

可信AI评测 2023-07-27 10:10:02

背景介绍

 

为打造AI模型开发、交付以及运维过程中自动化的工作流程,保障业务流程稳定且持续运营,诸多行业正积极部署和落地MLOps研发运营体系,加快释放智能化转型潜力,从而推动AI规模化应用的步伐。中国信通院云计算与大数据研究所联合业界30余家单位已发布业内首个AI模型交付标准《人工智能研发运营一体化能力成熟度模型 第二部分:模型交付》(以下简称“MLOps模型交付”标准),目前本标准的首批试评估工作正在紧锣密鼓开展中。

 

评估价值

 

MLOps系列标准的评估适合正在进行智能化转型或升级的组织,它针对机器学习等AI模型研发运营项目,以规模化生产高质量和低风险的AI模型为目标,全方位推动AI项目的管理能力建设。本项评估主要基于“MLOps模型交付”标准,重点关注模型及其服务的交付过程(包括构建、集成、部署、发布、测试等环节)的管理,帮助企业精确判断其交付能力现状,即评价AI项目在交付环节对高效率、快速响应、迭代等多元需求的应对能力,并诊断自身的缺点和不足。同时,通过评估可提供具有针对性的改进方向和提升路径,从而推动企业级AI工程化能力的提升。

 

MLOps模型交付 标准全貌

 

“MLOps模型交付”标准包含构建集成、部署发布、模型测试、配置管理、度量改进共5个能力子域、10个能力项、28个能力子项和300余个细分能力要求,具体结构如下:

 

图片

MLOps模型交付标准结构

 

本文是“MLOps模型交付”标准解读系列的第一篇文章,后续文章将对其他能力子域进行持续解读。

 

构建集成能力子域解读

 

持续的构建集成通过高效的模型构建、自动化的测试、可视化的集成过程及灵活的反馈问题机制,解决机器学习等AI项目中开发与测试环境不一致、集成过程混乱无序、测试不充分、集成效率低下等问题,从而确保模型在后续部署上线的敏捷快速和安全可靠。

 

构建集成是指将代码、模型、配置等要素进行构建打包和集成测试,生产出可交付物(例如形态有部署包、镜像等)的过程,涵盖模型构建(模型训练过程)和模型服务构建。构建集成包括构建管理和持续集成两个部分。

 

 
(一)构建管理

 

针对构建模型过程中存在的配置易出错、过程难追踪等方面的问题,本标准的构建管理围绕自动化、可视化、可追溯等原则,对模型构建打包过程提出必要的技术和管理要求,有助于提高构建过程的执行质效。

 

构建管理聚焦由数据、代码、模型、配置等内容变更而触发的训练、编译、打包和面向目标环境适配的过程。构建管理包括构建过程、构建计划、模型转换与优化(若有)三个部分。

 

  • 构建过程:将代码或模型转换成可交付物的过程,并对构建依赖的环境、用户、软硬件等参数配置进行管理。

  • 构建计划:对构建过程进行规划和设计,包括构建的类型、触发方式、执行周期等内容。

  • 模型转换与优化:根据需要,通过技术手段对模型进行转换、压缩、编译优化等,以优化模型大小,降低计算资源消耗,提高模型适配性和稳定性。

 

下图以构建过程作为示例,展示从1级到5级不同级别的细分能力要求:

 

图片

 

 
(二)持续集成

 

模型的构建和集成往往需要频繁集成代码、模型等交付物,以实现用户无感知的版本更新,而这种敏捷迭代背后隐藏了巨大风险隐患。本标准的持续集成围绕自动化、可测试、可闭环、可持续性等原则,对于集成过程提出细粒度的要求,有助于发现潜在风险并及时反馈和修复问题,提升模型交付质量及交付速度。

 

持续集成(CI)是指在版本控制基础上,当数据、代码、模型、配置等发生变更时,快速地构建编译和集成测试等。持续集成包括集成过程、集成反馈两个部分。

 

  • 集成过程:对构建、模型转换与优化、静态扫描、测试验证等过程进行集成和管理,生成持续集成流水线,并对流水线执行过程进行验证。

  • 集成反馈:对集成问题的反馈机制和解决时长进行管理,提高集成效率。

 

下图以集成过程作为示例,展示从1级到5级不同级别的细分能力要求:

 

图片

 

写在最后

 

截至发稿日,已有多家企业报名了《人工智能研发运营一体化能力成熟度模型 第1部分:开发管理》和《人工智能研发运营一体化能力成熟度模型 第2部分:模型交付》的评测,欢迎更多参评企业与我们联系。

 

《人工智能研发运营一体化(Model/MLOps)能力成熟度模型 第3部分:模型运营》标准编制已进入组间交叉评审阶段,欢迎更多行业专家的加入,提出宝贵意见。

 

请联系:

胡老师

17371328072(微信同号

huhui@caict.ac.cn

 

秦老师

13488684897(微信同号

qinsisi@caict.ac.cn

 

 

本文内容源自:可信AI评测


最新评论
访客 2023年08月20日

230721

访客 2023年08月16日

1、导入Mongo Monitor监控工具表结构(mongo_monitor…

访客 2023年08月04日

上面提到: 在问题描述的架构图中我们可以看到,Click…

访客 2023年07月19日

PMM不香吗?

访客 2023年06月20日

如今看都很棒

活动预告