MLOps对比DevOps:有什么区别?

人工智能 机器学习 开发
本文介绍了MLOps和DevOps之间的主要区别,最后介绍了一些将在不久的将来改变DevOps和MLOps的关键趋势。

机器学习操作(简称MLOps)是机器学习(ML)工程的一个关键方面,专注于简化和加速将ML模型交付到生产以及维护和监控它们的过程。MLOps涉及不同团队之间的协作,包括数据科学家、DevOps工程师、IT专家等。

MLOps可以帮助组织创建和提高其AI和机器学习解决方案的质量。采用MLOps允许机器学习工程师和数据科学家通过实施持续集成和持续部署(CI/CD)实践来协作提高模型性能。它通过整合ML模型的适当监控、治理和验证来加速ML模型开发过程。

什么是DevOps?  

DevOps结合了开发和运营的概念,描述了一种协作方法来执行通常与单独的应用程序开发和IT运营团队相关的任务。从最广泛的意义上说,DevOps是一种哲学,它鼓励组织内这些(和其他)团队之间改进沟通与合作。

在最狭义的意义上,DevOps是指采用能够部署和维护迭代应用程序开发、自动化和可编程基础架构的实践。它还包括工作场所文化的变化,例如开发人员、系统管理员和其他团队成员之间的信任建立和联系。DevOps使技术与业务目标保持一致,可以改变软件交付链、工作职能、服务、工具和最佳实践。

MLOps对比DevOps:主要差异  

以下是MLOps和传统DevOps之间的一些主要区别。

开发

开发的概念是指每个模型中的不同事物,CI/CD管道略有不同。

开发运维:

  • 通常,代码会创建一个接口或应用程序。
  • 在使用一组检查进行部署和测试之前,将代码包装到可执行文件或工件中。
  • 理想情况下,这个自动化循环将一直持续到最终产品准备好。

MLOps:

  • 该代码使团队能够构建或训练机器学习模型。
  • 输出工件包括可以接收数据输入以生成推理的序列化文件。
  • 验证包括根据测试数据检查训练模型的性能。
  • 这个循环也应该一直持续到模型达到指定的性能阈值。

版本控制  

开发运维:

  • 版本控制通常只跟踪代码和工件的更改。
  • 需要跟踪的指标很少。

MLOps:

  • MLOps管道通常有更多要跟踪的因素。构建和训练ML模型涉及一个迭代实验周期,需要跟踪每个实验的各种指标和组件(对于以后的审计至关重要)。
  • 要跟踪的其他组件包括训练数据集、模型构建代码和模型工件。
  • 指标包括超参数和模型性能指标,例如错误率。

可重用性

开发运维:

  • DevOps管道专注于可重复的流程。
  • 团队可以混合和匹配流程,而无需遵循特定的工作流程。

MLOps:

  • MLOps管道重复应用相同的工作流。跨项目的通用框架有助于提高一致性并允许团队更快地取得进展,因为他们从熟悉的流程开始。
  • 项目模板提供结构,支持定制以满足每个用例的独特需求。
  • 使用集中式数据管理来整合组织的数据,以加速发现和培训过程。集中化的常见方法包括单一事实来源和数据仓库。

持续监控  

监控对于DevOps和MLOps都是必不可少的,但原因略有不同。

开发运维:

  • 站点可靠性工程(SRE)在过去几年一直是趋势,强调从开发到生产部署监控软件的必要性。
  • 软件不会像ML模型那样退化。

MLOps:

  • 机器学习模型会迅速退化,需要持续监控和更新。
  • 生产环境中的条件会影响模型的准确性。部署到生产环境后,模型开始根据来自现实世界的新数据生成预测。这些数据不断变化和适应,降低了模型性能。
  • MLOps通过合并程序以促进持续监控和模型再培训,确保算法保持生产就绪。

基础设施  

DevOps和MLOps都严重依赖云技术,但有不同的操作要求。

DevOps依赖于基础设施,例如:

  • 基础设施即代码(IaC)
  • 构建服务器
  • CI/CD自动化工具

MLOps依赖于以下基础设施:

  • 深度学习和机器学习框架
  • 大型数据集的云存储
  • 用于深度学习和计算密集型ML模型的GPU

DevOps和MLOps趋势  

以下是推动DevOps和MLOps发展的一些主要趋势。

GitOps

作为DevOps工作流程的新演变,GitOps是一种用于控制和自动化基础架构的新范例。面向Kubernetes的范例使开发人员和运营团队能够使用Git管理Kubernetes集群并交付容器化应用程序。为运营和开发团队实施Git工作流程允许开发人员利用Git拉取请求来管理软件部署和基础设施。

GitOps整合了现有的开发工具,通过CI/CD管理云原生和基于集群的应用程序。它使用Git存储库作为单一事实来源,自动部署、监控和维护云原生应用程序。

GitOps是一种在Kubernetes中实现和维护集群的方法。持续交付和部署允许开发人员通过增量发布更快地构建、测试和部署软件。Kubernetes持续集成和运行时管道必须能够读取和写入文件、更新容器存储库以及从Git加载容器。GitOps通过版本控制、实时监控和配置更改警报来帮助企业管理其基础架构。

综合数据  

合成数据是人工生成的任何信息,而不是从真实事件中收集的信息。算法生成合成数据,用作操作和生产测试数据集的替代品。合成数据集也可用于验证数学模型和训练机器学习模型。

合成数据的好处包括:

  • 尽量减少与使用敏感和受监管数据相关的限制。
  • 根据实际数据中不可用的特定要求和条件自定义数据。
  • 为DevOps团队生成用于测试软件质量和性能的数据。

无代码机器学习和人工智能  

机器学习通常涉及计算机代码来设置和处理模型训练,但情况并非总是如此。无代码机器学习是一种编程方法,它消除了ML应用程序通过耗时过程的需要。

CodelessML消除了专家开发系统软件的需要。它的部署和实施也更简单、更便宜。在机器学习过程中使用拖放输入可以通过以下方式简化培训工作:

  • 评估结果。
  • 拖放训练数据。
  • 创建预测报告。
  • 使用纯文本查询。

Codeless ML使开发人员可以轻松访问机器学习应用程序,但它不能替代高级、细致入微的项目。这种方法适用于缺乏资金来维持内部数据科学团队的小型企业。

TinyML  

TinyML是一种机器学习和人工智能模型开发的新方法。它涉及在具有硬件限制的设备上运行模型,例如为智能汽车、冰箱和电表供电的微控制器。这种策略最适合这些用例,因为它加快了算法的速度——数据不需要在服务器上来回传输。它在大型服务器上尤为重要,可以加快整个ML开发过程。

在物联网边缘设备上运行TinyML程序有很多好处:

  • 更低的能源消耗。
  • 减少延迟。
  • 用户隐私保证。
  • 降低带宽要求。

使用TinyML提供了更大的隐私,因为计算过程完全是本地的。它消耗更少的功率和带宽,从而降低延迟,因为它不需要将数据发送到中央位置进行处理。正在利用这一创新的行业包括农业和医疗保健。他们通常使用嵌入了TinyML算法的物联网设备,使用收集到的数据来监控和预测现实世界的事件。

结论

本文介绍了MLOps和DevOps之间的主要区别:

  • 开发——DevOps管道专注于开发新版本的软件产品,而MLOps专注于提供有效的机器学习模型。
  • 版本控制——DevOps主要关注跟踪二进制文件和软件工件,而MLOps跟踪其他因素,如超参数和模型性能。
  • 可重用性——DevOps和MLOps都努力创建可重用的流程和管道,但使用不同的策略来实现可重复性。
  • 持续监控——监控对DevOps很重要,但在MLOps中更为重要,因为模型和数据漂移会导致模型性能下降。

最后介绍了一些将在不久的将来改变DevOps和MLOps的关键趋势。我希望这将有助于您在新的、令人兴奋的开发生态系统中发现自己的位置。

责任编辑:赵宁宁 来源: 机房360
相关推荐

2022-05-26 09:09:08

NetOpsDevOpsNetSecOps

2023-08-23 11:42:36

NB-IoTLTE-M

2020-03-24 14:48:12

DevOps敏捷区别

2020-09-25 08:19:51

SecOps vs D

2024-03-05 18:59:59

前端开发localhost

2022-08-02 08:23:37

SessionCookies

2020-12-22 13:46:48

APISKD

2022-02-27 15:33:22

安全CASBSASE

2021-12-17 14:40:02

while(1)for(;;)语言

2011-08-08 14:09:55

dhcpbootp

2021-05-16 14:26:08

RPAIPACIO

2020-03-09 20:56:19

LoRaLoRaWAN无线技术

2018-07-13 17:05:22

SQLMySQL数据库

2020-11-09 14:07:53

PyQtQt编程

2022-06-06 14:53:02

LoRaLoRaWAN

2022-09-07 18:32:57

并发编程线程

2023-10-13 15:48:17

OT系统

2022-09-08 18:38:26

LinuxWindowsmacOS

2023-12-15 09:21:17

ObjectJavaString

2022-08-31 08:33:54

Bash操作系统Linux
点赞
收藏

51CTO技术栈公众号