为什么很多机器学习策略会失败

人工智能 机器学习
组织在将人工智能技术整合到运营中时面临的三个关键挑战是技能、数据和策略,Rackspace公司的调查报告清楚地说明了一些机器学习策略遭遇失败的原因。

根据云计算服务提供商Rackspace Technology公司最近进行的一项调查,大多数组织都在努力制定可行的人工智能策略。这项调查涵盖了制造、金融、零售、政府以及医疗保健等各行业领域的1,870个组织。调查表明,只有20%的组织拥有成熟的人工智能/机器学习计划,而其余的组织仍在试图弄清楚如何让其发挥更大的作用。

[[386015]]

毫无疑问,机器学习在几乎每个领域都有美好的应用前景。将机器学习模型应用到实际工作中的一些好处是降低成本、提高精度、更好的客户体验以及推出新功能,但是机器学习并不是万能的,在将人工智能和机器学习技术应用到组织的业务和运营之前,必须克服一些障碍。

组织在将人工智能技术整合到运营中时面临的三个关键挑战是技能、数据和策略,Rackspace公司的调查报告清楚地说明了一些机器学习策略遭遇失败的原因。

机器学习与数据有关

机器学习模型以计算资源和数据为基础。采用云计算服务,对训练和运行人工智能模型所需的硬件的访问变得更加容易和负担得起。

但在计划和采用人工智能战略的不同阶段,数据仍然是一个主要障碍。在Rackspace公司的调查中,34%的受访者表示,数据质量较差是机器学习研发失败的主要原因,另有31%的受访者表示,他们缺乏现成的生产数据。

这凸显了将机器学习技术应用于现实问题时的主要障碍之一。尽管人工智能研究社区可以访问许多公共数据集来训练和测试其最新的机器学习技术,但要将这些技术应用于应用程序时,要获得高质量的数据并不容易。这在工业、卫生和政府部门尤其如此,因为这些部门的数据往往很少或受到严格的监管。

当机器学习计划从研究阶段转移到生产阶段时,数据问题再次出现。在使用机器学习来提取具有价值的见解方面,数据质量仍然是最大的障碍。数据工程问题也带来了一个严重的问题,例如数据孤岛、缺乏连接不同数据源的人才,以及以更具意义的方式处理数据的速度不够快。

数据是从机器学习模型中获取可行见解时最关键的要素

Rackspace Technology公司首席技术官Jeff DeVerter表示,初创企业和成熟企业都面临数据问题,不过规模是两者之间的关键区别。DeVerter评论说:“初创企业往往没有足够的资源来实施高质量的数据管道,并随着时间的推移对其进行持续的管理。而成熟企业通常更具规模,而面临的是更严格的要求。”

组织应对人工智能策略的数据挑战的最佳方法是对其数据基础设施进行全面评估。消除孤岛应该成为每个机器学习计划中的关键优先事项。组织还应具有清理数据的正确程序,以提高其机器学习模型的准确性和性能。

对人工智能的人才需求仍然很高

对于大多数组织来说,面临的第二个难题是获取机器学习和数据科学人才。根据Rackspace公司的调查,缺乏内部专业知识是导致机器学习项目研发计划失败的第二大原因。

许多公司都在努力获取人才以实施其人工智能策略

随着机器学习和深度学习直到最近才在各行业组织的生产环境中得到主流应用,许多规模较小的组织并不具备开发人工智能模型的数据科学家和机器学习工程师。

而且数据科学家和机器学习工程师的平均薪酬与经验丰富的软件工程师相当,这使得许多组织难以组建一支能够领导其人工智能计划的优秀团队。

虽然机器学习和数据科学人才的短缺是众所周知的,但有一件事并没有引起人们的关注,那就是需要招募更多的数据工程师,即建立、维护和更新数据库、数据仓库和数据湖的工作人员。根据Rackspace公司的调查,许多组织的机器学习的项目都失败了,因为他们没有能力将其数据基础设施调整为机器学习的目的。打破孤岛、迁移到云平台、建立Hadoop集群,以及创建能够利用不同平台能力的混合系统,这些都是组织非常缺乏相关人才的领域。这些问题使得他们无法在组织范围内落实机器学习计划。

随着新的机器学习和数据科学工具的发展,人才短缺问题将变得不那么突出。谷歌、微软和亚马逊已经推出了一些平台,使得开发机器学习模型更加容易。微软的Azure机器学习服务就是一个例子,它提供了一个带有拖放组件的可视化界面,使得不需要编程就可以更容易地创建机器学习模型。另一个例子是谷歌公司的AutoML,它可以自动完成繁琐的超参数调优过程。虽然这些工具并不能取代机器学习人才,但它们为想要进入该领域的人员降低了门槛,并将使许多组织能够为这些不断增长的领域招聘更多技术人才。

DeVerter说:“缺乏内部数据科学人才并不是过去的障碍,现在更多的组织能够利用自己的机器学习提供帮助,以及可以获得拥有这些人才的咨询公司的帮助。”

该领域的其他发展是云存储和分析平台的发展,这显著降低了创建和运行人工智能系统所需的数据基础设施的复杂性。其中一个例子就是谷歌公司的BigQuery,这是一个基于云计算的数据仓库,可以轻松地查询存储在各种来源中的大量数据。

机器学习工具的兼容性和集成功能正在不断增强,这将使组织更轻松地将机器学习工具集成到其现有软件和数据生态系统中。

在实施人工智能计划之前,每个组织都必须对内部人才、可用工具和集成可能性进行全面评估。组织需要了解自己在多大程度上依赖内部工程师,以及雇佣人才需要多少成本,这将成为决定机器学习计划成败的决定性因素。另外,考虑一下重新学习技能是否是一个可行的行动方案。如果能在数据科学和机器学习项目上提高工程师的技能,从长远的发展来看将会获得更多的好处。

外包人工智能的人才

近年来增长的另一个趋势是人工智能项目的外包。在Rackspace公司的调查中,只有38%的受访者表示依靠内部人才来开发人工智能应用程序。其余的受访者表示,或者完全外包他们的人工智能项目,或者雇用内部员工和外包人才。

大多数组织依靠外部人才来规划和实施他们的人工智能计划

现在有一些公司专门研究和实施人工智能策略。例如专门为多个行业领域提供人工智能解决方案的提供商C3.ai公司。 该公司为亚马逊、微软和谷歌等云计算提供商提供人工智能工具。该公司还提供人工智能咨询和专业知识,以逐步引导客户完成战略制定和实施阶段。

Rackspace公司的调查报告指出:“成熟的供应商可以带来从战略到实施,再到维护和支持的一切。其提供的策略可以避开人工智能和机器学习工作可能失去动力或陷入复杂性的领域。技术专家还可以使组织免于混乱的清理和维护工作。将这些专门知识组合在一起,可以在最终取得成功方面发挥重要作用。”

但是,值得注意的是,将组织的人工智能战略完全移交给外部提供商可能是一把双刃剑。成功的策略需要人工智能专家与实施该策略组织的技术专家之间的密切合作。

DeVerter说,“这与采用DevOps开发方法并试图将整个开发进行外包的组织非常相似。DevOps需要开发人员、业务分析师和其他业务人员之间的密切合作。同样,人工智能项目需要策略和技术专长,但也需要与组织以及领导层紧密合作。”

人工智能外包人才必须一丝不苟地完成工作。虽然外包可以加快开发和实施人工智能策略的过程,但组织必须确保其内部人员充分参与到这一过程中。在理想情况下,组织应该发展和壮大自己的数据科学家和机器学习工程师团队,并在需要的情况下与外部专家开展合作。

如何评估人工智能策略?

最后,另一个让开始人工智能之旅的组织感到痛苦的领域是预测人工智能战略的结果和价值。鉴于机器学习在许多领域的应用都是新生事物,因此很难预先知道人工智能策略将计划和实施多长时间以及投资回报率是多少。反过来,在获得对人工智能计划的支持时,组织的创新者很难让其他人参与进来。

在Rackspace调查的中, 18%的受访者认为,缺乏明确的业务案例是组织采用人工智能策略面临的主要障碍。组织高管人员缺乏承诺也是最大的障碍之一。缺乏用例和高级管理层的承诺再次成为机器学习过程中的主要挑战。

DeVerter说,“人工智能通常会寻找组织内部的问题。我认为这是在组织内部广泛采用人工智能的最大障碍之一。由于人工智能工作人员可以展示有关人工智能如何使他们的组织受益的实例,将进一步为这些活动获得资金。组织领导者需要知道它将如何帮助节省成本或获得利润。”

评估人工智能计划的结果非常困难。调查表明,衡量人工智能项目成功与否的两大关键绩效指标是利润率和收入增长。可以理解,这种对快速利润的关注部分是由于人工智能项目的高成本。根据Rackspace公司的调查,每家组织每年在人工智能项目花费的费用平均为106万美元。

但是,尽管良好的人工智能计划可以增加收入和降低成本,但在许多情况下,机器学习的长期价值是开发新的用例和产品。

DeVerter说:“短期的财务收益如果没有与由这些短期收益提供资金的长期战略相匹配,那么这种收益不会长久。”

对于负责组织中的人工智能计划的工作人员来说,需要清楚地列出人工智能策略的用例、成本和收益。组织的决策者应清楚了解将要开展的工作。他们应该了解投资人工智能的短期利益,但也应该知道从长远来看会获得什么收益。

 

责任编辑:赵宁宁 来源: 企业网D1Net
相关推荐

2023-05-06 11:05:12

2023-03-22 09:10:18

IT文档语言

2012-05-02 10:08:51

桌面Linux微软

2011-07-01 09:13:51

软件测试项目

2022-05-18 08:25:59

MySQLutf8字符集数据库

2021-05-10 09:35:58

Kubernetes节点Join

2020-02-17 09:14:16

云计算云迁移公共云

2013-03-06 16:56:47

2018-05-09 09:55:36

数据分析

2021-09-28 10:06:30

机器学习人工智能网络安全

2012-06-17 13:14:29

创业创业公司信息图

2022-06-09 16:48:10

TensorFlow机器学习

2021-03-23 10:08:02

编程互联网数据科学

2021-01-27 22:31:36

HTML编程Web

2017-08-08 16:38:50

IT敏捷devops

2023-10-30 07:24:18

IT项目DevOps

2021-04-12 10:28:51

机器学习人工智能AI

2015-11-13 11:02:35

2021-04-25 10:26:34

Python机器学习人工智能

2018-03-23 08:31:36

点赞
收藏

51CTO技术栈公众号