深度学习可以是惊人的强大，但它也可能会犯任何人都不会犯的令人惊讶的错误。
当计算机视觉开始腾飞时，人们观察到基于深度学习的图像分类器有点反复无常。例如，图像分类器可能会正确识别校车的图片，但当包含少量噪音(精心选择以混淆算法)时，可能会将其误认为鸵鸟。
深度学习有时也能看到根本没有的东西。一组研究人员设计了一种生成图像的方法，即使图像实际上只由波浪线或其他抽象图案组成，计算机视觉算法也会将其归类为熟悉的对象，并具有非常高的置信度。
当计算机视觉应用于现实世界时，也会出现这样的问题。通过在交通标志上贴上小的彩色补丁，可以使计算机视觉算法将停车标志误认为限速标志。
这个问题并不局限于计算机视觉。亚马逊在评估求职者的实验性计算机程序–欧元™简历中注意到了这一点。在开发团队注意到该程序不是基于描述应聘者™实际工作经验的词语做出决定后，该实验被关闭。相反，男性工程师倾向于按比例比女性更频繁地使用不相关的词汇。从本质上说，该项目已经学会了预测应聘者™的性别，而不是是否适合这份工作。这种偏见之所以出现，是因为该系统过去接受过关于提交给公司的简历的培训，而且男性申请和被聘用到工程职位的次数比女性更多。
为什么计算机会犯愚蠢的错误？
当一张基本相同的复制品被误认为鸵鸟时，校车的图像怎么会被正确归类呢？
深度学习模型是复杂的数学黑匣子。他们的决策逻辑往往很难处理。人类的大脑也是复杂的，但没有理由两个复杂的东西会对世界有相似的看法。这也许并不令人惊讶，人类和机器对是什么使两张图像相似有着截然不同的认知。(™)
人类和人工智能看待世界的方式截然不同。当人类看到鸵鸟的图像时，他们会认出它，把它与鸵鸟的概念联系起来，并回忆起相关的事实：一只快速奔跑的不会飞的鸟，长长的脖子，生活在非洲等等。另一方面，人工智能甚至不知道鸵鸟指的是一种动物(或者，实际上，动物是什么)。对于人工智能来说，鸵鸟只是像素(在计算机视觉应用中)或文本字符(在自然语言处理应用中)的统计模式。人工智能应用程序缺少大多数成年人共享的常识知识。
从统计模式的角度思考对人类来说是非常不直观的。即使是AI应用程序的开发人员也经常很难理解系统学习到了什么样的模式。
更糟糕的是，统计模型可能学习与开发人员预期完全不同的模式。统计方法走捷径，学习训练数据中出现的最简单的模式。如果大多数贴上北极熊标签的图像都包括冰雪，那么模型可能会错误地认识到北极熊的意思是白色背景。
培养更好的模型
有一些方法可以缓解问题，但没有完全解决的办法。从概念上讲，最简单的解决办法是收集更多的训练数据。然而，覆盖所有角落案例将需要不切实际的大量训练集。自动驾驶汽车的训练数据只能包含汽车在现实世界交通中可能遇到的一小部分情况。
一种相关的方法是通过裁剪、旋转或增强具有低水平噪声的图像来生成训练样本的略微修改的副本，从而综合扩展训练集。这是一种向模型表明人类仍将图像视为同一对象的变化程度的一种方式。以这种方式训练的模型的预测被发现更可靠，更符合人类的感知。
如果预测模型能够注意到它们被混淆了，问题就会得到缓解。例如，念力的一个原因可能是，输入与模型在培训期间看到的任何东西都有很大不同。一个活跃的研究方向是找出如何让算法衡量自己的信心。
最终的解决方案是在预测模型中加入人类常识知识。贝叶斯建模提供了整合先验知识的原则性方法。然而，在复杂的问题中，用所需的概率分布形式来表达™的知识是困难的。
对人工智能发展的影响
正如上面讨论的那样，人工智能系统在大多数情况下都可以很好地工作，但偶尔也会出现令人惊讶的错误。这对人工智能系统的发展有一定的影响。
首先也是最重要的是，开发人员需要做好应对意外预测的心理准备。他们需要评估潜在错误的风险，并为用户提供适当的恢复方法。
全面的测试可以在一定程度上确保系统按预期运行。然而，测试永远不可能涵盖所有情况。如果存在哪怕是极少数导致奇怪预测的罕见输入，用户迟早都会偶然发现。因此，人工智能系统应该被设计成在出现令人惊讶的预测的情况下优雅地降级。
应用程序的性质及其在自动化连续体中的位置也会影响特殊预测的影响。在一些应用中，人工智能只是提供总是由人类审查的建议。Gmail AutoComplete就是这类应用的一个例子，偶尔一个奇怪的建议可能会引起欢笑，但很少会产生严重的后果。另一方面，如果期望人工智能系统自主做出决策，那么它的设计应该有足够的误差率。此外，还应给予用户检查和回溯决策的控制权。
最后，不能总是回避奇怪的结果！意想不到的结果可能是创造力的摇篮。AI地下城是一个开放式文本冒险故事生成器。它的吸引力主要是基于它产生局部连贯句子的能力。与此同时，它追踪完整故事背景的能力有限，往往会导致梦幻般的、任何事情都可能发生的故事情节。
