20191218 在建立赢得信任的系统之前，不要相信人工智能

shiyi18

受邀参加｜开放的未来
在建立赢得信任的系统之前，不要相信人工智能
重启人工智能》一书的作者之一加里-马库斯（Gary Marcus）表示，人工智能的进步掩盖了透明度的缺乏，而透明度对于人工智能的采用至关重要

2019年12月18日
作者：K.N.C.

从炒作的角度来看，人工智能离撕裂经济、毁掉每个人的工作--除了制造技术的人工智能科学家以及为他们服务的咖啡师和瑜伽教练--已经近在咫尺了。但对这种观点的一位批评者来自人工智能本身： 加里-马库斯（Gary Marcus）。

马库斯先生的学术背景是心理学和神经科学，而不是计算机科学。他乐于戳穿流行的人工智能技术--深度学习--的漏洞，因为这种技术虽然在模式匹配方面表现出色，但却无法进行抽象。然而，他对这一技术现状的不安并没有妨碍他通过自己的人工智能初创公司 Geometric Intelligence 推动这一技术的发展，他于 2016 年将该公司出售给了 Uber。

马库斯先生认为，过多相信当今的人工智能技术是愚蠢的，因为这些技术很容易失败，而且缺乏透明度，而研究人员需要了解算法是如何得出结论的。在经典的统计学中，使用的参数由人决定，而在人工智能中，则由系统自己决定。虽然这些技术能够发挥作用，比如识别出细胞活检结果为癌症，但人们并不清楚其发挥作用的原因。这使得在医学、航空、土木工程、司法等领域部署人工智能变得十分棘手。

马库斯先生在他与欧内斯特-戴维斯（Ernest Davis）合著的新书《重启人工智能》（Pantheon，2019年）中睿智地指出了这一点。作为《经济学人》“开放的未来”（Open Future）计划的一部分，我们向马库斯先生请教了为什么人工智能不能做得更多，如何监管人工智能，以及青少年应该学习什么才能在未来的职场中保持竞争力。这篇简短的访谈节选自马库斯的著作《在人工智能中建立可信度的必要性》。
* * *
我们信任人工智能吗？
摘自加里-马库斯（Gary Marcus）和欧内斯特-戴维斯（Ernest Davis）的《重启人工智能》（Pantheon，2019）。
神的行为总是和创造他们的人一样。
佐拉-尼尔-赫斯顿，《 告诉我的马
扔人是不好的。
在詹妮弗-李执导的 2013 年迪士尼电影《 冰雪奇缘》中，安娜给雪巨人棉花糖的建议
比起那些仅仅依赖统计数据的机器，那些真正了解发生了什么的具有常识的机器更有可能是可靠的，也更有可能产生合理的结果。不过，我们还需要首先考虑一些其他因素。
值得信赖的人工智能必须以良好的工程实践为起点，并由法律和行业标准加以规定，而这两者目前在很大程度上都不存在。迄今为止，太多的人工智能都是短期解决方案，即让系统立即运行的代码，而没有其他领域通常认为理所当然的关键工程保障。例如，汽车开发中的标准压力测试（如碰撞测试和气候挑战），在人工智能中却很少见。人工智能可以从其他工程师的工作方式中学到很多东西。
例如，在对安全至关重要的情况下，优秀的工程师在设计结构和设备时，总是会使其强度超过计算所建议的最小值。如果工程师预计电梯的载重量永远不会超过半吨，他们就会确保电梯的实际载重量能达到 5 吨。一个软件工程师在建设一个网站时，如果预计每天有 1 000 万访问者，他就会确保其服务器能够处理 5 000 万访问者，以防突然出现大量访问者。
挑战者号 "航天飞机的 O 形环在温暖的天气里能正常工作，但在寒冷的天气里却失灵了，结果造成了灾难性的后果。如果我们估计无人驾驶汽车的行人探测器如果正确率达到99.9999%就足够好了，那么我们就应该加上小数点后一位数，目标是正确率达到99.99999%。
目前，人工智能领域还无法设计出能做到这一点的机器学习系统。他们甚至无法像汽车零部件或飞机制造商那样，设计出保证特定系统在一定误差范围内工作的程序。(想象一下，汽车发动机制造商只说他们的发动机在 95% 的时间内都能正常工作，却对发动机的安全运行温度只字不提）。
人工智能领域的假设通常是，如果它能经常工作，足够有用，那就足够好了，但在事关重大的情况下，这种随意的态度并不合适。如果自动标记照片中的人的可靠性只有 90%，也没什么问题--如果它只是针对人们在 Instagram 上发布的个人照片，但当警察开始用它来查找监控照片中的嫌疑人时，它的可靠性最好能高得多。谷歌搜索可能不需要压力测试，但无人驾驶汽车肯定需要。
优秀的工程师也会为失败而设计。他们意识到，他们不可能详细预测所有可能出错的方式，因此他们在设计中加入了备份系统，以便在意外发生时可以调用。自行车有前轮刹车和后轮刹车，部分原因是为了提供冗余；如果一个刹车失灵，第二个刹车仍然可以让自行车停下来。航天飞机上有五台完全相同的计算机，可以相互运行诊断程序，并在出现故障时作为备份；通常情况下，四台计算机运行，第五台备用，但只要五台计算机中的任何一台仍在运行，航天飞机就可以运行。
同样，无人驾驶汽车系统不应该只使用摄像头，还应该使用激光雷达（一种使用激光测量距离的设备），以实现部分冗余。埃隆-马斯克（Elon Musk）多年来一直声称，他的自动驾驶系统不需要激光雷达；从工程学的角度来看，考虑到当前机器视觉系统的局限性，这似乎既冒险又令人吃惊。(大多数主要竞争对手确实使用了激光雷达）。
优秀的工程师总是会在任何关键任务中加入防故障措施，即在出现严重问题时防止灾难发生的最后一招。[......]优秀的工程师还知道，任何事情都有其适用的时间和地点；在规划新产品时，尝试彻底的创新设计可能会改变游戏规则，但安全关键型应用通常应依赖于经过更全面测试的旧技术。管理电网的人工智能系统不适合首次尝试某些热门研究生的最新算法。[...]
挑战还不止于此。新技术一旦部署，就必须得到维护；优秀的工程师会提前设计好系统，以便于维护。汽车发动机必须是可维修的；操作系统必须有某种安装更新的方法。对于人工智能来说，这一点不亚于任何其他领域。[...]
最后，人工智能科学家必须尽最大努力，避免构建可能失控的系统。例如，由于后果可能难以预料，因此在研究创造能够设计和制造其他机器人的机器人时，应格外小心，并在严密监督下进行。就像我们经常看到的入侵性自然生物一样，如果一种生物可以自我繁殖，而没有任何东西可以阻止它，那么它的数量就会呈指数增长。
向机器人敞开大门，让它们以未知的方式改变和完善自己，会给我们带来未知的危险。同样，至少在目前，我们还没有很好的方法来预测机器人完全具有自我意识可能导致的结果。人工智能与任何技术一样，都有可能产生意想不到的后果，而且很可能会更加严重，我们打开潘多拉魔盒的范围越大，承担的风险就越大。在目前的体制下，我们看到的风险很少，但也更没有理由轻率地认为我们可能发明的任何东西都能得到解决，从而诱惑命运。
____________
摘自《重启人工智能：打造值得信赖的人工智能》，作者加里-马库斯和欧内斯特-戴维斯。加里-马库斯版权所有 © 2019。保留所有权利。未经出版商企鹅兰登书屋旗下Pantheon公司书面许可，不得复制或转载本节选的任何部分。
* * *
采访加里-马库斯
经济学人： 你对值得信赖的人工智能的呼吁似乎需要新的规则和机构，类似于航空领域的国际航空运输协会（IATA）和美国联邦航空局（FAA），或电信领域的国际电信联盟（ITU）和美国联邦通信委员会（FCC）--这些缩写基本上意味着国家和国际范围内的大型机构官僚机构。这就是你们想要的吗？
我们肯定需要一些东西。比如现在，对无人驾驶汽车公司可能发布的产品几乎没有任何规定；他们可能会在事后被起诉，但他们基本上可以把任何他们喜欢的东西放在路上。药品的监管则要严格得多，需要经过漫长的试验过程等等。无人驾驶汽车最终可以拯救许多生命，但正如杜克大学的米西-卡明斯（Missy Cummings）所指出的，在技术成熟之前，我们需要像对待新药一样谨慎行事。
从长远来看，我们还必须规定一些与生俱来的价值观。举例来说，家用机器人罗西（Rosie the Robot）在出厂前就必须认识到人类生命的价值。我们不能让价值观听天由命，取决于某个系统在世界上碰巧遇到了什么，以及它所谓的 “训练数据库 ”是什么。
经济学人： 为什么在我们的人工智能系统中建立因果关系和反事实如此困难？
目前的系统过于肤浅。领先的机制（如深度学习）能从庞大的数据集中辨别出一个又一个相关性，但只是在很浅的层面上。深度学习系统可能会通过注意大象皱巴巴的皮肤纹理来识别大象，但却忽略了躯干的重要性。我们还没有想出如何构建既能从大型数据库中学习（如深度学习所做的），又能以早期 “经典人工智能 ”方法所寻求的方式表现丰富、清晰的知识的系统。
如果不了解什么是动物或什么是树干，就无法推理大象可能会做什么。对图像进行分类与推理如果在时代广场放走一头愤怒的大象会发生什么并不是一回事。人类的思维是多变的，仅靠相关性是无法捕捉到的。
经济学人： 最复杂、表现最好的人工智能也无法解释它是如何得出结论的，这是否应该让我们拒绝将其用于关键用途（医疗、电网等）？还是说，只要我们能验证它运行良好，就应该容忍这种情况？
我们不应该仅仅因为人工智能无法解释其答案而怀疑它，而是因为它根本就不够可信。
实际上，验证才是关键所在：我们还没有完善的工具来验证机器学习；相反，我们大多采用的是一种更接近 “就事论事 ”的方法：我们在各种情况下进行尝试，如果它在那里有效，我们就希望可以继续下去--但我们往往无法保证，在普通情况下有效的东西在特殊情况下也会有效。自动驾驶汽车可能在高速公路上正常行驶，但在暴风雪中拥挤的城市街道上却无法做出正确的决策；医疗诊断系统可能对常见疾病效果良好，但对罕见疾病却经常漏诊。
在某种程度上，寻找 “可解释的人工智能 ”是解决这一问题的绷带：如果你不能让你的软件完美无缺，你至少想知道它为什么会犯这样的错误，以便进行调试。除非我们能更聪明地构建复杂的认知软件，以应对现实世界的复杂性和多变性，否则，要求可解释性以方便调试可能是我们能做的最好的事情了。
经济学人： 就业启示录，有还是没有？国家和企业应该如何应对？
下一个十年，影响不大；下一个世纪：影响巨大。
关于下一个十年，需要记住的是，目前的人工智能甚至无法阅读，也无法推理。四年前，机器学习先驱杰弗里-辛顿（Geoffrey Hinton）说，放射科医生将在五年或十年内失业；放射科医生真的吓坏了，很多人不再学习放射学。到目前为止呢？没有一位放射科医生真正被取代。放射学不仅仅是观察图像（这是深度学习的强项），它还涉及阅读（患者病史）和推理（如何将文字和图像结合在一起），而机器还不能可靠地做到这一点。我们现在拥有的是能够帮助放射科医生的新工具，而不是 “盒装放射科医生”。
尽管如此，更强大的人工智能终究会出现，到那时，我认为我们将不可避免地要走向类似全民基本收入的东西，以及一种新的生活方式，在这种生活方式中，大多数人通过创造性的努力而不是就业来找到成就感。
经济学人： 你认为人工智能有什么是人类永远无法做到，而人类却能做得很好，从而让人类在社会中占据优势的吗？
我不会指望它。套用已故音乐家普林斯（Prince）的话说，“永远不会 ”是一段很长的时间。人脑是目前地球上最灵活的思维机器，但（正如我在早先的《克鲁格》一书中所解释的那样），离完美还有很长的路要走；没有任何物理定律能阻止我们制造出拥有与人类思维一样强大的思维的机器，也没有任何物理定律能阻止我们制造出比迄今为止生物学所开发的任何东西都更强大、更可靠的思维的机器。
另一方面，我不认为机器会试图获得超越我们的 “优势”；它们之所以这样做，是因为它们遵循了指导它们的程序。除非发生根本性的变化，否则即使机器在纯粹的认知能力上超过了我们，我们仍将掌控一切。计算器的算术能力比人强，但迄今为止，它们对接管社会毫无兴趣。
经济学人： 你会告诉 15 岁的孩子学习什么，才能在未来的职场中发挥作用？
学会如何学习。创造力、即时学习和批判性思维能力将是最重要的。你的子孙可能生活在一个没有工作的世界里，但你不会；相反，你将生活在一个瞬息万变的世界里。无论你选择做什么，学习编码都将是一项非常有价值的技能，即使你不以此为生，因为当我们的社会适应日益强大的机器能力时，了解机器的基本逻辑将是在社会中生存的关键。