百年后超级智能将“毁灭人类”——辛顿、马库斯预测人工智能未来
两年后人工智能“依然如此”
“深度学习”是人工智能领最火的词儿。热度之下，难免存在着炒作。
“在无数的意见中，有一个声音脱颖而出，成为理性和公正的倡导者：加里·马库斯。” ——坎迪丝·克拉克
“Amongst the myriad of opinions, one voice stands out as a rational and impartial advocate: Gary Marcus.” —Candice Clark
在人工智能科技趋势愈演愈热的情形下，美国知名AI学者加里·马库斯（Gary Marcus）刚为大家的热情泼了一盆冷水。本周，加里·马库斯发文表示：“两年后，深度学习仍然面临同样的根本挑战。”
两年前，他发表了一篇引起很大轰动的文章《深度学习正在碰壁：人工智能要取得真正的进步需要什么？》。
在当时，这篇文章引起了轩然大波。在社交媒体上，有些人只是读了标题，有数百人人认可文章内容，但也有数千人为此感到厌恶。事实证明，这篇文章在一定程度上经受起了时间的考验。
加里·马库斯关于该文章中对通用智能的发展障碍以及规模扩展（scaling）策略不够的推断，他认为在当时成立，在两年后也并未发生根本改变：
在 2016 年Hinton预测深度学习将取代放射科医生。Marcus写道“快进到 2022 年，没有一个放射科医生被替换”。——这个预判依然正确。
“至少目前来说，人类和机器是优势互补的。”——依然正确。
“很少有领域比人工智能更充满炒作和虚张声势。它几十年来一直在流行，总是承诺登月，只是偶尔兑现。“——依然正确。
2020 年 11 月，Hinton在《麻省理工科技评论》（MIT Technology Review）上表示“深度学习将无所不能。“我对此深表怀疑。” ——到目前为止，我的怀疑立场仍然正确，可以说持续存在。
“我们离真正理解人类语言的机器还有很长的路要走”——仍然如此，尽管有些人认为存在一些肤浅的理解。
“我们远不及机器人罗西（Rosey）的日常智能，罗西是一个科幻小说中的管家，不仅能理解各种各样的人类请求，还能实时安全地采取行动。”——依然正确。
“埃隆·马斯克最近表示，他希望制造的新型人形机器人 Optimus 有一天会比汽车行业规模更大”，我对此表示怀疑。——虽然还处于早期阶段，但可以肯定的是，家用人形机器人在短期内不会成为任何人的大生意。
“谷歌对语言的最新贡献是一个Lamda系统，它是如此的轻浮，以至于它自己的一位作者最近承认它很容易产生废话”——仍然如此。
“随着时间的推移，我们将看到，如果我们要获得值得信赖的人工智能，深度学习只是我们需要构建的一小部分。”——猜想仍然存在，但请注意，正如我所敦促的，像 RAG 这样的技术导入了符号技术。我们距离值得信赖的人工智能还很远。
“深度学习本质上是一种识别模式的技术，当我们需要的只是粗略的结果、风险较低且可以选择完美的结果时，深度学习处于最佳状态。”—— 仍然如此。
“当前的深度学习系统经常会犯愚蠢的错误。”——仍然如此。
“另一个团队曾短暂考虑将 GPT-3 转变为自杀咨询的自动聊天机器人，但发现该系统很容易出现有问题的交流”——仍然是一个问题，特别是对于可能没有精心构建防护措施的开源机器人。
“GPT-3 容易产生有毒语言，并传播错误信息。”—— 仍然正确，并且取得了一些进展。(越狱很容易引发有毒语言，但在日常使用中则较少；即使没有越狱，错误信息仍然很常见。）
“OpenAI 为解决这些问题所做的新努力仍然是捏造权威的废话。”—— 仍然是事实。
2020 年，Jared Kaplan和他在OpenAI的合作者提出语言神经网络模型存在一套“规模法则”（Scaling Laws）；他们发现，输入神经网络的数据越多，这些网络的性能就越好，这意味着，如果我们收集更多数据并在越来越大的范围内应用深度学习，我们就能做得越来越好。” —— 不可否认，规模化（scaling）确实有所帮助，但并没有解决我上面指出的任何问题。
“规模化争论存在严重漏洞。首先，已经扩大规模的措施并没有抓住我们迫切需要改进的东西：真正的理解……通过扩大规模的方式，Kaplan和他的 OpenAI 同事研究的关于预测句子中的单词的措施，并不等于真正的人工智能所需要的那种深度理解。”——仍然是正确的，并且逐渐得到普遍认可。
“Scaling laws不仅仅是观察结果，可能不会永远有效，就像摩尔定律一样，计算机芯片生产的趋势持续了几十年，但可以说在十年前就开始放缓。”——这仍然是事实，而且最近被萨姆·奥尔特曼（Sam Altman）公开承认，他指出，在我们到达那里之前，我们不会真正知道 GPT-5 能做什么。
OpenAI魅力十足的首席执行官萨姆·奥尔特曼写了一篇洋洋得意的博客文章 ，大肆宣扬“摩尔定律适用于一切”，声称我们距离“能够思考的计算机”、“阅读法律文件”和（呼应IBM Watson）“给予医疗建议”只有几年时间。也许是，但也许并不是。”——悬而未决/仍然正确。两年后，我们对此还没有任何可靠的参照。
“如果Scaling不能让我们实现安全的自动驾驶，那么数百亿美元的扩展投资可能会付诸东流。”——悬而未决/仍然正确。结果显示超过100B，仍然没有商业化，测试仍然有限，多家公司因此失败或衰落。
“神经符号（Neurosymbolic）可能是一个有前途的替代方案。”——悬而未决/仍然正确，DeepMind在今年初就一篇关于神经符号系统 AlphaGeometry 的精彩自然论文。
文章表明：规模化可能无法解决上述问题。—— 悬而未决/仍然正确。比尔·盖茨、杰米斯·哈萨比斯、杨立昆和萨姆·奥尔特曼等人都认识到，平稳期（plateau）可能即将到来。哈萨比斯（Hassabis）上个月的发言呼应了加里·马库斯2022 年文章的中心思想：
加里·马库斯表示，这并不意味着我们最终不会有某种形式的新创新，或者说 AGI 是不可能的。但我们需要范式转变，而且越来越多的人认为LLM本身并不是AGI的答案——这正是我所议论的。
“总的来说，我想说这篇文章在金钱上是正确的。两年后，除了更新示例和稍软化标题之外，我不会做太多改变，为了澄清某些方向的进步并不意味着所有方向的进步。”他表示，自己绝对会提出同样的担忧。
百年后超级智能将“毁灭人类”
为什么GPT-4比人类知识更丰富？它不是由一个模型实现的，而是由不同硬件上运行的大量相同模型的副本实现的，一千个副本都去互联网上查看不同的内容并学习东西，然后，通过平均梯度或平均权重，每个代理都掌握了其他代理学到的东西，这种沟通比人类要强太多了。GPT-4的权重只有人类大脑权重的2%左右，但却拥有比人类多上千倍的知识。
道德与安全是AI的长期议题
最先进的AI系统可能被用作武器，造成潜在的、不可逆转的破坏。报告指出，人工智能（AI）和通用人工智能（AGI）的崛起，可能在某种程度上破坏全球安全，“让人联想到核武器的引入”，在AI方面存在着“军备竞赛”、冲突和“与大规模杀伤性武器相当的致命事故”的风险。 AI实验室的安全性也存在隐患。实验室没有足够的控制措施，来防止通用人工智能系统“失去控制”，其后果可能对全球安全造成“潜在的毁灭性后果”。
4 月 25 ~ 26 日，由 CSDN 和高端 IT 咨询和教育平台 Boolan 联合主办的「全球机器学习技术大会」将在上海环球港凯悦酒店举行，特邀近 50 位技术领袖和行业应用专家，与 1000+ 来自电商、金融、汽车、智能制造、通信、工业互联网、医疗、教育等众多行业的精英参会听众，共同探讨人工智能领域的前沿发展和行业最佳实践。欢迎所有开发者朋友访问官网 http://ml-summit.org、点击「阅读原文」或扫码进一步了解详情。
