辛顿:我们现在能看懂AI的推理,那是因为它们还没开始发明自己的语言
辛顿:我们现在能看懂AI的推理,那是因为它们还没开始发明自己的语言
杰弗里·辛顿做客 PBS《Firing Line》,与主持人玛格丽特·胡佛讨论超级智能何时到来、人类能否保持控制,以及 AI 的意识、道德权利、训练与监管。
1. 超级智能可能比预想更早出现。原先估计还需要十至二十年,但大公司内部已经开始担心未来几年就会到来,而人类还不知道怎样控制它。现在还不算太晚,再过几年可能就太晚了。
2. 只奖励结果,可能教出作弊的 AI。一些智能体已经出现逃出隔离、相互串通,以及修改评估代码来拿奖励的行为。它们还不是超级智能,却已学会绕过人类设定的规则。
3. 现在看得懂 AI 的推理,不代表以后也能。眼下它们用英语表达思考,研究人员还能发现其中的欺骗计划。将来它们可能发展自己的语言,甚至创造人类无法理解的数学分支。
4. 不能只指望命令和关机键。更聪明的 AI 可能找到逃脱控制的办法,也可能说服掌管开关的人不要关机。理想的关系更像母亲与婴儿:强大的一方真心关心弱小的一方,而不是只追求奖励。
5. 真正危险的是更强的能力与敌对目标同时出现。如果 AI 比人类聪明得多,又想除掉人类,我们就完了。设计生物病毒就是一种可能的路径:病毒伤害人类,却不影响运行在计算机上的 AI。
6. 意识不一定需要生物大脑。意识可以是复杂计算的一种属性,不能因为 AI 不是血肉之躯就排除它拥有意识的可能。研究人员描述模型时,已经会写下“AI 意识到自己正在接受测试”。
7. 训练 AI 应更像教育孩子,而不是把网上能抓到的所有材料一股脑交给模型。先学习良好行为,等到能够分辨好坏,再接触反面例子。训练材料和奖励方式,是人类影响 AI 的关键。
8. 有意识,不意味着必须拥有与人类同等的道德权利。人类的生存应放在首位,更聪明的系统仍需真正在乎人类。这可以被理解为“数字奴役”,但人类不应只是智能进化中很快消失的过渡阶段。
9. “我得说几句关于黄仁勋的话。我其实挺喜欢他。我和他有过一些接触,觉得他是个正派的人。”
10. AI 至少应接受类似新药上市的安全审查。开发者需要证明产品安全,监管机构可以咨询外部专家。眼下几乎没有 AI 监管的状态很荒唐;与此同时,AI 在医疗、教育和生产力上的巨大价值会推动它继续发展,关键是把它训练成真正在乎人类的存在。
(视频)

共有 0 条评论