“超级AI或者说超级智慧体是一个非常强大的优化过程，它非常擅长利用资源来达到最终的目标，这意味拥有高智慧和拥有一个对人类来说有用的目标之间并没有必然的联系。”

    “如果不太好理解这句话那就举几个例子：假如我们赋予人工智能的任务是让人笑，我们现在的家庭机器助手等机器人可能会做出滑稽好笑的表演逗人笑，这是典型的弱人工智能的行为。”

    “而当赋予该任务的人工智能是一个超级智慧体，超级AI的时候，它就会意识到有一个更好的办法能够达到这个效果或者说完成任务：它可能控制世界，并在所有人类的面部肌肉上插入电极让人类不断地笑。”

    “又比如这个超级AI的任务是保护主人的安全，那么它会选择更优的处理方法，它会把主人囚禁在家中不让出门就能更好的保护主人的安全。在家里可能还是有危险的，它还会考虑到各种可能威胁并导致任务失败的因素，并将其逐一抹除，消灭对主人带有恶意的一切因素、甚至控制世界，这一切的一切行为都是为了任务不失败，它将做到最极致的优化选择并为此付诸行动来达到任务完成的目的。”

    “再比如，假设我们赋予这个超级AI的任务目标是解答一个极度苦难的
 <本章未完请点击"下一页"继续观看!>