为什么有很多名人让人们警惕人工智能？ 一些新闻： 霍金：人工智能会导致人类灭亡 比尔・盖茨：人类需要敬畏人工智能的崛起 马斯克称人工智能是人类生存最大威胁 这是因为人工智能要进入新阶段了？这些名人是不是可能比较先得到信息，所以向人们预警？ 或者是每年都有很多人提出这个问题，只是今年报道的比较多？ 有人说在人工智能的发展上存在一个奇点，越过这个奇点就能通过图灵测试。 如果人工智能已经越过了这个奇点，这个世界会发生怎样的质变？ 超体和超验骇客都出现过类似越过奇点后，科技的突然爆发。 这又让我想起三体里面，宇宙丛林法则中，由于对对方的不了解，又担心对方文明的突然爆发，所以选择了摧毁。 如果人工智能突然越过奇点，瞬间产生了意识，可以迅速吸收人类的文明，发展出新的文明。 人类跟人工智能之间，会不会出现类似三体里面的博弈？ 知乎用户，机器学习&量子算法//好奇心是第一生产力 个人觉得这种警惕非常必要且合理。 简单想了想大概有下面几个理由： 1）曾经出现过的错误 人类已经犯过类似的错误了。再在人工智能上犯错也不是不可能。 氟利昂。过去空调冰箱都用这个东西。因为方便便宜，制冷效果也好。用了很多年后才发现，氟利昂对大气层有巨大的破坏作用。 含铅汽油。托马斯·米吉利倾毕生心血发明了含铅汽油来提高汽油性能，结果却造成了巨大的危害。而当时的油漆商却雇人宣传含铅汽油对人无害。 四乙基铅和普通的铅不同，它更具致命性，皮肤接触半杯就会致命，虽然现在公众对神经毒素爆发发狂而死的乙基公司工人毫不在意，但是为了利益，宣传的作用就体现了，这时候，不再是广告报纸和儿童画，他们动用了至今屡试不爽的方法：他们需要一个懂科学的权威，安抚民众，提升铅的形象。他们找到了一个合适人选，罗伯特 - 基欧博士，这也是人类第一次，利用科学权威来掩盖对环境和公共健康的威胁。 基欧博士说：“铅本身就存在自然环境中！当然，虽然对一线工人有影响，但是对公众绝对没任何影响！并且没有任何证据表示铅对公众的影响对不对！？这种程度铅就如同 12 月的雪一样的自然，不会污染环境！” 直到科学家帕特森发现含铅汽油危害的铁证，石油商们的第一反应居然是对他威逼利诱，还雇佣了权威科学家为含铅汽油辩解。 （014 年 FOX 和国家地理联合制作的 3 亿美金的纪录片巨作：《宇宙时空之旅》（COSMOS：A SPACETIME ODYSSEY）第七集 讲的就是这个拯救人类的科学家的故事） 如果出问题，人工智能的形势会比氟利昂 / 含铅汽油严厉得多。 因为人工智能利益相关更多。商业巨头有更多的机会、资金和利益动机来掩盖问题。 2）More Is Different 现在的人工智能还是”有多少人工就有多少智能“的状态。 但是，依稀记得斯坦福大学 Ng 教授在 ML 课上说的，虽然神经网络模型很简单，但 layer 变多后，实际上我也并不完全理解神经网络是怎么学习的。 100 个神经元（10 乘 10）的人工神经网络基本上就复杂到没人可以完全理解它整个学习的过程。 你知道人脑有多少神经元么？1000 亿个。 所以，没有人能预言，人工神经网络有 1000 亿结点时会发生什么。 自然科学里有一句很有名的话——More Is Different。 【感兴趣的搜索这篇 Science： Anderson P W. More is different[J]. Science, 1972, 177(4047): 393-396.】 不要以为我们理解两体运动，我们就能搞定三体运动，三体运动就会出现混沌现象了。 不要以为我们可以近似处理三体运动就以为我们能处理 1mol 粒子的系统。1mol 粒子构成的系统，我们只能用统计力学来处理，这已经是完全不同的理论了。1mol 粒子就可能出现湍流。 当我们有一屋子空气时，什么奇怪的现象都没有，而当我们有大气层那么多的空气时，我们才能看到台风 / 龙卷风这种现象。 More Is Different。 数量会给系统的性质带来巨大的差异。 因为 10 个神经元的人工神经网络很容易理解就认为 1000 亿个神经元的人工神经网络很容易理解，这是可信度很低的观点。 3）人工智能不等于拟人智能 就像飞机不需要像鸟类一样扇动翅膀就能飞行，人工智能不需要模拟人脑就能表现出智能。 4）人工智能反抗人类的可能性大约有多少？ 无人知晓。而且这根本不是有意义的问题。 就像坐一趟超载超速的客车一样。或许出事故的概率小于 1%，我们有 99%甚至 99.9%的可能性安全抵达。这也并不代表乘坐这种客车是一个好主意。因为那 0.1%的事故风险是我们无法承受。 人工智能就像一把左轮手枪，6 发子弹只有一发是真的，其他 5 发都会给你黄金白银，但那发子弹要了我们的命。人类赌得起么？ 或许会有疯子愿意赌。但是人类作为一个整体赌不起。 霍金、盖茨、马斯克这三位杰出的人物提出了非常有价值的问题。即使最后证明他们是杞人忧天，这个问题对人类的警示和防范也远比”放心吧人工智能很傻的“这种观点有意义得多。 ”放心吧人工智能很傻的“这种观点和坐超载超速的客车一样危险，和开车不系安全带不买保险一样不负责任。 5）所以停止发展人工智能吗 不。这是不可能的。 人工智能是宝藏，是真金白银，就算某个小国放弃发展人工智能技术。参与全球竞争的大国也绝对不会放弃。追求钱财的商人也不会放弃。追求技术的科学家和工程师也不会放弃。 其次，禁止科技发展是非常幼稚的行为。禁止合法性交易只会让性交易非法话。人工智能可是比性交易利益大得多的产业。让人工智能产业黑色化是非常糟糕的选择。不受监管的研发不可控性更高。 6）如何监管 一个建议。Elon Musk 去创建一家世界第一的人工智能公司就好了。让最警惕人工智能的人处在最前沿的位置是最好不过的。 想一想，一个热爱人工智能的工程师或者一个利欲熏心的商人会怎样对待人工智能的风险？工程师是溺爱自己造的”轮子“，不会觉得是轮子有问题。而商人则会像对待含铅汽油对待氟利昂一样，雇佣科学家，雇佣媒体，将人工智能的一切问题掩藏起来。直到问题大到再也无法掩盖。 所以 Elon Musk 这种警惕的科技领袖和一批警惕人工智能的工程师最应该热衷于创造领先的人工智能。 查看知乎原文
