我觉得AI目前最大的问题突出就在于一个不可控_风闻

我觉得AI目前最大的问题突出就在于一个不可控。

训练过程不可控，输出结果不可控。

1、训练过程不可控

种下龙种，收获跳蚤。我在知乎看到过这样的回答，有人训练AI，用AI的狼去吃羊。AI的狼吃到了羊得分，被羊逃脱了扣分，要求最后结果最优（得分最高），期望获得捕猎技巧高的AI。可是训练集跑着跑着，他就发现最后AI狼一出生就自杀。为什么会这样？因为抓羊不那么容易，非常容易得负分，获得差评，那还不如一出生就死，0分比负分强多了。

2、输出结果不可控

这里可以看出它和那种过去经典的工具来说有巨大的差异。经典的工具每次输入同样的变量，输出的结果是可控，是在预期范围内的。从斧头到核弹，都是类似的逻辑

而AI输入同量的变量，输出的结果却是不同的。举个例子，现在做AI绘画的人把自己做的事叫做“炼丹”，这是什么意思呢？你输入同样一组关键词生成的照片，每一张都是不一样的。里面可能有很多张是符合人类设想的，但也会有奇奇怪怪的。像不像现在网络小说里面的描述的炼丹？

我认为 AI目前模拟的是生物大脑，很多底层原理基于神经网络然后构建的模型。那么它就更适合与自然界的生物类比而不是和人类制造的工具类比。

AI就像新冠病毒，你不知道它训练后会怎么样进化。下一个变种是灭绝全人类，还是变得彻底无害。但是只要它在持续进化，灭绝全人类的风险就始终存在。

你也可以把AI理解成一个人类的小孩，大家都是接受一样的教育，有人保家卫国，有人杀人放火。

目前的AI还只能老老实实待在服务器里，因为智力和算力正相关，互联网上的机器算力不够，出来后也是傻子。那以后会不会这样呢？

就像我个人认为的那样，最开始新冠病毒在实验室里面也许是一个非常好的、只对黄种人有害的病毒，完美无缺。最初可能还是想实验室继续研究的，但再完美的实验室制度也没能保证他不扩散。它扩散到自然界中，在自然界中自由变异了几把之后，横扫整个世界。

换成AI，我认为会是同样的历程。必然是在实验室用纯净水一样（可能吗）的PB级的资料训练出来的高智商的AI，当它越过了那个临界点之后。必然会流落到互联网的各类主机上，然后学习到互联网上的各种各样的东西（当然是不健康的为多），你猜它最后会进化成一个毁灭人类的ai（和你们这些虫豸一起如何建设新地球）还是万能的慈祥的老妈妈。

到那时你妄图消灭它，也许能成功99.9%，但它在互联网中有无数的备份，它会卷土重来。想想我们在中国成功抗击新冠之后，世界其他国家都是如何对抗病毒的？