人工智能是耗能大户,那么“人类智能”呢?

来源:科普中国-前沿科技

2024-03-26 10:15:59

前不久,OpenAI的首席执行官萨姆·奥特曼宣称,AI未来发展的限制因素将会是能源,为此急需发展核聚变。实际上早在2021年他就向一家核聚变公司投资3.75亿美元,该公司近日称其首家发电厂预计在2028年上线。

计算的能耗问题并非第一次引发关注了。在区块链和加密货币兴盛的时期,就有很多人对区块链的能耗表示过担忧。现在虽然热度略有消退,但能耗依然可观,比特币挖矿的年耗能大约相当于荷兰全国,2024年美国能源部的报告认为美国约0.6%~2.4%的全年能耗用在了加密货币上。

目前看来,加密货币似乎不太可能无限增长,吞没整个电网。但人工智能是否会走上这条路线呢?此刻ChatGPT每天提供约2亿条回答,消耗50万千瓦时电力,在电网中占比还不大,奥特曼的预测有自吹自擂之嫌。但如果他的预测成真,人工智能的规模和耗能长期飞速增长,那引发能源危机确实是有可能的。

人脑到底有多“高效”?

相比之下,传统的天然智能(人脑)似乎就强多了。但其实,人脑到底多高效,谁也说不清——因为很难找到比较的基准。

举个例子,衡量电脑速度的常用指标是主频,也即处理器时钟每秒能产生多少个电脉冲,这在很大程度上决定了处理器每秒能完成多少个基本运算。

如果用这个标准来考虑人脑,那么人脑的主频似乎应该低于一千赫,因为神经元发放的神经冲动最快能到每秒1000个峰值,而突触传递讯息最快也需要千分之一秒。一千赫的主频以电脑标准而言是非常可怜的,七十年代的第一个商业微处理器的主频就已经是它的700倍了,今天主流处理器的主频随便都是它的几百万倍。

这是否意味着人脑的运行速度只有当代电脑的百万分之一呢?显然不是,因为二者在基本架构上存在根本差异。比如说人脑的每个神经元往往和上千个其他神经元相连,也即一个“基本运算”往往要涉及超过一千个输入,这和只能处理三个输入-输出的晶体管完全没有可比性。实际上,就算只限定在电脑内部,不同架构的处理器之间的主频也不能随便比较。

那么脑和其他生物器官相比呢?静息状态下人类脑的重量约占人体重的2%,但消耗的能量占人体的19%。这听起来有点夸张,实际上并没有很特别。

肝和脾的重量只比脑大一点,消耗能量却占到了27%。两肾的重量加起来只有脑的不到五分之一,但消耗的能量占人体10%,折合脑的一半。心脏的重量同样是不足脑的五分之一,消耗能量占人体7%,折合脑的三分之一。少数活跃器官消耗大部分能量,本来就是意料之中的事情,脑在这些器官里只是常规水准。

如今神经网络成为了人工智能的主流,也提供了一个比较的新思路:不是进行纯粹硬件级别的比较,而是把人脑和具体的神经网络相比。

当然,现在并不存在可以和人脑在功能上相提并论的神经网络,但仅从规模上看,如果未来人类能解开人脑的秘密,那大约1000个智能体(agent)运行在1000个GPU上,就可以实现人脑尺度的模型。每个智能体需要1千瓦左右的功率,1000个就需要1兆瓦,是对应人脑的5万倍。(顺便说,此刻全世界的浮点运算力大约能支持500万个这样的脑模型。)再次强调,这一比较依赖于未来的理论进步,此刻的神经网络依然缺乏可比性。

不管怎样,人脑看起来效率确实是比电脑高。这当然是几十亿年自然选择累积的产物——原始的神经系统一定是受制于能量的,随着能量效率的提升,脑的出现才成为可能。不过,此刻的人脑不一定就抵达了理论的极限。

人脑一定是“最优解”吗?

关于演化的一个常见误解是它必定能产出最优解。这个误解有多重意义:

第一,一般意义上的最优解是不存在的,所有的优劣判断都只有在给定的环境下才有得谈,而环境时刻在发生改变。

第二,就算在一个稳定的环境下,全局的最优解也未必可以抵达。演化在绝大多数情况下都是渐变和短视的,往往会被困在局部最优点,就像是一个坚持每一步都必须是上山的登山者,最后可能会停留在一个小山包上而无法抵达真正的最高峰。

第三,演化的速度和选择压成正比,当选择压不大时,抵达局部的最优解也需要漫长的时间,没有理由认为此刻的人脑就已经登顶了。

第四,演化里有海量的偶然因素,这些偶然因素的重要性至今没有定论,但阻止一个最优解的实现应该还是足够的。

一些AI理论家对于人脑是否抵达了神经网络的能量效率极限非常关心,因为这一事实决定了通用人工智能(AGI)的远期发展方向:如果人脑距离理论极限还很远,那么AGI未来就可以超越人脑,引发技术的加速进步,甚至可能导致技术奇点的诞生。

但如果人脑就是极限,那AGI就会严重受限于此刻人类的能量产出,起飞速度就会非常缓慢,奇点到来的可能性也会大幅降低,也意味着模拟人脑会成为实用AGI的唯一路线。

不过截至现在,论争双方都缺乏实质性的证据。有可能AI领域的未来进展会证明神经网络这条路线其实是死路,真正的AGI来自其他方向,那样的话这些讨论也就失去意义了。

无论如何,纠结计算效率是人类文明的巨大进步,因为抛开神经网络的限定,计算本身距离极限还很远。这和人类过去掌控的几乎所有自然力都截然不同。

你要抬起多少货物就要施加多少力,要让车有多少速度就要给它多少动能。操纵实体物质都有最基本的保底能量需求,可供节约的余地并不大,此刻人类最低效的动力来源基本上也已经有百分之十几了,留下的改进空间不足十倍。这些空间并非不重要,它们或许足以扭转此刻我们遭遇的气候危机,但远不足以支持一个无限增长的文明。

但是计算所操纵的并非实体,而是信息。计算所消耗的能量确实也有理论下限,但小到微乎其微,在室温下这一极限大约是2.9 × 10^-21焦耳。因此,这个领域的进展是破天荒的。

1951年的 UNIVAC I 消耗一焦耳能量可以完成0.015次运算,而2022年的超算“亨利”消耗同样能量可以完成650亿次运算,七十年来已经提升了十几个数量级,但距离室温极限还有十个数量级。

如果放弃室温这一限定,效率还可进一步提升。计算的能耗下限和环境温度成正比,一个高度发达的技术文明的绝大部分运算很可能会在宇宙空间里进行,以微波背景辐射的温度2.7K作为下限的基准。

如果一个文明存在的时间足够漫长,它甚至可以选择等待宇宙膨胀冷却来获取更高的计算效率——在10^12年后,计算的效率极限会比今天的极限再增加30个数量级。

换个角度说,就是在计算能耗问题上人类还有很长的路要走。或许,过去几十年里人类被摩尔定律惯坏了,沉迷于芯片的廉价和高速,而在很多层面都忽视了计算的效率——哪怕只是调调温度也要跑上一个安卓系统。

但摩尔定律并不是自然定律,倒不如说是一条KPI——实际的芯片进步速度从2010年开始就有点跟不上脚步了。此刻神经网络还不是人类能耗的主体,但总有一天计算会抵达这个位置,我们应该在那一天到来之前,就做好一切可能的准备。

责任编辑:李娇

Baidu
map