首页    语言版本:  
为什么人工智能会超出你幻想的费电
发布时间:2022-05-26 04:21:10 来源:bet9是什么 作者:bet9手机版官网

  每逢谈及未来科技,人工智能和新动力常常一同呈现。一朝一夕,咱们好像都有种幻觉,人工智能便是节能环保的。但现实却非如此,人工智能尽管功能强大,科幻感十足,但却一点也不环保,乃至“污染”严峻。

  十二月初,一则谷歌公司的丑闻引起了轩然大波。工作原因是谷歌一名研讨员想宣布论文,但被内部否决、并被要求撤稿。这篇论文的内容便是关于谷歌的言语处理人工智能会产生巨大的碳脚印。碳脚印(carbon footprint)是指企业组织、产品或个人经过交通运输、食物出产和消费以及各类出产进程等引起的温室气体排放的调集。而依据研讨人员估量,练习一个人工智能模型所产生的碳排放,相当于把五部车出产出来并开到作废。

  比较数据中心完结的传统数据处理包含视频流、电子邮件和交际媒体。AI的核算量更大,由于它需求阅览很多的数据,直到它学会了解这些数据--也便是咱们常说的承受练习。

  尽管被称为人工智能,但与人的学习办法比较,这种练习的功率十分低。现代人工智能运用的是人工神经网络,它是模仿人脑神经元的一种数学核算。每个神经元与相邻神经元的衔接强度是网络的一个参数,被称为权重。为了学习怎么了解人类言语,网络会从随机权重开端,并逐渐调整,直到模型的输出与正确答案共同。

  练习言语网络的一个常见办法便是,给它输入很多来自维基百科和新闻组织等网站的文本,并将一些单词屏蔽掉,让它猜想被屏蔽的单词。一个比方是 我的狗很心爱,心爱 这个词被掩盖掉。一开端,模型会把它们悉数弄错,可是,经过多轮调整后,衔接权重会开端改变,并在数据中发现正确的形式,而网络终究也变得精确。

  最近的一个名为BERT的模型就运用了33亿个来自英文书本和维基百科文章中的单词进行练习。而且,在练习进程中,BERT对这个数据集的阅览不是一次,而是40次。比较之下,一个学会说线万个单词,这比BERT少3000倍。

  此外,让言语模型的构建本钱更高的原因是,这个练习进程在开发进程中会产生很屡次。由于研讨人员期望找到网络的最佳结构--有多少神经元,神经元之间有多少衔接,学习进程中参数的改变速度应该有多快等等。他们测验的组合越多,网络到达高精度的时机就越大。而比较之下,人类的大脑不需求找到一个最佳结构--它们自带一个经过进化锻炼的“预建结构”。

  跟着公司和学术界在人工智能范畴的相互竞赛,人们也都面临着在技能状况上改善的压力。即便在机器翻译这样的困难使命上完成1%的精确性前进,也会是十分重要的,企业就能够借此进行更好的宣扬。但为了取得这1%的改善,一个研讨者或许要对模型进行数千次练习,每次都用不同的结构,直到找到最好的模型。

  马萨诸塞大学阿默斯特分校的研讨人员经过丈量练习进程中常用硬件的功耗,估算了开发人工智能言语模型的动力本钱。他们发现,练习一次 BERT 的碳脚印相当于一名乘客在纽约和旧金山之间飞一个来回。但是,再经过运用不同的结构进行查找--也便是说,经过运用稍微不同数量的神经元、衔接和其他参数对数据进行屡次练习,本钱变成了相当于315名乘客,或许整架747飞机的碳排放。

  AI模型也常常比它们需求的大得多,而且这一数值每年都在添加。一个相似于 BERT 的最新言语模型,叫做 GPT-2,它的网络中就有 15 亿个权重。而本年由于其高精确度而引起轰动的GPT-3则有1750亿个权重。

  研讨人员发现,具有更大的网络会导致更好的精确性,即便只要一小部分网络终究是有用的。相似的工作也产生在儿童的大脑中,神经元衔接会先被添加,然后又被削减,但很明显,生物大脑比核算机更节能。

  而且,AI模型是在专门的硬件上进行练习的,比方图形处理器单元,它们比传统的CPU耗费更多的电力。假如你具有一台游戏笔记本电脑,它或许就有一个这样的图形处理器单元,以创立高档图形,例如玩Minecraft RTX。你或许也会注意到,它们产生的热量比一般笔记本电脑要多得多。

  所有这些理论和依据都意味着,开发高档人工智能模型正在添加很多的碳脚印。除非咱们改用100%的可再生动力,不然人工智能的前进或许会与削减温室气体排放和减缓气候改变的方针各走各路。开发的财政本钱也变得更高,以至于只要少量选定的实验室能够负担得起,而这些实验室的管理者也是拟定什么样的人工智能模型能得到开发的议程的人。

  这对人工智能研讨的未来意味着什么呢?工作或许也不像看起来那么失望。跟着更高效的练习办法被创造出来,练习的本钱或许会下降。相同,尽管数据中心的动力运用之前被猜测将会爆炸性添加,但由于数据中心功率的进步,也具有了更高效的硬件和冷却,这种状况并没有产生。

  此外,练习模型的本钱和运用模型的本钱之间也有一个权衡,所以在练习时花费更多的精力来提出一个更小的模型,实际上或许会让运用模型的本钱更低。由于一个模型在它的一生中会被运用很屡次,这就会节省了很多的动力。

  研讨人员也一直在研讨怎么经过同享权重,或许在网络的多个部分运用相同的权重来使AI模型变得更小。这些网络被称为为shapshifter网络,由于一组小的权重能够被重新配置成任何形状或结构的大网络。其他研讨人员也现已标明,在相同的练习时间内,权重同享具有更好的功能。

  展望未来,人工智能界或许应该在开发节能的练习计划上投入更多。不然,就有或许让人工智能被少量有才能设定议程的人所主导,包含开发什么样的模型,用什么样的数据来练习它们,以及模型的用处。

  特别声明:以上内容(如有图片或视频亦包含在内)为自媒体渠道“网易号”用户上传并发布,本渠道仅供给信息存储服务。

  科勒·卡戴珊”令人心碎“的打扮,形似在向特里斯坦·汤普森展现他错过了!

  “广告狂人”叶茂中逝世,年仅54岁,“地球人都知道”“男人就该对自己狠一点”都出自他手

  2天后【油价大涨】,年前油价要大涨近“4毛/升”,下周一晚上调,提早加油!

  VR MMO游戏《Zenith:The Last City》将于1月27日上线

  VR射击游戏《Warhammer 40K:Battle Sister》行将登陆SteamVR

BET9平台登录链接bet9是什么新闻动态产品中心人才招聘bet9手机版官网网站地图
©2016 版权所有 All Rights Reserved. BET9平台登录链接|bet9是什么|bet9手机版官网 版权所有
建议 1280*800 以上的屏幕分辨率6.0以上IE版本访问 技术支持: 百泰网络

浙公网安备 33100-699202001022号