有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
雨后的小故事动态图
麻豆产精品一二三产区区
无颜之月怎么看不到了
从阳台c到卧室c到厨房
18款禁用B站网址
俄罗斯VIDEOSDES18
年轻的小峓子3韩国在钱
胡桃流眼泪翻白眼流口水的表情
数学课代表趴下让桶我rh网站
啊学长我们换个地方
宝贝 我不想带小雨伞
女儿初长成爸爸来尝鲜食品的文案
欧洲RAPPER潮水喷
痞幼黑料不打烊900张照片
老阿姨一直叫BILIBILI
用大宝贝疏通妈妈的下水道好吗
欧洲vodafonewifi侏儒
胡桃ちゃんが部下をさせて
塞跳D开最大挡不能掉哦
电车之狼r完美存档
xxxholic春梦记
工囗囗番漫画大全全彩
怎么用卫生纸自W到高C
它想你了给他好不好
5g天天奭多人运动 在线观看免费
一边做饭一边躁怎么回事
在她写作业的时候弄她
いっぱいしぼっちゃうぞ在线
被C哭是一种什么样的体验知乎
宝贝 我不想带小雨伞
天美传媒HD在线看免费
两个人的BD高清视频免费
国精产品一二二线精华液
在无限游戏里花式挨CH视频
夏季短袖女生乳突图片
女儿儿媳陪自己玩的心情说说
一根肉枪肉遍天下美女
妈妈的朋友10完整有限中字一
挺进毛还没长稚嫩的小花苞网种
他趴在两腿中间舔我私密有事吗
国产午睡客厅沙发30分钟
把冰块一个一个挤出去
精产国品一二三产区区别在哪儿
娘娘微臣和他谁弄得更厉害些?
重生之斗破后宫
奶糖与烈酒BY封远廷
黄金网站app日本免费
向小小花蕾深处前进讲的是什么
一面亲上边一面膜下边53分钟
电车 之狼r攻略
日本2021免费一二三四区
鸣人九尾暴走需要女人治疗
love可儿的秘密花园
吃英语老师的小白兔
岳两腿张得更开了
瘾欲欢愉半块小饼干tnt
白妇少洁高义全文阅读
中国VODAFONEWIFI粗暴12
两个奶被揉得又硬又翘怎么
看镜子里我们合体的样子
强行挺进朋友漂亮的娇妻
大型丁香成人社区
夜倾情之保姆的诱惑
缘之空第4集开始开的车视频
男朋友要再做一次才同意分手
女人和公豬交交30分钟视频
插曲视频30分钟完整不用下载
男朋友咬我的小兔子图片
最近中文字幕高清MV免费
槽溜2021入口一二三四绿巨人
幸福宝8008app隐藏入口
yinseyinxiang
深度开发1V3梁医生不可以
雷电将军的俘虏生活30汉化版
榴莲app下载网站进入色板
邻居按摩人妻HD三级
龙口护士门视频观看
一支笔c哭自己从自w到高c漫画
二人扑克剧烈运动视频软件
野花香社区TV
日本最大但的人文体艺术
女神漫画登录页面入口环球
福利姬萌白酱甜味弥漫第一美女图
妈妈的朋友5线观高清
国精产品一区一区三区糖心
校花婉莹被农民工玩
雷电将军掀开衣服看副乳
奶一被揉和吸就想挺起来怎么回事
小东西几天没做水这么多图片
18款禁用黄台入口APP应用
班长的兔子好软水好多视频网站
今日蚂蚁庄园正确答案
老师拉我去办公室做了一节课文
顶的速度越来越快是什么意思
十五款夜间禁用APP免费IOS
夜里用的18款禁用
韩国演艺圈悲惨事件9
真人情侣剧烈做运动的表情包
唐三插曲千仞雪不亦乐乎
VPSWINDOWS另类极品
儿子暗示我想上我
妈妈的朋友2中字巴巴鱼汤饭惹人
100种禁用的漫画软件
鲛人鳞片顶开宫腔
欧美xbox和ps菊芘
老公带我去跟别人玩两次正常吗
坐着轮流提双腿能起到什么效果
旅游途中夫妻换着玩的说说搞笑
如何将自己隐私玩到哭
健康全裸游泳社
啊学长我们换个地方
精品无人区码一码二码三码区别
儿子把坤坤放入妈妈的坤坤里视频
大蟒在内径横冲直撞的原因
赵露思乳液凸出来了
文笔好有肉的糙汉文
たと花火と在线观看动漫免费
用红酒瓶塞堵住不能流下来皮
si001第一会所邀请注册
史莱姆のエロ刻晴二维码
C人的教学视频
家里没人跟妈妈做了怎么办
吃瓜网 - 免费吃瓜 黑料泄密
亚洲无人区码一码二码三码的特点
学生自W到高C的25种方法
打扑克不盖被子图片大全
没有擦黑板被老师C了一顿
538pro精品视频我们不只是
小雪的13又嫩又紧又多水书架
4个人互换着做苏霞
同时被几人C是一种怎样的体验
男生插曲女生身全过程
小红帽LIVE直播
男生安慰自己的插画动漫
无颜之月是啥啊
怎么把自己扣的全是水访页
涨精装满肚子用塞子堵住上学
狗狗 又长又烫
冰块棉签夹子酒精pp视频
李燕刘国栋羞答答的那些事
谁输了去谁家受罚抽阴可处置男生
bgmbgmbgm毛多多
你是我的荣耀泄露版
25岁的女高中生
亚洲乱码卡1卡2卡新区乱码
亚洲精华液一二三产区
韩国最大但人文艺术
国精产品无人区一码二码三M
王者荣耀女生去掉小内皮肤无烟雾
夹看学长的巨大的几把写作业
多波野结衣电梯
果冻传媒保姆何苗蜜桃传媒
把女的弄的第二天走不了路
斗罗大陆2大乱斗交大第一
台湾佬中文网娱乐网
被子里怎么无声自W超疼
晚上喝了酒回来和狗狗做了
怎么用棉签玩哭自己
99精产国品一二产区在线
by1259改哪里了
黄到让你那里滴水的作文门卫
ドラえもんのエロ火影忍者
陪儿子读书发生的事是真的吗
英语课代表上面好软在线视频
课代表让我吃它的小兔兔
一本到道免费线观看
你弄得人家里都是水好大
无人区一码二码三码区别在哪
国产无人区一卡二卡3卡4卡在线
比我老公大很多
宝宝在把腿敞开点一会儿就不疼了
无区码一码二码三码
房东先生这是第6次付房租了
中国speakingenglish
白色乳息未增删带翻译樱花
国内精品自线在拍2020不卡
亚洲精品一线二线三线无人区
暖暖直播韩国免费完整版视频
kenderla sanderland多人
如果抱过亲过吃过摸过算什么关系
JEALOUSVUE成熟50MAOFF狗狗
白虎穴肉肉图片
麻豆传煤入口直接进入免费版下载
旅游时跟女儿有了关系知乎
给我播放片在线观看
中国帅气体育生GARY网站MV
体育老师拉着我做了一节课
两扇红唇夹玉柱下联一道清泉
跳D放里面开最大是什么感觉
比赛输了任对方看和玩部位
有车车的腐肉双男
把红酒倒入b里温酒
重生之祝英台遇到马文才全文免费
樱井莉亚百度影音
健身私教弄了好几次PO
女性半夜莲花开什么意思
用卫生纸制作一个假B
把冰葡萄一颗一颗往下体塞
亚洲和欧洲一码二码区别在
儿子以后妈妈的比就是你的了
别人玩自己隐私位置玩到哭
十大污的app
俺去啦最新地址
国精产品一品二品国精品69XX
引导狗狗干自己哪里
快穿H女配肉袭林心儿
男生往下边塞冰棒是一种什么体验
魔道祖师大尺寸污图
俄罗斯人与物动XXX
我年轻的继坶2019
日本阿v在线观看不卡变态
欧美一厂区二厂区三厂区
搞机time恶心10分钟不要钱
哭着说不能再C了再C就生了
中国XXXXXLMEDJY免费
国精产品W灬源码网站1688
天美传媒国产自制剧一库
嫦娥去掉衣服裤子
老人船上弄雨荷
女孩子是怎么上女孩子的
JEALOUSVUE孕妇熟50MAOF
徐若瑄魔鬼天使
好烫好涨被尿灌满了BL
939W乳液78WYW55523
4399国语高清完整版在线播放
女士的小内搭没遮阴怎么办呢
爱情岛路线1线路2线路3京东唯品会苏宁易购
动感之星妖精全集
成功拿下了妈妈
戴着电动玩具逛超市
五个闺蜜的疯狂互换春雨医生
WRITE AS 尿液
镜といちゃつきたい的欢迎会
雨后小故事动态图片
geyaocao
不要了好涨停下来
小雪把双腿打开给老杨看5
双人床上做的运动打扑克软件
没带罩子让捏了一节课感受
我被猪鞭螺旋状进入的
隔着睡衣吃你的小尖尖作文姜灵
越往里越痛的那种视频免费
国产精华最好的产品人V中文
鬼灭之刃蝴蝶忍乳液飙出
冰块温水跳跳糖果冻是什么意思
JING液灌溉系统
妇女被深耕过后有哪些表现
一抽一出BGM免费50分
老师答错一题少一件衣服
TOBU16TOBU18
404黄台软件免费下载安装
八重神子享受翻白眼流口水视频
漂亮妈妈1韩国
国产AV被C呻吟双腿视频
夜倾情之保姆的诱惑
英语班长要看我的小积积
大蛇根C小兔子
免费正能量网站链接
车内做运动打扑克
ゴブリンの洞窟sana
被七个男人绑着玩调教
BGMBGMBGM老太太70
WRITE AS 刑架
3DNAGOONIMATION_HONKAI
老阿姨才是最有味的
日本三圾片在线观看
国产午睡沙发系列
斗罗大陆唐三爆桶波塞西3
向涟苍士献上纯洁未增删带翻译樱花9
情欲小说龟全文阅读
快拔出来 老师很痛 漫画
中国人免费的片
宝宝是我撞进入还是你自己坐下来
被绑在男厕所供人享用
肥婆巨肥bbwbbwbbw国语
玉蒲团ii玉女心经
男的插曲女的叫视频
女销售的成功秘籍中字
成品网站W灬源APP免费
亚洲XXXXXLMEDJYF邻居
亲爱的老师韩国5看的电影
高中班级玩具小诗嗯啊
榴莲视频在线观看视频 1080P
搞机TIME恶心直接打开的不用下载嘉兴圈
中国农村真卖BBWBBW
阿岘洞夫人国语版
OVERFLOW在线未增删带翻译樱花 中文翻译
开车越往下越疼的那种文字
群飞刘亦菲杨颖杨幂唐嫣刘诗诗
欧亚专线欧洲S码WMY不知所措
一卡二卡日本一卡二卡
妈妈的朋友4在观整有限中字
美女护士献身取精
晚上吃你的小草莓是什么意思
国产vodafonewifiapp
成为人免费高清完整视频
学渣坐在学霸的鸡叭上写
人狗锁在一起的原理是什么
开车视频有声音免费软件APP大全下载安装
女教师的诱感5
奶糖与烈酒BY封远廷
大妈山坡做皮肉生意
善良的小峓子5中字巴巴鱼汤饭
仆人犯错把筷子放屁眼里不能掉
maya请确认年满
怎样揉自己的痘痘揉到腿软
欧美VIVOX21
情爱游戏 韩国
段嘉许把桑稚做哭场面
做反派的心头肉(快穿)
旅游和父亲开一间房间做了
巴西BBABBABBABBA想起
一层一层的剥开我的衣服啊
男生的坤坤放到女生的哪里
慈禧的秘密生活高清完整视频
日产精品一二三四区气温
美国白人未成年RAPPER
抽搐一进一出gif无遮挡
我的兔子好软水好多的免费视频
一二三四在线视频社区3
19岁macbookpro免费
腿再分大点就可以吃到扇贝了视频
9887地铁笨蛋
abp-171
写的超细的开小黄车的片段
色即是空2电影下载
老师两个大兔子抖来抖去视频
上课佩戴小玩具的注意事项
近親五十路六十被亲子中出
白洁一夜挨十炮二十章节
亚洲国色天香卡2卡3卡4
动漫美女禁处受辱图
黑帮大佬与我的365天
处处吻全程拉丝舌头
亲爱的老师6中字大豆行情网液晶
原神雷神去掉小内图片
快停下我是你老师的啊
bbass巨大
斗转星移明星合成图
旗袍全是开襟做运动
野花视频高清在线观看
我把我的肥岳日出水来
迈开腿让我尝尝你的扇贝什么意思
女朋友的母亲9中语字追剧易
早上起来发现还连在一起
公与淑婷厨房猛烈进出视频
6人轮换C一个过程
边吃饭还和爸爸连在一起
久久一区二区三区精华液使用方法
小莹客厅激情46章至50视频
迈开腿让尝尝你的小草莓什么意思
三个rapper玩一个女的
韩国演艺圈悲惨37
俄罗斯大转盘多人运动
WRITEAS电动猫尾巴
粉嫩小又紧水又多
网站你知道我的意思的免费的
sis第一会所
大炕上装睡配合弄
腿张大点就能吃扇贝什么意思
我的老师不是人
在体内横冲直撞就是不出来
世子很凶插花弄玉前进后出小说
污秽的教室未增删翻译
xiaav 因你而精彩
丰裕纵满杨玉环2588
教练在车里撞了我三次
脱色摇床实验室振荡器雷安
遇到东北猛攻后一枚夹心饼干
暖爱视频全免费观看高清
年轻的阿姨1在观整有限中字
16岁女生迈开腿打扑克正常吗
当蜜桃成熟时3
吃饭时某处紧密连接在一起
图书馆的秘密程怡婧txt
孩子玩着就C进去了怎么回事
约附近学生100元3小时
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1