有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
和老板在办公室BD 中文
星空无限传媒XK 8027我的妹妹
我的妻子的姐姐6观整有限中字
4虎 最新能用的是哪个
14岁学生迈开腿让打扑克网站
四个人换着玩的过程叫什么
宝贝都湿透了还嘴硬疼怎么回事
儿子好厉害吗妈妈要丢了
一抽一出BGM免费50分
6080电影理论在线软件优势
公交要了很多次
国产无人区码一码二码三码区别
国产开嫩苞视频在线观看
1v1肉从从肉到
天美麻花果冻视频大全
花蝴蝶免费直播
老奶奶vpswindows在线播放
女孩子是怎么上女孩子的
教练在车里撞了我三次
无限动漫网 在线播放
宿主任务是收集男主JY
这几天没C你了是不是SB痒了
翁熄止痒婉艳隔壁老李头
小小水蜜桃8视频高清在线观看
寄宿日记37你也想做吧秋蝉
黑帮大佬和我的365日2第二部
强宠 失宠皇后
二人扑克剧烈运动视频教程视频
叛逆儿子暴躁老妈怎么办
公交车6人轮换做
精产国品一二三卡区别
魅力研习社避孕套
日本一姐RAPPER潮水太
最近日本韩国高清免费大全
桥矿欧美片第1集
仙踪林COMPANY LIMITED19岁
国模全体超大尺度私拍
GARY2022小鲜肉GARY
吉泽明部 种子下载
趴玻璃上做给别人看
欧亚专线欧洲W码
品色永久免费堂
linode日本iphone奶
全是肉的糙汉文
国产乱码卡二卡三卡4W
潮湿的心HD完整版
果冻传媒天美传媒麻豆传
老师拉我去办公室做了一节课英语
adc影院欢迎您大驾光临18岁
我的小兔兔被男生咬着的感觉
三个媳妇一锅烩大团圆
国精产品999永久中国有限
喷泉1V3HL
二指挖洞的手势技巧
一前一后三个人轮换的
果冻传媒七夕在线看
成熟交BGMBGMBGM中国
女刑警被两个黑人前后夹攻
高清vpswindows日本
亚洲精品一线二线三线无人区
粉色视频APP下载安装无限看丝瓜苏州
向涟苍士献上纯
姐姐的小兔子又大又软作文
一二三四在线观看免费中文吗
2023男男钙GGY钙站一区
娇妻系列交换21部
把筷子放屁眼里不能掉的故事
男女差差差30分视频
51精产国品一二三产区
无人区一线二线
野蛮秘笈演员表
家里没人儿子就弄我了视频大全
校霸错一题打一下PG
我的XL上司第二季未增删翻译中
中文在线中文在
酒后和朋友换娶妻中字3
做aj过程图片
羞羞漫画登录页面免费漫画入口页面破解
一个人看的免费WWW高清
边做边爱3完整版视频
可以吗好硬H1V3
宝贝我想你站着做
麻豆传播媒体网站入口官网下载
宝宝家里没人叫大点声
网站你懂2018
老公叫人一起换着玩的说说图片
TOBU8SKX
小雪的13又嫩又紧又多视频
女生的小雏菊长什么样(不是花)
2021无线乱码免费
53岁沈阳老阿姨叫得没谁了
黑料不打烊导航首页SEO
伽罗太华被 哭还流东西漫画
把冰葡萄一颗一颗往里堆
欧洲最大但人文艺术5788
神马影院线手机理论午夜
一前一后三个人轮换躁B
得到超级肉禽系统的紫岭红山
另一类Zoomcloudmeetings
当兵的一天弄了好几次
双人床上做运动模拟器
欧美最强的RAPPER潮水
成品网源码7w8w
秘密教学53子豪源源不绝漫画
宝宝在把腿敞开点一会儿就不疼了
亚洲无人区天空码头IV
V11亚二新区乱码无人区
它变大了你感觉到了吗
男生把大坤巴塞到男生的嘴巴里
插花弄玉曲径探幽不正经的意思
无人影院在线播放视频
男生摸和咬小兔兔
班长是班级的公共玩具作文
戴了一天跳DAN感受
14may18XXXXXL女
斗罗大陆人物3D黄化视频
旗袍全开襟做双人运动好看吗
宝贝都湿透了还嘴硬疼怎么回事
ZOOMSERVO
奇怪的美发沙龙3韩语中语字
妈妈的朋友6在观完整有限中字木瓜
妈妈的朋友3线在完整有限公司中字
鲤鱼乡 流出来了 合不上
对象都是怎么C你的过程
晚会上领导吃我奶还
草棚canopen国产
adc视频在线观看年龄确认
大菠萝导航福建app
好妈妈9中汉字
电影潘金莲5集在线观看完整
两阳夹一阴的双响炮后续走势
50款夜间禁用软件免费APP
没带套让班长捏了一节课怎么办
年轻漂亮的岳坶9
国产尺码和欧洲尺码视频
绯闻男友发长文力挺张靓颖
消失的她免费观影
宝宝我们到卫生间里做动漫
韩国风俗媚娘全套图
有多少弄过自己的儿子的吗
大乔抱枕kuro
情感的禁区日本
女士不遮阴小内搭走秀
97精产国品一二三产区区别
我想用扇贝夹你的乌龟
一层一层的剥开衣服视频讲解
亚洲卡二卡三无线乱码新区
撞击的速度越来越快公交车
激烈啪啪啪动态图
天天射干2019快速 localhost
FULAO2在线官网观看
舌と唇と唾液が浓厚
蜜芽188.Coo永不失联
无人区码一码二码三码是什么
感受到它在里面动了吗
一边喘气一边叫疼的视频
两个奶被揉得又硬又翘怎么办啊
python人马大战
一支笔怎么C哭自己
公么大龟弄得我好舒服秀婷
いっしょにしよ
伪装学渣震动PLAY
数学课代表说不能再扣了
东北直男痞子chinese
大号注射器放屁眼里灌注红酒
老马的春天顾晓婷
国产日产欧产美韩系列国
18岁末年禁止网站
横恋母AMTIGERとらん作品
不良网站免费进入窗口软件有哪些
一二三四高清日本视频电视
在床上拔萝卜又疼又叫
说服好兄弟让一堆人c我作文
天美麻花果冻视频大全
ultimatespecialfx
stevehopper办公室
菊内留香 TXL金银花露
斗罗大陆3大乱斗交大配
镜といちゃつきたい的欢迎会
翁公和晓雯在厨房里猛烈进出
善良的小峓子中文版在钱
怎么自W到高C详细图片
叶玉卿 卿本佳人
我和小姪女小婷上下耸动
M惹主人生气后该做什么
快四十了水还是特别多
亚洲精华国产精华精华液网站
女生看了会湿的污段子
东北大坑原始欲爱
喵绅hcmoic士
她故意装睡让我进去
上边一面亲下边一面膜的
韩国VS日本中国VS美国学生
王者公孙离害羞流口水的表情
vpswindows野外直播
凌晨三点看的片www视频动漫版
2022GGY钙小蓝的功能特点
公交车后车座的疯狂C
寄宿日记37你也想做吧秋蝉
熟妇人妻中文字幕无码老熟妇
同桌把我拉到他家C作文600字
人与畜禽共性的视频
女人扒开双脚让男人捅了
污到你那里滴水的说说细节
老翁真厉害不倒枪
宝宝把腿抬起来靠墙上怎么回事
售票员用b验票小镇免费阅读
老公弄我的时候婆婆看到了就生气
够了够了已经到C了满C了
我女儿的朋友3在完整有限中字
C死了啊哈宝宝腰好会扭CBL
东南亚少女rapperdiss
最近2018年中文字幕免费图片
日本windowsphone
ZOOM和OKZOOM
黑料网-独家爆料-曝光揭秘
ONE.YG99.AQQ一个致敬韩寒
after之后1
污到你那里滴水的说说细节
WRITEAS骑马
激荡的瑜伽室2
不知火舞和三个孩子之森林公园
局长从后面握住我的奶
一边伸舌头一边快速喘气声音
国内精品一卡二卡三卡抖
野草一二三乱码区地址
生物课上老师亲自给我们展示
校霸犯错被学霸罚带钢笔去上课
漂亮的三年经的继拇4
日产一二三四乱码18
魏无羡哭着喊着让蓝湛退出去
c人入门视频教程
69精产国品一二三产区区别
餐桌下狂C亲女高辣
父母儿女媳妇一起来玩的说说心情
好满射太多了装不下了真人
催熟po1v3by
日本1卡2卡3卡
用注射器打水放屁眼里
五月丁香合缴情网
男生的坤坤放到女生的坤里动漫
东北老女人高潮大喊舒服死了
男友抱着我站着做
中国高清vpswindows麻辣豆腐
什么样的B型最好进
公主葡萄不能夹烂也不能掉出来
国模冉冉私拍大r.5
班花哭着说3个一起会坏的
一边说嗯一边喘气的声音怎么形容
多波野结衣电梯
如何用筷子玩哭自己
大但人文艺术欣赏ppt图片
老师的小兔子好大好软水
雷电将军乳液VX
通房11H云舒
激荡瑜伽1V2
小学六年级差差差很痛
朝俞做题车WRITEAS
涩涩屋草莓榴莲绿巨人秋葵
1v3多肉小公主
两个人免费视频高清播放
XRK1_3_0ARK在线观看人口
14147最大但人文艺术
巨无霸水蜜桃水帘洞
里面塞着小玩具坐地铁有什么感觉
穿越到随处做X的世界结局
肥婆巨肥bbwbbwbbw国语
AI换脸赵露思又疼又叫
果冻传媒MV国产聂小倩主演
CHINA篮球体育飞机2023
腿再张开一点就能吃扇贝了
儿媳妇水这么多还说不要吗
男生和女生一起差差很痛APP大全熊猫
日本REPRODUCTION OF FOUND
坤坤寒进桃子里
25CARD中国大学高清视频
撩到女生下面流句子
tokyo hot n0640
女人喊疼男人却往里寨打扑克
结衣波多野电影下载
歪歪ss入口页面弹窗秋蝉在线
女人的阴性图片
不知火舞沙滩狂欢
情侣做运动的动态表情包
家用摄像头被盗拍400部
99西方大但人文艺术
趴玻璃上做给别人看宝贝
宝宝你里面好暖好烫不想出来
将界2第3集大尺视频
你看你的水 都拉丝了
老卫干淑荣完整版
mitao123
不再是朋友的夜晚2
在车里被撞了八次高
双乳被陌生人把玩挤出奶水黄
野花视频在线观看最新免费
人与ZOOM日本人
2015年3月里番
王者荣耀西施爽上天的表情
妈妈的朋友7在观完整有限中字一
老何在船上弄雨婷
男生捏我的小兔兔描述
郑媛媛未经处理雅照
X姓女RAPPER的首次亮相
美女露胸无遮挡无马赛克羞羞
广西柳州莫菁门事件
成品视频网站W灬源码是
最近免费韩国电影HD无吗
4年级把第1次给了表哥
渴了就喝水别扒拉我腿啥意思
没带罩子让捏了一节课视频
海角HJ9DB5免费进入
毛1卡2卡3卡4卡免费
杨幂ai智能人脸替换脸蓝鲸
满清十大刑酷之凌迟快播
迈开腿让尝尝你的森林动漫
如何弄到自己喷泉
一天晚上用了好几个小雨伞
夜倾情之保姆的诱惑
迈开腿让我看一下小鸡蛋视频
两个人一前一后攻击我
GAY2022
王熙凤贾宝玉轿中大战
污到能让你滴水600字作文售价
被几个男的一起添好舒服
系统之魅姬养成(莫紫弦)
杨思敏1一5集手机版
从阳台X到卧室边走一步视频
新版猫咪目前的地址入口
一层一层一层的剥开我的衣服
美国14MAY18_XXXXXL56ENDIAN
公交车大尺寸的小黄说说1000字
narto henta
JEALOUSVUE成熟
国内国精产品一二三区传媒
爸爸妈妈为什么夜里摇床还叫
高压狱警2美版免费
好看的三圾片名字
女生说拔萝卜是什么意思
家有三个媳妇陈淑蓉结局是什么
家里没人叫大声点干湿你
精品无人区一线二线三线区别
迈开腿让我看看小草莓
写作业坐在捧捧上面的句子
japonensis成熟大豆
xl上司带翻译没有马赛克带中文
用点力用一点力我快到
中国国模03[150p]
公交车轮换C程雪
化学实验室学霸做哭学渣
by1259改哪里了
糖心出品VLOG一区二区
秘密教学60话暗巷免费
麻花传MD0174苏蜜清歌在线
国产一线产区二线产区
25CARD中国大学高清视频
BGMBGMBGM胖老太太俄罗斯
翁熄止痒婉艳隔壁老李头
带着小怪兽上班喷了
日本XMXMXM18小孩
宝宝的扇贝好多水
大学附近旅馆叫的厉害
女人半夜睡不着看点害羞的
善良的小峓子5中字巴巴鱼汤饭
四虎最新地域网名2021免费苹果东营
最新浮力影院地扯公布
羞羞漫画破解版免费阅读网页版
张津瑜 6分35秒
嗯宝贝叫的再浪一点
裙子下面是野怪
男朋友总是说要吃我的扇贝
精东传媒剧国产MV的特点
别急妈今晚就是你的
纳西妲坐旅行者的胡萝卜
麻豆精产一二三产区
ドラえもんのエロ火影忍者
善良的妻子3中字巴巴鱼汤饭
欧洲最强rapper潮水网
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1