有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
老子今天晚上骑疯你
浓毛BGMBGMBGM胖老太太
祝英台遇到马文才在哪可以看
晚上开车有声音又疼又叫
撑起伽罗的腿疯狂输入的游戏
我和几个亲戚都做了爱
知道错了就转过去趴好
我的小乌龟想进入扇贝是什么意思
情欲小说龟全文阅读
5g影库在线年龄确认
看镜子我们是怎么结合的
ZOOM与人性ZOOM情
99精品与95优品
1980美式保罗与雪莉
女婿的比丈夫的大得多
我想用乌龟蹭你的扇贝视频
金艳花瓶之朱2蛋
办公桌添的我好爽
小喜含不下了先出来吗
吃八重神子的乳液的游戏
国产成人果冻星空传媒
无人去码一码二码三码区
隔离期间和妈妈玩
怡春院宜春院美国十次
吃胸下面激吻娇喘黄禁
Chineseboy军人
xiaav最新
四根一起会坏掉的厉害的视频
整篇都是车的多肉
国色天香A区与B区
atlanticocean巨大
五月天激情小说
把女人弄特爽黄a大片
国内精品一线二线三线区别在哪里
车子颠簸一下猛地进去
老师迈开腿让尝尝你的森林应用
我儿子比我老公的大
男朋友给我买了振荡器
まことNICO免费视频
上官婉儿的乳液狂飙
パンストエロ中文
日本BOOKPRO
WRITE AS蕾丝
C人的教学视频
和搜子居同的日子2中文2
あの女の子は歌がうまいうえ
野花视频在线观看免费高清6
大团圆结亲情会高洁
乌克兰vodafonewifi巨大APP
甜性涩爱bt种子
妈妈的朋友5线观高清
18款夜间禁用粉色短视频
晚上睡不着看点害羞日本
MD豆传媒一二三区
仙女棒坐着使用的图片
借妻中文字幕高清
MINUS8法老猫
打扑克去掉马赛克还原图片软件
污污的文章 看完有水
美满天伦家庭交响曲1
压在阳台玻璃上做给别人看0
来吧儿子妈今天是你的人
一个色农夫导航
甜蜜惩罚2樱花未增删带翻译
雷电ゃんが腿法娴熟を网站
鞠婧祎打扑克又哭又叫视频大全
跟最讨厌部长出差
法国艳妇LARALATEXD
从阳台c到卧室c到厨房
JEALOUSVUE成熟五十
十字架与吸血姬
2021麻豆剧果冻传媒入视频
公交车轮换C程雪免费阅读
大尺寸的小黄说字多肉办公室
01顾泽宇在天台被体育生
动漫人物将机机插曲漫画免费视频大全
黑料正能量zzzttt传送门
自罚一天从凌晨1点到晚上8点
免费的剧烈运动扑克视频
吃棒棒糖是什么意思
在线おっさんとわたし天堂
善良的秘书5中字巴巴鱼饭汤
几天没C你是不是痒了免费
公交车里抓着摇曳的手环
放学后的优等生1未增删有翻译
黑料网-独家爆料-曝光揭秘
漂亮的保姆韩国百度网盘资源
站在公交车里抓着摇曳的手环
坐在上面怎么晃教程动画图片
男人大鸟硬起来图
一边做饭一边躁狂我该怎么办
把语文课代表干到走不动路
没带罩子让他c了一节语文课
非诚勿扰 徐莹
to love第二季
在车上就要了你
小泽玛利亚种子下载
前女友活儿太好一直忘不掉
性情中人中文网bt
甜蜜的惩罚未增删带翻译有翻译樱花
老师洗澡让我吃她胸视频
为什么试过黑人后就回不了头
黑人缓慢而有力的往里挺视频
腿张大点我就可以吃到扇贝了
欧洲VODAWIFI喷浆3D
野花韩国高清免费神马百度
姐姐的朋友9完整视频有翻译
宝贝我想你用嘴做
人曾交互MOUSE
国产精华最好的产品
为什么把腿开到最大就不疼了
再见美丽小姐剧情分集介绍
暮春堂最新地址
欧亚专线欧洲s码wmysnh48
RH男男车车好快的车车片段
公嗲嗯啊轻点公大ji巴
王者荣耀曜把西施顶哭了
JEALOUSVUE50成熟MAOFF
梁薇陆沉鄞 楼梯
吃女朋友胸正确方法
动漫人物做差差差免费看
把腿张大点就可以吃到扇贝了视频
美国VIDEOSCRIBE
日文中字乱码一二三区别在哪儿
你男朋友是怎么上你的
我们4个人换着玩
TOBU7TOBU8
来吧儿子妈妈是你的人是谁唱的
学长往下边塞冰棒的小说
与畜禽狗CROPROATION
国产啪视频在线播放观看
你们三个一起上我
14岁学生迈开腿让打扑克网站
我的很大你忍一忍
云缨救公孙离黄画
剧烈运动扑克网站免费
《药效》1V2H
zhihuishu
女人喊疼男人却往里寨打扑克
暖暖直播日本高清更新
性满足BBWBBWBBW
口述被几个男人抱着舔
亚洲一码二码区别在哪儿
每天都是被C着醒的
我的兔子好软水好多的免费视频
24种男女插秧法
边做边爱完整版3在线动漫
情侣打扑克做运动
在破房子里和狗做
538prom精品视频我们不只是
137西方大但人文艺术
大BBW大BBW大BBW
分手那天我们做了八次视频
婆婆晚上叫声特别大
张津瑜视频夸克下载
几个健身房私教弄了好几次
年轻的空姐中文版
30秒不间断踹息声在线听MP3
开车视频小黄车视频免费下载
龙口护士门视频在线观看
宝宝把腿开大点就不疼了
关晓彤被华晨宇做出了水
日本RAPPER老师
儿子比爸爸的几把大
麻花豆传媒剧国产MV的用户体验
腿再打开一点就能吃到扇贝了
男朋友买玩具玩我
瘾欲欢愉作者半块小饼干
男朋友把我腿打开了
一体六交怎么弄
好妈妈韩国中字
和女婿发生了不应该发生的事
小蓝彩虹男GARY2022钙片
国内18岁女RAPPER老狼
大白屁股缝里浓黑的毛
日产乱码一二三区别18
无人区码一码二码三码区
将夜在线神马影院BD高清
迷情娇妻第104章在线阅读
年轻的馊子8中字
青梅竹马是消防员第一季未增删
tobu8美国14
男在上女在下git动态图
无人区一码卡2卡3
略国精产品W灬
2014年1月里番合集
野花免费观看高清视频6
太粗大进不去倒刺带钩
大白屁股缝里浓黑的毛
最刺激的乱惀小说
善良的小峓子5中字巴巴鱼汤饭
无人区码卡二卡3卡4卡无
12岁打扑克一边疼一边叫
小乌酱黑白双丝脚足在线看
早上起来发现还连在一起
黑料不打烊668SU痞幼视频
污到你那里滴水的句子文案
韩国床震无遮掩视频
女生的小雏菊长什么样(不是花)
毛都没长就被开了包
一个老男人把我下边玩肿了
sky-258
快猫记录你记录世界
姐弟俩打扑克运动
HD2LINODE国产IPHONE69
男朋友都是怎么做你的
公交车售票员按尺寸大小20cm
痞幼猴哥视频3分25观看
荷兰少归BVBV
王副军长怎样日田雨细节
XL上司在樱花未增删翻译
韩国三圾片目录大全
年轻女教师6在线播放
拔萝卜一边喘气一边说痛怎么办呢
不遮阴小内搭走秀
顶级RAPPER潮水仙踪林
WRITE AS 自己分开
姐弟拔萝卜又叫痛又叫高新
野花韩国高清完整版在线观看5
公交车里抓着摇曳的手环
WRITEAS朝俞夹东西
女生输了给对方玩一个月
糖心VLOG肉丝库水柚子猫
迈开腿让学长看看
最近日本字幕MV高清在线电影
2019姐姐的朋友2
迈开腿打扑克没有马赛克
多肉的糙汉1H
麻豆视传媒官方直接进入
25岁的女高中生未增删翻译中文翻译英语
安琪拉翻白眼流眼泪流口水
旅游时跟女儿有了关系知乎
四叔日常1V2
我和大佬的三百六十五天
TOBU18-25
双人床上做剧烈运动
在线观看2022GGY钙同网站
王者荣耀曜把西施顶哭了
校长你的怎么那么大呀
腿再开一点我就能吃到扇贝了
够了够了已经满到C了学校作文
办公室跪下拉开拉链吃应用的特点
波多野结衣119分钟
ekdv 273
沈芯语MD0076视频
王者荣耀把公孙离玩喷了
14MAY18_XXXXXL56ENDI免费
看见你的棒棒就想吃是什么歌
乐可车车的图片
某科学的触手姬
他的手指在里面转动的写作业呢
C的里面太满了
不可接近的女士漫画在哪看
美国ZOOm人狗欢迎你
蜜芽资源高清在线观看
老师的手指在里面转动的写作业呢
艳情短篇160无弹窗
小男孩把坤坤放在小女孩脚
坐在学长鸡上面写作业作文
日本人是人吗最佳答案
什么软件可以看打扑克
旅游妈妈给了一次
丝瓜草莓向日葵草莓18岁在线观看免费版
邪恶道日本彩老师
塞跳D开最大挡不能掉
A最大但人文艺术
年轻的母亲5兔费线韩国
14MAY18XXXXXL美国
一支笔把自己做哭
朋友把我玩成喷泉状态
转过去趴好bl
BMGBMGBMG毛太多乱码
汤姆影院TOM转入接口
暖暖直播视频免费高清完整版
小箩莉末发育娇小性色XXXX
年轻母亲8免费观看在线高清
腿再开大一点就不痛了正常吗
男生说要吸你的小兔子啥意思
在线高清电影理论片4399
两个奶头被吃得又翘又肿
哪个网站可以看泰囧
很详细的肉肉床文过程
MD传媒MD0076老师家在线观看
不遮阴小内搭走秀
2012sbs演艺大赏中字
69视频APP在线无限看免费丝瓜晶体公司美食
今日小鸡庄园答案
俄罗斯XXXXXLMEDJYF
大尺寸的小黄说说推荐
一边C一边说粗话小说
老师塞跳D开最大挡不能掉XS
用你的舌头搅拌我的dj
老婆的扇贝张开口了还能吃吗视频
公交车最后一排被C小数据
雷电将军乳液voiux
说说老公夜里顶你的
徐若瑄魔鬼天使下载
绞的他低吼了一声
黑人30厘米全部进去了乌木
果冻传媒母亲和女儿李琼
父母儿女一家换着玩的文案
王者荣耀云缨害羞流口水
国产无人区码卡功能齐全
善良迷人的女教师2中文
仙踪林大豆行情网老狼
女家教 林佩佩
一区二区传媒有限公司
比比东被唐三桶的不亦乐乎语录
家用摄像头被盗拍400部
镜花风月之二艳鬼现身
黑人娇小BBW
被主人罚一整天的小作文300字
儿子突然要上自己怎么办
夹枪带棒1V2舒明明黎远荣
zztt黑暗传送门
我妹妹每天做两小时作业的英文
两个奶头被吃得又翘又肿怎么办
DVD碟片潘金莲
亚1州区2区3区4区产品图片
300元学生过夜联系方式
果冻传媒mv国产陈若瑶主演
人肉腊肠在线观看
自我安抚的步骤图
日本最大但人文艺术
差差差不多视频30分钟轮滑
儿媳妇夸我比他老公厉害
宝宝下面湿透了还嘴硬怎么回事
麻麻熟睡让我滑进去了
放课后の优等生3熟肉樱花动漫
一根筷子怎么玩哭自己的小朋友
女教师的荡欲小说全集
玩小雪跪趴把腿分到最大影视
不知火舞被三个小男孩浮虏
欧美年轻RAPPER潮大豆行情
学长突然将遥控器开到最大
中文字字幕乱码电影1
坐在学长的根茎上写句子
一抽一出BGM免费50分
老师说今天晚上随我怎么弄
是不是想让我弄你了啥意思
14表妺毛还没长齐
用我的手指搅乱吧2未增删翻译
痞幼黑料不打烊
日韩成人大屁股内射喷水
宝宝腿再抬高一点好不好
灌溉系统NPC游戏双男主
学长跳D放在我里面上课作文
北北北砂王者荣耀禁满天堂
137VT最大但人文艺术A豆瓣
美红与王站长交换十七章
美女扒开腿让男生桶白浆动态图片
超砸在线观看免费视频
厨房春潮唐小米
渣男渣女做不干净视频
孟十朵玉女春光图
坐在腿上吃饭连在一起
小鲜肉GARY2022飞机
ぱらだいす天堂中文WWW
亲爱的老师5韩国中字完整版
vodafonewifi性
你们老公玩你的时候都是怎么说
136精密导航AGV
不伦纯爱在线观看
两阳夹一阴后续走势
xxxholic春梦记
中字乱码一二三区别视频
很详细的肉肉床文过程
日本一卡二新区无人区
夜里怎么自己一个人弄自己
木马木棒动得好快bl
真实的CHEAPWINDOWSVPS
おっさんとわたし天堂
无翼乌之我的教师
我C了白丝课代表一整节课
日韩卡一卡二卡乱码新区
色吧有你春暖花开
他那里早已支起了帐篷
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1