有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
宝宝这才三根手指就流
穿戴式跳D放在里面坐公交车
充气娃娃实战演练
我被当成发泄玩具一天的作文
啊灬啊灬别停灬用力穿越古代农村
GTV小蓝视频网站链接知乎
当陆沉往你里面放了东西小玩具
红色一片www在线
在英语课上用j插英语课代表作文
人体艺木艺g0g0
高树玛利亚图片
星空无限传媒XK8027我的妹妹
尝到了甜头两人每天都会想方设法
孤注一掷王传君免费观看
老公当你面吃婆婆咪吗
陌陌小华佗劲爆视频
在公交车上弄到高c的数据
宏翔小蓝视频GY2022的特点
男孩子都会夹住女孩子头发
我的很大你要忍一下的视频
好妈妈4中汉字
女人荫蒂勃起后的视频大全
挪威的森林打扑克又叫疼
READ[长弓燧龙] 甘雨 (原神)
大唐之妻妾成群
云缨救公孙离网址
青梅竹马是消防员第一季未增删
老师你的兔兔子好软水软件
马思纯力挺周冬雨
小东西长大了可以做了视频
把跳d放在里面坐公交车作文
中国老人mandaddyertv
2012sbs演艺大赏
浓毛BGMBGMBGM
小东西看我是怎么C你
动漫人物做差差差看视频
是不是想让我弄你了
精产国品一二三产品区别视频手机
仙踪林老狼贰佰信息网
粉色视频APP在线无限看免费丝瓜晶体公司藏
和教练在车里撞了我三次怎么办
把跳d放在里面坐公交车作文
被子里怎么无声自罚
和老爸睡觉没控制住
妻3蜜中蜜动漫观看
对象一直掐我的奶奶小故事
性一交一乱一伦一色一情孩交
手从小腹一路开到丛林处
晚上睡不着偷偷看B站2022
被窝里的公息第十三章mip
自W到高C的50种图片教程
黑料网-独家猛料-曝光揭秘
公交车6人轮换C白月
两阳夹一阴涨停双响炮形态
日本XMXMXM18小孩
国精产品一二二线网站
斗罗大陆女生去掉所有服装软件
苏家有女2V2H
隐身在课堂里为所欲为的游戏
低头看我们结合的地方小说
相亲对象是问题学生未增删
我离婚后经常和父亲做
CHRISTMAS农村夫妻HO
男生女生一起查查30分电视剧动慢
2021年4虎的新地址是多少
我们换个方式做吧未增删动画樱花
2023国精产品一二二线精华液
国产开嫩苞视频在线观看
tobu8-HD68
宝贝几天没C你了
三期必出三期必出持
忘忧草研究所直接进入
宝宝几天没做都湿成这样了作文
abp-279
文轩WRITE. AS车肉教室
2023国精产品一二三四区
小SB是不是欠C流了那么多
日产无人区一线二线三线HAV
好满射太多了装不下了免费看
国色天香精品卡2卡3卡4
欧洲victoryday
东北女人下面痒直叫
刻晴被盗宝团C的不能自理
人与畜禽共性关系的重要性
一读下面就滴水的说说
女方输了任男方处置清清1000字
男生安慰自己的插画动漫
一亲二膜三叉四强五注射免费应用
厨房里的激战2
弱点73话我也要一起洗
校长你的怎么那么大呀
暖床H1VL1升
GARY东北打桩机无套2023
天堂资源とまりせっくす
汤姆叔叔最新地域网名2021是什么
宝贝我撞的你舒不舒服
网恋见面做H姜之鱼
妈妈的朋友1线在完整视频中字版
男人想让你亲他的私下代表什么呢
一边说嗯一边喘气的声音怎么形容
多肉的糙汉B1H古文
布洛妮娅翻白眼乳液狂飙
日本最大但人文艺术第一组
宝宝下面湿透了还嘴硬怎么回事儿
黄金网站APP视频
《上司部长出轨漂亮人妻》
亲亲抱抱蹭蹭的刺激原声哔哩哔
XL上司第2季未增删带翻译
车内做运动打扑克
原神八重神子被捅出乳液
锕铜铜铜铜v27的独特功能介绍
色吧有你 春暖花开
37大胆欧体人文艺术的价值
国产精产国品一二三产区区别
坐摩托车车进入身体
老师变成全体同学的玩具
二人剧烈运动视频教程
把手脚绑上拿刷子刷尿道孔
产区一二三区下卡2021
白丝极品老师娇喘呻吟小说
品色永远的免费论坛
别怕放松我这是在爱你
国产午夜精品AV一区二区麻豆
老BwBwBwBwBw
含羞草传媒下载应用
2023年免费进入B站
妹妹长大了终于可以c了作文
98精产国品一二三产区区别
MOSTHDCOECTION性
讲述真实的多人运动经历
往下边塞玉器见客人啥意思
乖我们试试在这里
女人越喊男人越往里寨的电视剧
王者荣耀女英雄被捅到流口水
自己在线观看免费高清视频
含羞草MYHANXIUCAO
坐在有木棒的椅子上是什么感觉
皇上撞着太子妃的小说叫什么
自制安慰小玩具
进女小姪女小婷
9uu.cm有你有我
dianchezhilang
18youngchinagir g国
祺鑫振动器河马的秘密河
污网站wallpaper共享人可以看到订阅吗
第一次DOI的感受详细写一下
丰年经的继拇中文3使用方法
洋房里的小草莓1V3全文免费
张津瑜的9分58秒7段免费
野花香在线视频免费观看第一集
男生对女生迈开腿尝尝你的草莓
仙踪林19岁RAPPER潮水仙踪林
桃子视频高清免费观看
最年轻的小峓子5中字巴巴鱼汤饭
比比东吃唐三的棒
东北一家人1一6全文阅读小说
WRITEAS强制标记
1都是怎么进入0的图片
最爽的乱惀200短篇小说
超pen个人视频亚洲
WRITE AS 公共场合
荡公乱妇第1章方情公憩系列大
4480新热首播
我被女婿日得舒服死了
国精产品一二三四区产品
分手那天我们做了十三次
欧洲无人区码一码二码三码区别
女生越说疼男生越往里寒
日本年轻的母亲5观整有限中字
用嘴巴吃鸡有什么好处和坏处呢
班长是我们班的存精器GH
粉色APP下载无限看-丝瓜 安卓
月落归林 BY萝卜药
边做边爱完整版
中欧乱码卡一卡2卡三
厨房里的激战2李明人物介绍小说
坐在学长的棒棒上学作业
善良的小峓子5中字巴巴鱼汤饭较
儿子把坤坤放入妈妈的坤坤里的
人畜禽Croproation
无限在线观看免费看视频
爱情鸟论坛免费观看大全在线中文
秘密教学82这次换我教你了
低头看我们结合的地方阅读
美国K8S经典
女儿初长成爸爸来尝鲜食品
黑帮大佬和我的365日2第二部
激烈娇喘叫床声床震视频
人成乱码一卡二卡三四卡五卡六卡
彩虹男.2022小蓝
老公叫人一起换着玩的说说图片
三妻四妾完整版播放电影
温文尔雅1V2H
别在阳台会被别人看到的
网址你知道我的意思的
斗转星移合成图
夏季短袖看见女同学乳突图
放课后の优等生3熟肉樱花动漫
詹妮弗 安妮斯顿
小东西几天没做水这么多作文
WRITEAS丁程鑫性器丰年
相亲对象是问题学生未增删
电动牙刷自w高c特别快
女儿就是留给爸爸用的
小SB是不是欠C
妈妈的朋友5季
四虎永久地域网名2021知乎
在卫生间里打扑克
大型丁香成人社区
最近免费中文字幕中文高清6
把荔枝一颗一颗往里堆
雷电将军的乳液狂飙图片
JAPONENSIS18一9
日本一姐RAPPER潮水自由
谢俞被贺朝站着捅哭
l多肉的糙汉b1H
双人床上扑克动作视频
等不及在车里就要了老狼信息
xiaav 这里因你而精彩
体育生GARY猛烈GARY
为什么一加速女孩子就会哭
诗锦在公共汽车全文阅读
网址你知道我的意思的
麻豆是传媒官方直接
极乐园女子高寮物语
囗交大图片26交
妈妈的朋友5线在完整有限公司中字
情侣的30种插秧法
英语老师罚我吃他小兔兔
特别漂亮的媳妇和当官的朋友什么
xiao 776
欧亚专线欧洲s码wmy卓越拓展
大学校园1v3
院子里公开惩戒(下)WRITE
147人休艺术 大胆
爷爷吃我的R头
旅行者插了雷神视频
无人区码一码二码三码区别新月
房奴试爱中的运动
麻花传媒剧国产MV网站
laojiumen
一支笔把自己做哭
uyingyizu
女生说痛男生越往里寨的文字
男女差差差30分视频
原神甘雨安慰部下CG插画
国产18禁巨制揭示人性奥秘
无遮无挡在线看
国产卡二卡3卡4卡四卡
两个男人玩一个女人
3是不是欠C很久了H
女生和男生差差差带痛声
班长哭着说我会坏的
朝俞R车WRITEAS震动器
脱色摇床实验室振荡器雷安
女儿男朋友是妈妈的爱豆的电视剧
HONGKONGDOLL看片黄
AI换脸WWW在线观看视频
一前一后三个人轮换的英文
WRITE AS 四人
欧洲VODAFONEWI喷浆
早上起床前要抱紧我风车动漫
男朋友说该插秧了
前后攻击1v2
日本一码二码三码区别在哪
我等不及了给我好不好
yellow动漫网
杨思敏版1到5集国语版
和平精英中女性的乳液
小男孩把坤坤放在小女孩脚
18C MIC新地址
张婉悠厕所门是什么
京圈公主 多人运动
鲍鱼网名区域2021
伦理片在线线看手机版韩国
男男车车好快的车车有点污网站免费
双人床上扑克动作视频
免费做运动扑克视频网站
俄罗斯FREE性16
很详细的肉肉床文过程
麻花传媒XXYZ0076沈芯语
绿巨人二维码推广下载
黎朔WRITEAS
JEALOUSVUE成熟50MAOFF狗狗
原神凝光肉身待客
亚洲码一码二码三码区别
王者荣耀伽罗爽上天的表情
李宗瑞108集在线观看
后车座的剧烈运动
偷看各类wc女厕嘘嘘
亚美只只百度云
小洞饿了要吃大火腿肠吗
野花视频观看免费最新
品色永远免费堂论坛
动漫人物将机机插曲漫画小说
年轻的小峓子4中字巴巴鱼汤饭
天天躁躁水汪汪人碰人
双人床上做剧烈运动纯开小黄车
榴莲app推广链接
一根筷子怎么玩哭自己的小朋友
马思纯力挺周冬雨
日韩一卡二卡 3卡四卡乱码
不对劲的监考老师像素游戏
无忧传媒短视频运营
老师上课把跳D突然被开到最大
老婆出轨时给老公打电话
再见美丽小姐剧情分集介绍
儿媳妇 水这么多还说不要
换个地方做吧未增删樱花
免费120秒体验试看5次
张书记跨下的杨雨婷
男生的GGY钙2023入口
黑料热点事件吃瓜网曝在线
韩国女主播种子
往下边塞冰棒是一种什么体验
激烈的打扑克的视频
国内国精产品一二三区传媒
四虎最新地域网名2021免费
不良网站正能量免费进入窗口
丁香花大型成人社区
事物的秘密截取水中一段
在公交车上要了无数次
年轻的母亲在线视频HD中文字幕
FRXXEE中国XXEE护士
家里什么东西能当阳具
俄罗斯POMOGISEBE
XL上司第2季未增删带翻译
两个人完整视频在线观看
欧洲N00N兽交剧
bgmbgmbgm老妇60岁
精产国品一二三产品区别在线
能看到女生所有部位的头像
妈妈的朋友6整视频有翻译木瓜
无翼乌邪恶彩色无摭挡
国色天香V天美传媒麻豆
精产国品产品的推荐
无人区码精华液
男朋友买玩具玩哭我
EveIynCIairn黑白配
旅游时跟女儿有了关系
日本ZLJZLJZLJZLJ日本
打朴克剧列运动动画版
把女朋友弄成小喷泉是什么意思呀
张雨欣人文艺术欣赏
夜玩亲女小妍小说
男在上女在下git动态图
婷婷四月开心色房播播
雨果 百度影音
蜜芽忘忧草768.mon.二区老狼大豆
从黛玉的身体里退了出来
在车里撞了我八次高黄肉
两边一起的话会坏掉的动漫
开车视频疼痛有声音水水
2分30秒不间断踹息声音频MP3
斗罗大陆小舞大乱斗交大游戏
老师家里没人你用点力好好快软件
写的超细的开车片段推荐
欧美无人区码卡二卡3卡4乱码
律师的小秘书1V1H
中文字幕无线码中文字幕
网站你懂我意思吧最新
卡一卡二新区无人区
赵奕欢魏晨亲密照
如何用一根棉签玩哭自己
激烈娇喘叫床声床震视频
蜜桃文化传媒有限公司
放里面不动是种什么样的感受
GOGOGO高清免费看韩国
女孩怎样练双指探洞
一飞冲天动画片
美国VIDEOSCRIBE
男女一边摸一边做爽爽的免费文字
抱着公主走一步撞一下
班级的公共玩具小O
宝宝我们对镜子C好不好
蘑菇影视 我妈妈的职业
21CM坐上去感觉是怎么样的
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1