有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
4399看片在线看动漫
嗯宝贝叫的再浪一点
王者荣耀瑶嘴巴里含着铁球视频
小东西他想你了给他好不好
至尊宝用金箍棒桶紫霞小鸡
公交要了很多次
人们俗称的拔萝卜
xl先生未增删翻译免费樱花
路虎车内激战2小时
腿再张大一点就可以吃到扇贝了
ZOOM和OKZOOM
妖精的尾巴oad7
后营露营第二季无增减
孩交VODAFONEWIFI
八重神子的乳液狂飙视频
花核肿胀无法闭合
CHINESE直男口爆体育生外卖
善良的妻子1中字巴巴鱼汤饭惹人
4399在线播放免费
W无区码一码二码三码
你弄得人家里都是水
张津瑜6分视频
BMGBMGBMG毛太多乱码
史莱姆のエロ胡桃
杂交BUCSM人类SSBA
暖床H1VL1升
国内女RAPPER大全
一浅二深三大叫
夫妻成长日记二
车子一晃一晃正好掩盖我的几把
被二指探洞感觉要喷了文章
吃自己的丁丁的方法
男男车车好快的车车有点污的网站
小洞饿了想吃大香肠的注意事项
日本大但但人文艺术
幸存者第二十三季
182TV在线播放地址
韩国年轻的母亲5观整有限中字
人与畜禽CROPROATIO一
啊我们换个地方C死你
对你上瘾1V3
迈开腿让我吃你小草莓
宝贝把腿开大让我添添电影
bgmbgmbgm老头野外
最近中文字幕免费国语6
嗯嗯宝宝怎么啦难受吗 疼
男人大鸟硬起来图
lululemon露露瑜伽服
猫咪地域网名入口639CFIOS
换个地方做吧未增删动画动漫
欧美无人区码卡二卡3卡
按摩师用嘴亲我下面过程
刮伦后心理咨询
公交车最后一排被C细节描写
被吃兔兔的感觉
小喜含不下了先出来吗
99品一二三产区区别
女婿的东西太好了
最近2019中文字幕一页二页
哪个网站可以看泰囧
迈开腿让尝尝你的CH宝宝
丁香花chengren
上课带着跳D是什么体验
朋友的母亲3有限中字木瓜
榴莲草莓未满十八岁做法大全
99西方大但人文艺术
学生的妈妈5中韩双字多
ysl水蜜桃色推荐17
老师辅导作业下面连在一起
母亲6免费完整高清电视剧在线看
bgmbgmbgm毛多多
免费网站看完你会回来感谢我的
丰年经的继拇中文3使用方法
嫩草研究所官官人口2021
你们第一次是怎么弄的
无人区免费一二三四乱码
女生最怕的情侣玩具
放学被几个人拉到没人的
BabyCAT98女rapper
旗袍全是开襟做运动
喜爱夜蒲2 粤语
HD2LINODE国产IPHONE69
鲍鱼最新地域网名是什
有没有在线观看的网站正能量
放心我只在外面蹭一下文字
今晚家里没人叫大声点声
养敌为患漫画免费全集下拉式
免费的剧烈运动扑克视频
前夫见一次睡我一次
办公室内衣樱花未增删翻译
亚当的六个女人
一件一件的剥开我的衣服
妇女被深耕过后有哪些表现呢图片
捧小伙人帅吊大GAY
张津瑜的9分58秒7段哪里可以看
过来自己趴好选工具小视频
太大了小喜涨死了
soe-992
免费看桶机三十分钟不用会员
一口一口吃掉胸口的奶油的视频
G位的准确位置怎么找到
农村情侣电动车野战
舌尖伸进去吸允小豆豆
雷电将军ちゃんがを腿法娴熟部下
女装正太 my pico1
我把语文课代表做哭了
十九岁韩国免费完整版
坐着震动器写作业
双龙NP黑粗撑开宫颈口BL下人
stevehopper办公室
8X8X网最新地址
欧美VPSWINDOWS极品
51吃瓜APP
威久国际精彩视频2022年8月9日
错一题就放一个葡萄
无人区一卡2卡三卡4
男生安慰自己的插画动漫
上边一面亲下边一面膜的
to love第二季
欧美三根一起进三P
天美传媒我的妹妹董小宛
班长的兔子好软水好多免费的网站
双杠分腿坐前进
歪歪漫画登录入口免费
GAY引诱外卖员COM2O22
麻花传md0155苏蜜清歌在线
亚洲一线产区二线产区区别在哪儿
GoGoGo大但人文艺术张
2018国产大陆天天弄
含羞草传媒下载应用
撩她上瘾(黑暗森林)
啊哈别..别揉那处了
含羞草卡1卡2卡三卡2021精品
第一会所s001
女朋友的母亲2语字追剧易
女儿吃父亲的棒棒糖的说说
椒小BBWBBWBBWBBW
3分25秒痞幼视频是什么东西
啦啦啦免费视频观看在线BD
用大宝贝疏通女儿的下水道好吗
男生女生一起差差差带痛声30分钟
看我是怎么C的你叫出来了
大尺寸的小黄说字多肉医生
福利SU黑料正能量网址入口
sky-258
当着全班人的面做
坐姿双马尾duangduangduang
工口无翼乌彩色无摭不知火舞
赵露思乳液凸出来了
萌白酱17分钟视频
94卫校女大喊受不了了在线
啦啦啦日本电影在线观看高清
爸爸的东西又大又黑怎么形容
新版猫咪地域网名入口3.0
中欧乱码卡一卡2卡三
按在镜子前窗c
538视频这里只要精品
人物动物交互狗免费
教女生自己捏自己的小兔兔
母亲とが话しています第一
午夜DJ观看在线HD高清
男朋友进入的那一刻你的感受知
热久久最新网站获取
小sb是不是又欠c了若若
国内CHEAPWINDOWSVPS
曜给西施焯的脸红
ZOOMSERVO
zoomdog2019
人与ZOOM日本人
坐在上面怎么晃教程动画图片
韩国妈妈的朋友观整有限中字
把棉签放屁眼里一进一出
七零空间知青娇宝
父母儿女媳妇一起来玩的说说心情
japonensisJAVAHD大豆行情
一直喝水不让尿捂着的作文
年轻的母亲5免费观看翻译
性系MACBOOKPRO高清
叫大点声今晚家里没人冷教
女人喊疼男人却往里寨打扑克
宝宝这才几天没做水就这么多故事
不知火舞 动画
双指探洞疼哭了
郑媛媛未经处理雅照
儿子一晚上要了我三回怎么办呀
snis939
舌头钻到花唇裂缝中滑动
4438x20全国大
翁公的浓精11部
夜倾情之保姆的诱惑
宝宝S里面好不好
WRITEAS罚坐
早上起来发现还连在一起
学长的手指在里面转动的写作
打扑克喘气声音
日本对澳大利亚
47大但人文艺术欣赏
花火のエロドラえもん动漫
小乌酱黑白双丝脚足在线看
孩子还没睡老公侧面做妈妈帮
手机调成震动夹在中间
几天不见怎么这么湿
帅同社区 文学转载
14MAY18_XXXXXL56ENDIANKINO
世子很凶插花弄玉前进后出小说
汤加丽露生殖147图片
一支笔C哭自己自W到高C
男生的坤坤放在女生的坤坤里蘑菇
国产一产二产三精华液区别在哪
国精产品源码1688在线
色天使色护士在线视频
天降女子第一季未增删带翻译樱花
农夫成人网站导航
腿张大点我就可以吃到扇贝了图
女孩子的第一夜图片
好男人资源在线观看高清播放免费
两女一杯是什么
农妇肉体AABBWHBBW
20岁女RAPPERDISSSUBS汉语
为什么女生一被上就老实呢
班长是班级的公共玩具作文
被一条蛇C到崩溃车
原神甘雨被史莱姆注入
你说怎么那么大那么粗
打扑克视频用点力
他趴在两腿中间舔我私密有事吗
汤加丽露生殖147图片
三个人玩我一个人是什么感觉
独角兽高达06
老人在树林里做见不得人的事
水蜜桃秘密基地
天美传媒国产剧影视公司
接着更是发了狠的弄
男生和女生玩滑滑梯是什么意思?
ysl水蜜桃色推荐17
在厨房要了朋友麻麻
APPSTORE美区免费
硬粗的大棒子在花蕊厮磨中的作用
一二三四免费中文在线1
亚洲欧洲卡1卡2新区
啊学长我们换个地方
年轻的母亲4兔费线
ZOOM与人性ZOOM2023
交流1V3多肉
嗯宝贝叫的再浪一点
久久无人区卡三卡4卡
魅魔乳液狂飙图片大全
没带罩子让他C了一节具体写文
女篮坎贝奇惊艳三部曲叫什么
宝宝乖夹住别流出来了
再见美丽小姐剧情分集介绍
清恋 seiren
亲吻摸摸蹭蹭抱抱哔哩哔哩
丰裕纵满的保姆
性生20分钟性生20分钟
糖心VLOG产精国品免费老
父母和子女互换
向小小花蕾深处前进讲的是什么
作的女朋友叫的快哭了
鬼灭之刃は鬼の妊娠を甘露寺
沉香一线产区和二线产区的区别
自己玩r头教程
老师上课把跳D突然开到最大
娇妻被朋友玩得呻吟在线电影
闫凤娇厕所门事件
原神八重神子被捅到流口水的游戏
草草最新发地CCYY备用
亚洲一线产品二线产品
Naruto Konan Hentai小南
BBW与WB和老妇女
天美传媒剧国产剧情MV
啦啦爱免费观看视频
百合做运动视频教程网站
最近中文字幕2019视频
刻晴被盗宝团注射药物
黑人猛挺进小莹的体内视频
14MAY18_XXXXXL7777
IPHONE XS MAX在日本
母亲把身体做生日礼物
欧产日产天香区
舌と唇と唾液が浓厚
污到你下面流污水的说说
吸小兔兔是什么感觉
2012日本高清免费中文
动漫美女被辱图
一边亲着一面膜下奶韩剧
舞林大会棒棒糖
安迷修被雷狮C出液体图片
中国小鲜肉GARY网站有限公司
比赛谁输谁去谁家受罚随便玩
まことNICO免费视频
打扑克牌又疼又叫视频原声免费
迈开腿我要C你
斗罗大陆小舞大乱斗交大游戏
美国14岁女rapper
玩弄朋友娇妻呻吟交换电影
我是全公司的发泄玩具ih
雷电将军ちゃんがを腿法娴熟部下
snis-939
伦理在线看年轻的母亲4
欧美最强的RAPPER潮水
白雪公主被树干哭的故事简介
被学长C了一节课怎么办
痳麻让我挺进她的黑森林电子书
伊甸园一路二路三路四路入口位置
dazeyouxiang
WRITEAS天尊被吊着受罚
坐在硬邦邦的rb上面写作业
夫妻成长日记二
中国小鲜肉巨大2022GARY
人成乱码一卡二卡三四卡五卡六卡
塞跳d开最大挡上课不能掉
亚洲精品国产精华液怎么样
怎么把自己弄到喷泉
爱情岛路线1线路2线路3京东唯品会苏宁易购
年轻女教师6在线播放
民工把我奶头掏出来了怎么办
女人被两根茎同时进去图片
proumb18
黑道少爷爱上我
朋友的母亲在完整有限中字
跟狗做被婆婆发现后拉下水
健身私教弄了好几次
学霸写作业让受自己动
樱花app视频污
男朋友晚上怎么做你的
野花视频免费观看在线
阿离掀开自己副乳的图片
国产sdram
正能量网站www正能量网站
跳D开到最大C死我
优质rb灌溉jy系统
大家最刺激的一次是在哪里
写的比较细的开车文章
没带罩子让捏了一节课怎么办
蜜桃成熟时3 qvod
chinese直男飞机18
写的超细的开小黄车的片段
在没人的地方被C
果冻传媒免费观看一二
江疏影2分28在线
十二星座离奇事件柳岩
黑料不打烊肾虚十八连入口
老师拉我去办公室做了一节课英语
亚洲无人区一卡2卡三卡
走一下就往里撞一下
压在阳台玻璃上做给别人看
幸福宝8008隐藏入口2023
丰满少妇大叫太大太粗
不知火舞和三个小男孩儿
XL上司樱花未增删翻译中文翻译
25岁的女高中生相亲对象是问题儿童
怎么吃到自己的小鸡教程
妹妹中考前让我C了1次作文
今晚咱们试试阳台
疯狂厨房2双人35视频
婉莹满足了十几个农民工视频
老卫和淑嫆第一次在船上
上官婉儿翻白眼流口水流眼泪
妈妈的朋友4线在完整有限公司中字
午夜dj在线观看高清完整版国语
2023国精产品一二三四区
喷泉1V3高HP科普
张津瑜 VS吕总卫生间
躺在我跨下的英语老师
水蜜桃秘密基地
亚洲日本一线产区和二线
china外卖小哥gary2022
上面一边亲下一边面膜是什么意思
亚洲一卡2卡3卡4卡国色天香app
开过荤的女孩能憋几天
年轻的母亲4有线观
XL上司未增删带免费翻译樱花
被学长抱到没人的地方
疯狂伦交2完整版
被困住的我们韩剧
九一制作片场视频
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1