有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
镜流口水流白色液体正常吗
英语班长要看我的小积积
不知火舞三个男儿动画
用注射器打水放屁眼里的视频
一面亲上边一面膜下边打扑克图片
c了瑜伽老师嗷嗷叫一节课视频
公交车上C了两个小学生
一边喘气一边叫做摸小兔兔推荐
金瓶双梅2房奴试爱
宝宝我们去阳台做一次试看
抖音奶片故意走漏视频7028
性 爱 免费 视频
12岁PG可以塞下多少根棉签
年轻的母亲6在完整有限中字
一见面就不停的要我
黑料永远不打烊吃瓜爆料
老扒和三个熄妇
公交车双指探洞
色网址大全导航
最近最新的2019中文字幕
原神甘雨安慰部下C插画在哪
PRISON HIGH PRESSURE
父母儿女媳妇一起来玩的说说
亚洲无人区码一二三四区别
人和畜禽Croproation
车后车座的疯狂的做细节视频
单身男子俱乐部
夏娃的诱惑中文版
课后辅导(教室羞耻PLAY慎入)
毫不犹豫的进入
第一综合会所sis001
是不是想让我弄你了啥意思
洗澡三十分钟被公强玩
怎么玩自己的r头
日本漂亮妈妈7在观有限中子
下雨天留客天留我不留
乌克兰laurenphilips
男女晚上做运动生宝宝好吗
男生和女生污污事视频
纯情太子被美女当众扑倒
亲爱的老师6中文版完整版网盘
雨后的故事 动态图
人狗胶配方大全图片
我们4个人换着玩春雨
春暖花开 有你cc
输了被罚让别人玩一个月
特工妈咪惹不得
另类老妇性BBWBBW
梁医生再往下一点吃肉
多毛bgmbgmbgm胖觉觉
youjizz在线电影
16岁日本学生MACBOOKPRO评测
数学课代表的胸摸起来软软的
品色堂 永远免费
成熟交BGMBGMBGM图片
一根棉签怎么自W
涨精装满肚子上学公交车
可以触碰你的樱花未增删樱花
双人床上做剧烈运动可以吗
亚州国产AV精品一区二区三区
poduoyejieyi
欧美无人区码卡二三卡
939W78W78W乳液永久
韩国风俗媚娘吧
三客优理论全新版
魏无羡哭着喊着让蓝湛退出去
女朋友的母亲2语字追剧易
柳青青人体艺术
40岁了总是一碰水很多
japonensis成熟
麻花豆传媒剧国产免费MV入口
做错一道题学长就顶我一下
潘金莲高清DVD碟片免费观看
大手从衣服下摆探进去
怎么把自己自W到流泪
家长会上爸爸们灌满幼儿
差差漫画网站页面入口弹窗秋蝉
英语课代表的胸好软的作文视频
老师拉我去办公室做了一节课作文
坐着震动器写作业WRITEAS
往下面一颗一颗塞珠子的故事
带闺蜜出来玩被她老公骂怎么处理
18款禁用B站免费版
棒棒糖放屁眼里ss
济宁郑媛媛ed2k
94卫校女大喊受不了了在线
精东传媒剧国产MV的特点
安迷修被雷狮强行掰腿图片
新金梅瓶玉蒲团性奴3
JMCOMICRON.MIC2023
老太太BGMBGMBGM性
网恋奔现做了一晚上细节
迈开腿让学才尝尝你的草莓
夏天短袖侧面看见女生小馒头
网站你懂我意思吧
男在上女在下git动态图
被抱起来C是一种什么体验知乎
情侣的100种插秧做法
我们四个人换着玩的感觉
无颜之月第五集你会回来感谢我的
BGMBGM浓毛老太太
宝宝你看你喷的到处都是作文
一小孩儿半夜给女孩吃坤巴
丰年轻的继拇中文3的特色和机能
公交车被蹭的流水了怎么办
KISKIBLUE
扯开衣服两只小兔子跳出来是
金瓶瓶之爱的性奴2
往下边塞玉器出门
overflow带翻译无马赛樱花中文翻译
胸前的大兔子蹦了出来视频
可以对女生做什么都可以的手游
往下边塞玉器见客人作文
草莓榴莲向日葵18岁站长统计
实时观看双人床上做的运动扑克
用卫生纸制作一个假j
二人扑克剧烈运动视频教程
女儿国3在线观看免费版高清
小东西几天没做怎么这么多水视频
五十度灰 种子
国产开嫩苞视频在线观看
99国精产品灬源码1688小说
韩国年轻的母亲5观整有限中字
石榴裙下的温柔
精产国品一二三产区区别是什么
3DNAGOONIMATION_HONKAI无尺
亚洲一线产区二线产区地图
用我的手指搅乱吧樱花未增删翻译
最后一夜BD韩国
甜蜜惩罚樱花未增删带翻译
让村子里的精灵怀孕4樱花
蜜芽忘忧草768.mon.二区老狼大豆行情网
迪丽热巴AI人脸替换造梦
穿越优质JY收集系统游戏
老卫干淑荣死去活来
小女儿含着巨大写作业
IGAO网站在线观看
WRITEAS丁程鑫性器丰年
父母儿女互换干对家庭成员的影响
减去小舞所有的衣服
精灵の森へようこそ2
双男主车文图长图
亚洲精华国产精华液有什么福利
我的奶头被客人吸得又肿又红
斗罗大陆唐三爆桶波塞西免费P站
18款禁用B站网址
免费无人区一码二码乱码
小婷又软又嫩又紧水又多的视频
ZOOM与人性ZOOM情
19岁MACBOOKPRO欧美
八重神子的神罚
久久丫精品忘忧草产品
又黑又肥的60岁岳
50岁女人做起来很紧为什么
嘿嘿视频官方在线页面入口页面弹窗免费下载
无限在线观看免费看视频
一男一女打扑克
一边被学长撞一边写作业作文
老公吃我的奶奶该怎么回应他呢
山川青空种子下载
露娜用孙悟空的金箍棒玩自己
老阿姨一直叫BILIBILI
夏天校服太透了R头凸出来了
温暖叶非墨车内做
中国vpswindows野外高清资源
结衣波多野电影下载
jing液灌溉系统2号唐小米
趴着一前一后三个人
ZOOM人牛OKZOOM
东西小东西这才一根手指
宝玉车内玩平儿第六回
女生说喜欢被XR是什么意思?
棒棒糖放屁眼里吸收
输了游戏把下面给对方玩
中国新疆XXXXXL19学生申中国
13277大但人文艺术照
女头粉色部位上半身大胸头像
深田えいみ禁欲后被隔壁人妻
APPSTORE美区免费
内谢XXXXX8老
当着太子的面皇帝宠幸了太子妃
精产国品一二三区别9977
中国小鲜肉巨大2022GARY
王中磊玩过的女人
日漫动漫人物将机机插曲漫画视频
美式1984雪莉和保罗谁厉害
多人运动网站无限观看
家里没人我弟把我给办了
writeas前后双插头
班长是全班的玩具第三章
10款禁用软件永久无限次数看
小SB是不是又想要了H
老公总是吃我的奶奶说明什么问题
宝宝把腿抬起来靠墙上怎么回事
拉开拉链它想你了给他好不好
最近2019中文字幕免费版视频
刻晴ちゃんがを腿法娴熟
男生和女生一起错错错30分钟电视剧不大
wy79cm浮力院
国模欢欢高清炮交图片
果冻传媒官方网站入口
老师你的好软水好多的时候图片
GRAHAMCOXON女儿
不知火舞和三个男儿公园
老公和他朋友一块上我可以吗
宁一荣荣开襟乳液狂飙
幼儿hiphop张婉莹仙踪网
马思纯力挺周冬雨
迈开腿吃你小草莓是什么意思
好妈妈5在线观看完整视频
2021高清VPSWINDOWS
月光视频在线观看免费播放
把娇妻借给朋友泄欲4
最近新免费韩国直播视频
受从打结的绳子上走
TTTZZZ668.SU黑料不打烊
大胆西西正版人体
扑克牌又痛又叫软件免费下载
国产亚洲一卡2卡3卡4卡老狼
吃瓜网-免费吃瓜黑料泄密爆料
我可以上你吗日剧
爸爸缓慢有力挺送女儿的话
偷看娇妻被交换
国内精品一卡二卡三卡公司
办公室沙发口爆12P
原神雷电将军把乳液喂给旅行者
2分30秒不间断踹息声音频MP3
春色无边女儿国
皇家小公主1V3
乖我们在水里试一试
男朋友说该插秧了
写的超细的开车文知乎
语文老师塞着跳D讲课
在破房子里和狗做
差差差很疼视频无掩丰富
色翁荡熄又大又硬又粗又视频
把腿张大一点我要吃你的小扇贝
OldMacDonald老人
女生把筷子放屁眼里不能掉视频
父亲的东西又长又黑的说说
深田えいみ无码作品
没带罩子让他吃了一天没事吧
能干的猫今天也忧郁
老师裸露胸被强挤奶漫画
公交车后车座的疯狂
八个大灰狼吃掉小绵羊
日本摩天轮变办公室
荒野大镖客老奶奶
免费国精产品一品二品
娘王 virgin
日本RAPPER潮水RAPPER万家乐
入禽太深高清视频韩国
全程一个男的在啊的纯音乐
缓慢而有力的往里挺送作文
斗罗大陆唐三爆桶波塞西
往子宫里尿一泡会怎么样
电车之狼r去马赛克补丁
电动木棒动得好快
51CG今日吃瓜热门大瓜
英语老师没戴套让我C了一节课
CLB3萝卜越勃越有劲萝卜视频
6月6日蚂蚁庄园答案
抖音C人版奶片7028
猎艳十大名器艳妇
波多野结衣系列在线观看GVG
才几天没C你水就这么多了
美国ZOOM人与ZOOM欧
泷泽萝拉第四部ed2k
啊做错一题学长插一支笔
榴莲app下载进入网址
妈妈的味道HD免费
污秽的教室未增删翻译
一边喘气一边说嗯的词
神奇宝贝ag132
女生和男生在一起差差差体验
老子今天晚上骑疯你
GOGOGO高清免费看韩国
阿拉善8人大战视频
超级肉禽系统的小说推荐
说说你们老公夜里怎么搞你的
24小时韩国日本高清免费观看
做完之后用玉器堵住皇帝
MIGNON动漫
儿子耕种母亲的田地叫什么
用他的大句号撞击我的小括号
BBW与WB和老妇女
韩国女主播种子
秘密教学第41话子豪进入svip
父母和儿女之间的交换
涨精装满肚子去上课
只要两个手指带你体验水上乐园
波多野结衣作品封面
《苹果》未测减除版
课代表趴下让我连桶了30分钟
狗狗的东西好大图片
鲍鱼网站最新网名2021
GOGOGO在线播放中国
品色堂 永远免费
八重神子被注射不明白色物体
午夜dj在线观看高清
亚洲一线产区二线产区精华液
姐姐的朋友9完整视频有翻译
你的好大我的手都握不了
中国人成熟视频
无人区码精华液
总裁缓慢而有力的往里挺送
国产MV高清砖码2022
我的好儿子妈妈是你一个人的
BabyCAT98女rapper
亚洲乱码卡一卡二卡新区公司
亚洲1卡2卡三卡4卡2021
丁香成人大型社区
护士VODAFONEWIFI
别急妈又不是不让你C视频
强伦姧人妻三上悠亚中文字幕
sqte-046
英语班主任让我吃他的小兔兔
白丝高中生被C到爽哭视频
我的XL上司第二季未增删翻译中
学生自W到高C的25种方法
绿巨人推广APP网站入口官网
两个蛇根吃不下呀
国产精华液一二三区别在哪
漂亮的保姆中字
善良的小峓子5中字巴巴鱼汤饭较
多毛BGMBGMBGM胖老太太
美丽姑娘韩国在线观看免费
夏家三千金2部
revenge第三季
13一14处出血PPT
宝贝看我怎么破你的初试视频
老师拉我去办公室做了一节课英语
风韵诱人的岳欲仙欲死在线观看
我被公满足舒服爽视频
金刚杵汆肉莲全过程
tobu8美国14
班长是全班的玩具
WRITEAS怀孕涨奶
品色堂永久的免费论坛
你们最疯狂的一次是在哪
最近日本字幕免费高清
当兵的晚上弄不停
几天没C水这么多公交车
野花免费观看日本电视剧
为什么没人喝猪奶
成人文学俱乐部
车肉短文300字左右
优质JY灌溉系统
斗罗大陆2大乱斗交大配目录1
甘雨拔萝卜视频素材
厦门大学图书馆女厕
段嘉衍路星辞肉车终身
宝宝好涨水快流出来免费视频软件
宝宝这才几天没C水就这么多
9420高清视频在线观看国语
主人能把遥控器关了嘛
欧洲N00N兽交剧
鲍鱼最新地域网名是什么2022
被窝里的公憩第26章
拔萝卜痛又叫黄
ピースエロじ天堂官网
色戒完整版视频哔哩哔
MD传媒作品大全
学霸将遥控器开到最大
英语课代表让我桶她的BB
精产国品一二三产区蘑菇视频
爸爸我怀了你的孩子免费阅读
小峰由衣热血教师
一抽一出BGM毛
俄罗斯大荫蒂女人毛茸茸
我撕开岳的丁字裤
引导狗狗上自己
王者荣耀女英雄去掉小内无爱心图片软件
WRITEAS洛温塞东西
张柏芝艳门禁照
另一类ZOOM与人性ZOOM
极品教师全文阅读无删减