有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
赵露思乳液头实出
性满足BBWBBWBBW
我一边做饭一边被躁了怎么回事
中国bgmbgmbgm老太太70在线
小SB几天没做SAO死了
把腿抬高点添的才舒服总裁
亏亏插曲叫疼的免费的视频
一本岛道在免费线观看
最美情侣高清免费
阿岘洞夫人国语
上边一个日下边一个非念啥电影
变形记化不开的网
高清男女之间射精
妈妈的朋友4在完整视频带翻译4
WRITE AS尿出来
四种人不能吃辅酶Q10多少钱
日本是人类吗?
办公室被公司领导C了很多次
BBOX残忍BASS
xl上司带翻译中文版
云缨的乳液长什么样
原神甘雨被史莱姆注入
草莓榴莲向日葵18岁站长统计
大山里疯狂伦交
OG日产精品一卡2卡三
交流1V3多肉软玉娇香
做完放里面睡觉是什么感觉
夹住去上学不可以掉下来作文
坐在鸡上写作业好疼
韩漫漫画登录页面免费入口弹窗
快手王多鱼被C视频完整版
妈妈说只要爸爸不在家就可以大武
我被当玩具发泄的一天作文
中国人在线观看免费的视频
破了新数学老师的处
两座雪白玉峰弹跳而出细节
儿子妈妈已经是你的人了
星空传媒XK8004的未来发展
男女车车好快的车车有点污网站
精品一卡2卡三卡4卡三卡免费
99无人区码一码二码三码
可播放的STEVEHOPPER
亲亲抱抱举高高蹭蹭的刺激原声
我想用扇贝夹你的乌龟
能让你流污水的作文
淑芬两腿中间又痒了
打扑克的剧烈运动没有马赛克
日本高清哔哩哔哩视频
日本卡一卡二卡3卡三卡乱码
王者荣耀女生去掉小内皮肤无烟雾
无翼乌老师漫画漫画全集
为什么抽的越快叫的越声音大
她忘了蛇是有两根的
老奶奶vpswindows在线播放
公交车舒婷1一20全文TXT
不想疼就把腿分到最大到再打
老扒和他三个星妇全集
孕妇震BBOX
打开腿吃你的扇贝
高能多r纯车多人
一前一后同时攻击舒服吗
男男车车的车车网站推荐
51吃瓜爆料黑料官网
泷泽萝拉第四部ed2k
爱情爱情岛论坛线路播放1
一上一下不停运动免费声音
沈倦把林语惊做到哭
宝宝腿抬得高一点就不疼了
PRUBURB国内官网入口
舔下面好舒服都是水
939W乳液78W78W永久73H2GA
人与畜禽交互MOUSE
公交车一摇一晃双指探洞视频
大团圆结白结的故事
在厨房要了朋友麻麻
69日本人XXXXX
张津瑜处理通告
卫老汉与淑蓉第一次
旅游途中换着玩
大雨天和驾校教练在车里
星空无限传媒国产剧情游戏
事物的秘密截取水中一段
没带罩子让他C了一节课怎么办
醒来发现狗在上我
一区二区无码精品AV
麻花传媒MV一二三区别
一面膜上边一面膜下边53分钟
女士不遮阴内搭图片
晚上听见公婆办那事婆婆还叫
冰葡萄一颗一颗往下体塞
心疼儿子可以给他一次吗
电车之狼r调教攻略
爱情鸟免费论坛在线com
CHINESE体育生东北露脸SOLO
仙踪林2021
53岁沈阳老阿姨叫得没谁了
jy灌溉系统公交车
国色天香卡2卡三卡4
国产日产欧产综合
女朋友特别会夹是什么体验
仙踪林18岁RAPPER潮水偷轨
警花张津瑜头撞玻璃
情感的禁区1080
黑人啊灬啊灬啊灬快灬深用口述
S把M骂湿的句子
老湿机影院试看十分钟
迈开腿让我可以尝尝你的味道
ati mobility radeon hd
诱人的小峓子BD中文字幕
红猫大本营点击进
sqte-046
张津瑜落地窗酒店
中文字幕无线观看高清
高冷男受用钢笔玩自己GH
你的棒棒能通通我的下水道吗
用注射器打水放屁眼里的视频网站
臭小子我是你岳...你不能
体育课被c了一节课怎么办
上边一面亲下边一面膜的程序
108式春床图片欣赏
情侣的100种插秧方法
欧洲无人区卡一卡二卡
原神当甘雨被空C出液体
二三四五六七无产乱码
搞机TIME恶心直接打开的网页不用下载
四虎 .4HU .影院
张津瑜口卫生间
深度按摩BY鸦鸦吃肉不吃是素笔
20厘米把女友干到走不了路
最近2019免费中文字幕
错一道题就插一支笔怎么办
老婆说她想尝试多人怎么回复
只有放在你的身体里才能解毒
无人区玫瑰第二
BGMBGM老太太毛多多金属
萝li精品资源无码
把冰块夹好了不能掉出来的方法
朋友把我玩成小喷泉了视频
人成乱码一卡二卡三四卡五卡六卡
兄弟两个人一前一后
满清十大刑酷之凌迟快播
歪歪漫画登录入口免费
雷电将军乳液狂飙VX网址
不被原谅的搜查官
脱色摇床的视频大全
儿子一晚上要了我三回怎么办呢
国模欢欢销魂全过程
说服好兄弟让一堆人c我作文
我才上六年级就C过了作文
漂亮妈妈3在观有限中字
原神八重神子被捅流口水的游戏
刺激打扑克摇床又疼又叫原声
帅气GARY体育生网站MV视频
濡湿的车站未增删带翻译
overflow在线未增删带翻译
双人互动插画图片视频
两种进入狂野式的方法有哪些
为什么女的干一炮就老实了
天海翼家庭教师qvod
早就想在公司把你给办了
腿张大点就能吃扇贝不疼视频
亲爱的老师3韩国完整
zljzljzlj日本人大
舌头伸进去添能让高潮来的更早吗
人与畜禽共性关系的重要性有哪些
爱你24小时不打烊
公交车轮换C程雪免费阅读
好男人手机在线观看免费高清完整版
整篇都是车的文章
中国新疆XXXXXL19学生申中国
朋友把我玩成喷泉了怎么办
杨敏思版1-5完整无删减版
色翁荡熄500篇
斗罗大陆人物黄化3d漫画
182TV在线播放地址
蜜芽永不失联网址miya737.mon
芳草地在线观看播放在线观看
诱人的小峓子BD中文字幕
粉色高清在线视频免费观看HD
宝宝这才几天没C水就这么多
把它堵住不能流出来下周检查
姐姐说家里没人可以C
XL司樱花未增删翻译
蝴蝶传媒视频无限观看三次
和同学一天弄了好几次小作文细节
刻晴被盗宝团C的不能自理
女人迈开腿让男生吃草莓
亚洲乱码一卡二卡卡3卡4卡
台湾SWAG官方网站进入方法
宝宝你好会夹啊都拉丝了作文视频
糖心VLOG小桃内射频网站
老树逢春 大梦未醒
40岁阿姨荒野大镖客
天天躁躁水汪汪人碰人
朝鲜女子内射杂交BBW
我被继夫添我阳道舒服
2021蜜芽美国无吗
王者荣耀西施爽上天的表情
撑起伽罗的腿疯狂输入游戏
19岁macbookpro未满16岁
女神漫画免费登录
抖音奶片无罩子52秒回放
迪卡侬潮水门事件15分钟
污污的文章 看了会出水
精东影业天美传媒网站
校服下摆太紧不好c
差差漫画登录页面秋蝉免费
第1章 厨房春潮
原神女角色开襟乳液狂飙
亚洲一线产区二线产区地图
网站你知道我的意思的www正能量
班主任的大兔子好软水视频
打扑克牌的剧烈运动视频全过程
成片人卡1卡2卡3免费版
我的我的风流岳每2
男孩子淦哭男孩子黄文
娇妻玩4P被3个男子伺候
班长的兔子好软水好多免费的网站
开车视频有声音免费软件APP大全下载安装
顶的速度越来越快
嫩BBB槡BBBB槡BBBB
natr-241
老人船上弄雨婷第12章
成片人卡1卡2卡3免费版
福利卡1卡2卡3精品推荐老狼
密桃成熟时33d完整港版
言教授要撞坏了中催奶
学长能不能换个地方做工作
睡遍娱乐圈女神
老师您的兔子好软水好多樱花国漫
富二代国app产下载
人妻无码AV中文系列
废旧厂房里和流浪狗做天本
斗转星移女明星合成
69无人区码一码二码三码区别
小黄说说1000字污
我们在阳台来一次好不好
亚洲一线产区二线产区
一面亲上边一面膜下边的日志
狗狗的东西又硬又烫
玩R头的100种方式
把我的香肠塞进你的甜甜圈
公孙离去所有衣服跳惊鸿
椒小BBWBBWBBWBBW
大佬360DNI2在线观看
再把腿张大点就可以吃到扇贝了
一体6交是哪6个地方
好男人手机在线观看免费高清完整版
中文在线4月4日快速反弹
国产MV高清砖码2022
国精产品WNW
男男车车好快的车车真人免费网站
爸爸我可以吃你的棒棒糖吗
最近2018免费中文字幕4
巜班长哭着喊着不能再C了
老师家里没人你用点力
欧美BBBBBBSBBBBBB办公室
公主往下边塞玉器是哪本书
宝贝流了怎么多还说不要
老王头的幸福晚年张倩倩
墨燃把楚晚宁按着干188章
赵露思AI人工智能造梦
蜜芽忘忧草768MON二区忘忧草
抖音成长人视频B站
游戏输了让同学玩全部位置
日本iphonepromax70
秘密教学93话恩爱久等了梦境
YSL千人千色T9T9T9最新
bbox撕裂bass俄罗斯仙踪林
好满射太多了装不下了动漫软件
斗罗大陆2大乱斗交大配txt
为什么女生一被上就老实呢
双人床上做的运动打扑克视频软件
蜜芽国内精品视频在线观看
云缨新皮肤p掉衣服裸
7000万嫁女
rh男1做0车车的车车视频网页
女生让男生诵自己的诵视频
天美传媒视频原创在线观看网站
国产一品二品三品的区别在哪
日韩一卡2卡3卡无卡新区乱码
宝宝你好会夹啊都拉丝了作文视频
一边被学长撞一边写作业作文
你的太大了我装不下
欧洲乱码卡一卡二
美女扒开尿口露出奶头不遮挡图片
电影院最后一排要了他
小东西是不是又想吃棒棒糖了
大菠萝18福建导航
日本亲子乱子伦XXXX50路
宅男宅女电影网
爱如潮水图片高清日本
永久939W乳液78
MD豆传媒一二三区进站口电影
甜性涩爱bt下载
免费夜间做运动视频扑克视频网站
YELLOW高清视频
诗锦在公共汽车全文阅读
精品乱码一二三四区别
段嘉许把手指探了进去是什么
我们在线观看免费BD视频
太多了装不下h11怎么办
宝宝的水喷得到处都是小作文
他的白月光HvH桔子糖水百度云
班级每人c我半小时班长
坐在硬邦邦的rb上面写作业
高效天堂在线最新版
日本一姐潮水RAPPER超多
精产国品一二三级产品区别
漂亮人妻被维修工侵犯的后果
大菠萝福建导航app
打扑克牌男女剧烈运动原声音频
最近中文字幕2019国语4
女子学校储物柜3.0
我和公GONG在厨房日本电影
兰姨不敢发出一点声音怕吵醒风
两个人一前一后攻击我怎么办
十九岁韩国HD免费完整版
色心色心board
他把我批日出水了
被抱在墙上C是什么感觉
炎孕乳身体检测2
不遮阴的小内搭
撕掉她的外衣7
老师洗澡让我吃她胸视频免费
歪歪漫画登录页面免费环球
晴雅集 在线观看免费完整版
井川里予黑料33秒怎么看
qvodsetup3
最好韩国日本免费
男女一边摸一边做爽爽的动态图
挺进毛还没长稚嫩的小花苞
宝宝才三根手指就受不了
公交车撞到最里面去了视频
迈开腿男人往里怼女人的做法
日本无人区码SUV
我早就想在公司要你了视频
蜜芽永不失联2023
好姑娘8免费版
欧美RAPPER潮水一欢迎您
含羞草MYHANXIUCAO
踩踏终点站文化馆
刚开笣没多久的大一新生
超污的开车过程句子描述作文
2021国产麻豆剧传媒一区
ssni 409
漂亮的小峓子5中字巴巴鱼汤
你看的这么多水了还说不要
顶的速度越来越快是什么意思
大学附近旅馆叫的厉害
荡公乱妇第1章方情95
国内产品网站W源码1688
妈妈的朋友免费观看全集在线观看天才
继室瑶娘尽欢潮汐
GAY空少被体育生开菊
沈芯语MD0076视频
张津瑜吕总1080P网盘
国岳的前妻照片
60分钟上大床
我把美女日出了白将
英语课代表趴下让我桶
胡桃流眼泪翻白眼流口水的表情
小SB是不是欠C
一个人看的高清WWW哔哩哔哩
c人入门视频教程
喷泉1V3HL辛浮
国内SPEAKINGENGLISH真打
扒开粉嫩小泬直接进去
黑帮老大和我的365日绝了
双乳被陌生人把玩挤出奶水黄
ssni-392
公交车上六人轮换CH
大菠萝福建官方导航引导入口
不知火舞之沙滩狂欢
毛1卡2卡3卡4卡免费
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1