有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
亲亲抱抱柔柔的图片
在卫生间里打扑克
我的兔子好软水好多h15视频
美女裸露无档图片
c的你走不了路sb
将界2第3激烈视频
两根一起进去疼拔出来就不疼
西方37大但人文艺术人山踪林
妈妈说带好套可以给我正常吗
CEK俄罗斯BNAE0
Zoom人与Zoom视频
班长哭着说不能再抠了游戏
公大JI巴给你P
野花视频免费资源
秘密教学93话恩爱
日韩成人大屁股内射喷水
黎朔WRITEAS人鱼
班长不戴罩子让我练了一节课视频
掌中之物何妍被多少人上
太阳能光伏论坛
21CM坐上去感觉是怎么样的
深度1V3多肉梁医生
中国RAPPERDISSSUBS老大妈
刚开荤的男生是不是收不住
在线观看国产AV每日
他的白月光HVH
抱起来加速会哭是什么意思
大龟慢慢挺进张娟的体
品色堂 永远的
免费可以看污污污的网站
麻豆果冻精东九一传媒MV
宝贝是不是到最里面去了
laurenphilips老妇人
亲爱的老师韩国5看的电影
欧洲VODAFONEWIFI高俄罗斯
在街上他突然按了遥控器作文
疯了一样要了她三天
对象摸自己小兔兔什么感受知乎
LINODEIPHONE欧美拉屎放屁
女生戴自动蝴蝶去上班的注意事项
晚上开车有声音又疼又叫
啊灬啊灬啊灬快灬深用口述
雷电将军被旅行者淦出水
电车之狼r怎么通关
姐弟俩拔萝卜又疼又叫高新
精产国品产品的推荐
学长一边撞我一边写作业
最美情侣中文观看完整版高清
两扇红唇夹玉柱下联一道清泉
再往里一点啊对就是哪里
和朋友换娶妻a2020
在车后面和岳坶做第一章
喵绅HCMOIC士18
整篇都是车的百合推荐校园
古老传奇之凤舞九天
江疏影2分28秒在线观看
我的兔子好软水好多h15视频
饭桌上故意张开腿让公H
随时随地都能干的小镇
男人喜欢水大还是水小的
无翼乌全彩无漫画大全老师
夜里18款禁用B站入APP软件
污到你那里滴水不止的说说细节长文
けんじゃたいむ黑土腿法娴熟
公主殿下LOVELIVE在线观看
一手抚大 阿司匹林
剧烈运动扑克牌
一边伸舌头一边快速喘气音
军旅肉质1v2夹枪带棒
厨房里的激战2剧集
超碰免费视频公开人人
渺渺上体育课当着全班人光阴汪仔
日批发出来的声音录音
三根一起会坏掉的好痛红梅
一口一口把奶油从胸口吃掉
浏览器网站免费进入
两个人看的BD高清视频在线观看
WNTPPS偷窃小便
三个人玩我一个人是什么感觉
gransremedy老太太
老公弄我的时候婆婆看到了怎么办
无翼乌全彩无漫画挤奶
打朴克剧列运动动画版
温远温行之洗手台上做
麻花传媒mv在线播放高清MBA
缓慢而有力的往里挺送作文
被特种兵开宫灌满怀孕H
美国XXXXXL19学生
国产最顶级国精产品
极品瑜伽女教练白浆直流
适合晚上一个人看B站
樱花味仙流白浆福利姬
国精产品一二三线999
国产一产二产三精华
一二三四日本中文在线
杨思敏版1到5集国语版
13一14处出血视频
星空无限传媒免费看电视剧
黑兽樱花未增删带翻译
阿拉善英雄会7分28秒视频
你们三个一起上我
坐地铁车被高c怎么办逃跑的老师
女教师的荡欲小说全集
YEEZY700好硬
日本ZLJZLJZLJ
老卫把船开到河中心去的故事
当你拔出来的那一刻
女自卫慰方法48图
最新三圾片目录大全
麻豆传播媒体2023最新网站
夹得好湿真拔不出来了动态图
多人运动网站无限观看
花季传媒v3.072黄每天免费三次下载
宅男频道最新上架
免费剧烈运动扑克视频软件
CAMPBUDDY大基基
双清专线日本线日本道
老王头的幸福晚年张倩倩
可以把火腿肠放里面睡觉吗
做错一题进去一次C
啦啦啦视频在线观看免费高清5
镜花风月之二艳鬼现身
WRITE AS 塞水果
旅游妈妈给了一次
妈妈送给青春期儿子的礼物
oldmacdonald中老年乐
yeezy380蜜桃粉和白色
1819处china
一边说嗯一边喘气是什么
帅气体育生GARY网站小蓝
男子吃冻土豆后拔牙
浇灌妈妈肥沃的土地
野花香视频在线观看社区
五月丁香五月伦理
夹冰块一天都不能掉出来
中文字幕人乱码中文字幕
野花香社区TV
向涟苍生士献上纯洁
刺激战场未满十八岁能玩多久
男神插曲女生软件完整版免费
谁输了去谁家受罚抽阴可处置男生
催熟po1v3by
妈妈的职业K8s经典
全国AAAA和AAAAA景区
YIN荡公交嗯啊校花蒋舒涵
女朋友特别会摇是什么意思
一飞冲天动画片
燕夫人寺庙求子方丈给办了
我朋友的年轻搜子2在线播放
我把英语课代表抄了一节课
梁医生不可以(限)季亭亭
九一亚洲精品饰品有限公司
吃男朋友的棒棒糖
stoya白雪公主
疯狂主妇无删减版
同桌放学带我去没人的地方作文
只有放在你的身体里才能解毒
粉色视频APP在线无限看免费丝瓜晶体公司藏
七个人玩我一个人
韩国妈妈的朋友2020整有限中字
可以差差差的视频无掩盖
换个方式做吧未增删动第一集
30秒不间断踹息声音频下载
一上一下不停运动免费声音
好满射太多了装不下了免费看
麻花豆剧国产MV在视频
夜里18款禁用二次元游戏大全
汤姆tom最新地域网名
通房11H云舒
太多了装不下H11
早就想在公园要你了
韩国妈妈的朋友6整有限中字中国
夏季短袖女生乳突图片
动漫人物将机机插曲漫画网站
WRITE AS尿出来
玩弄老太太的BBB
香草视频app黄板
白丝高中生被C到爽哭视频
晚上打扑克疼的视频声音
他的手游走在两座山峰
swag台湾官网
高清看男人插曲女人视频
日本在B站直播
被体育老师c了我一节课作文
一个人吃上面一个吃下
4438x最大人情
大连护士门照片
何小莹被老头拖进树林里
她在丈天面被耍了BD免费
两个人一前一后地动着我要
s8视频在线播放
怎么把自己扣的全是水喷泉
BT天堂网在线WWW最新版官网
上边一面亲下边一面膜的程序
啦啦爱在线观看免费视频6
免费无人区一码二码乱码区别在哪
白洁之绿帽风云
いっしょにしよ
宝宝都湿透了还嘴硬疼怎么回事
坐在紫到发黑的木棒上写作业阅读
把我的香肠塞进你的甜甜圈
班级每人c我半小时班长
讲述真实的多人运动经历
凌乱的公交车小镇
国色天香卡2卡三卡4
我们在阳台来一次好不好
男生坤巴扎进女生的坤巴里
饭桌上故意张开腿让公观看
精东传媒VS天美传媒电影
新版金银瓶1996第二级
最近韩国动漫HD免费观看
学姐是班级的公共玩具作文
都是同学C一下怎么了?
被公疯狂进入的美丽人妻
聊斋之玉壶春瓶
看我是怎么c哭你
刺激妇乱子伦真实故事
狗狗的东西又硬又烫
草莓视频app下载安装免费无限看-丝瓜ios
在车上就要了你
男生和女生玩滑滑梯是什么意思?
我的好妈妈免费观看冰河局电视剧
儿子你比你爸的都大
一O多A多肉多车
和游泳教练的水下运动
打烊后仅剩二人的沙龙
writeas前后双插头
斗罗大陆小舞给人桶的模拟器
无尽的3dXX视频
无翼乌全彩无漫画挤奶
女儿就是用来给爸爸用的
日本max中国
成品网站W灬源码1688游戏
妖艳女忍者锷女篇
男人又大又硬又粗图片
18款禁用入口网站
我们高清日本免费观看
含羞草传媒下载应用
女儿的朋友3完有限中字木瓜
人间小喷泉1V3HL慕深
王者荣耀把公孙离玩喷了
日本一卡二卡三卡四卡无卡免
福利SU黑料正能量网址入口
神奇宝贝ag132
新禁室培欲之爱的俘虏
男生越往里越有劲声音
坐着震动器写作业
蜜桃传媒天美传媒京东传媒
将夜2第3集大尺寸49秒
宁荣荣把腿抬高我要进去
12岁PG可以塞下多少根棉签
将皇后送去军营慰问三军
BBOX糟蹋BASS
跟他做了1V2
国精产品一区一区三区
日本XMXMXM18小孩
51无人区码一码二码
触摸隐私位置的游戏叫什么
19岁MACBOOKPRO高清
木乃伊盗墓迷城
够了够了已经满到C了高C了
51cg7.today吃瓜群众网
免费夜里18款禁用软粉色
自W到高C的25种视频教程
精品国内片67194
放里面不动谁难受
5根一起会坏掉的好痛的视频
适合夫妻之间看的麦片
亚洲不乱码卡一卡二卡4卡5卡
亚洲一线产区二线产区精华液
CHINA体育生GARY飞机
UNDERTALEエロ
被当成发泄玩具的一天作文
黑人RAPPER大全
动物胶配方大全高清
爸爸说家里没人可以C
三个男人换着躁我一个人
你们给老公含吗
浪小辉与空少酒店我3pXVIDEOS
亚洲精品国产精华液有哪些牌子
你的比我老公大太多了
老公才睡完我妈又睡我什么意思呀
隔壁老王的春天
五个人一起会坏掉的小说
妈妈的朋友8完整视频有翻译木瓜
李宗瑞性侵视频全集
父母儿女互换干
缘之空第几集什么时候开的车
开车视频疼痛有声音水水水
吃饭时某处紧密连接在一起
放轻松我会慢慢来
一口一口把奶从胸口吃掉B站
我们站着再来一次好不
WRITEAS棉签朝俞
欧精国精产品一区
沉香的一二线产区
不知火舞 动画
半夜好用的网站
撞得她说不出话来
你下水好多下水道BD
国精产品呦呦仙踪林
夜里自己一个人弄自己
宝贝低头看看我是怎么爱你的
csgo高清大片
天美传媒MV在线看免费下载安装
我是你亲妈呀你爸知道
ZOOM人牛OKZOOM俄罗斯k9农场
南昌一中掏脑子挖眼睛
老公弄我的时候婆婆看到了
铿锵锵锵锵锵锵锵锵
臭小子我是你岳...你不能
9传媒制片厂制作在线观看
全身按摩被按摩师添下面
玛雅maya 确认 已满l8岁
斗罗大陆2大乱斗交大第一
宝宝的扇贝真会夹哦是什么意思
宝贝真紧做死你好不好
金鳞岂是池中物候龙涛
新不夜城综合首页
同桌把我拉到他家做了作文1000字
夜晚双人做的扑克视频教程
好满射太多了装不下了
吃赵露思的乳液好喝吗
韩国一线高清免费观看
关晓彤被华晨宇做出了水车
啊英语老师的胸好软
迈开腿让我尝尝你的扇贝什么意思
他的舌头含有起了我的小豆豆
放课后の优等生3熟肉樱花动漫
遥控器跳DAN放在里面坐公交
数学课代表趴下让我桶
双龙进洞夹心饼干的制作工艺
优菈的乳液狂飙天堂W98
大香伊在人线9视频
英语课上插了英语课代表视频
脱色摇床93S
翁和梦莹三人同床的推荐理由
我早就想在公司要你了视频
好妈妈5在线观看完整视频
二人扑克剧烈视频运动
原神八重神子被捅出乳液
黑料正能量zzzttt传送门
有车车的腐肉双男
打扑克剧烈运动高清视频
菊花PROJECT视频BGM
WRITE AS 电动棒
青梅竹马是消防员未增删第一季
家里什么东西可以代替棒棒
JAPONENSISFES
男生最抵抗不了女生亲他哪
秘密教学SVIP土豪免费
麻花豆剧国产MV在视频
把自己弄到喷泉
花木兰被全队队友日
巨人精品福利官方导航
老卫抱着淑蓉进房间导演是谁
欲罢不能第三季打扑克名场面视频
写的超细的开车小黄车片段
桃花洞口开香蕊落莓苔意思
宝贝腿再张大点就能吃到扇贝了
俄罗斯XXXXXLMEDJYF
电车之狼怎么安装
51cg9热心的朝阳群众
最近2019中文字幕一页二页
妇女被深耕过后身体有哪些变化
午夜4k最新福利
王多鱼被C视频网站
英语课代表说他下面湿透了
妈妈的朋友完3电影
YW193COC永久入口特点
永久adc视频年龄确认
音乐学院5p门
2017夜夜干天天骑日日日
娇媚系统紧致h
欧美无人区码卡二卡卡三卡四
哥家里没人使点劲C我小作文
henhense
把整瓶红酒倒入下面喝掉
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1