有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
都生了宝宝了还那么紧
旗袍全开襟做双人运动人民网
我朋友把我玩成了喷泉怎么办
xl上司带翻译中樱花
学长能不能换个地方做网站
说说老公夜里顶你的
不知火舞被3个小孩
讲讲你们doi最舒服的一次
高达uc独角兽06
车各种姿势长图微博
男朋友C你的时候一般会叫你什么
自W到高C方法
甜蜜惩罚带翻译
爸爸家里没人用点力
黑料热点事件-黑料
日本亲近相尾换伴结局
上体育课课被捅了一天
ZOOMSERVO兽狗最新版本
同时被几人C是一种怎样的体验
练瑜伽时体育老师C了我一节课
野花日本HD免费高清版7一
把冰葡萄一颗一颗往下体塞
妈妈用棉花堵住不让尿喝水怎么办
王者荣耀嫦娥卧床流水
几天不见怎么这么湿
漂亮的三年经的继拇4
宿主的任务是收集jy活命小说
雷电将军乳液狂飙vx免费进入
Zoom美国另一类
梁医生再往下一点吃肉
好满射太多了装不下了
水都这么多了还装什么
ysl水蜜桃86满十八岁
舌头伸进去添能让高潮来的更早吗
燕子717新浪微博
很详细的肉肉床文过程
老婆的扇贝张开口了还能吃吗视频
我生日妈妈用身体做生日礼物
男孩输了让对方随便处理自己
男生把坤坤放到女坤坤里蘑菇视频
老公总是吃我的奶奶该怎么办
女人被老外躁得好爽
腿张大点就可以吃到扇贝免
女生把筷子放屁眼里不能掉图片
最近中文字幕免费国语6
厨房里的激战2剧集
班级的公共玩具小O
以我的长度试试你的深度
最近最新的2019中文字幕
坐在有木棒的椅子上是什么感觉
亚洲欧洲卡1卡2新区
亚当的六个女人
动漫RH男男车车好快的车车
无人去码一码二码三码区
BLUED片免费观看视频
车内做运动打扑克
2023国精产品一二三四区
永远免费的论坛
厨房春潮唐小米
公交车6人轮换CH
李白受WRITEAS
日本漫画之口工番全彩
施主就让贫僧进去吧
公交车一次又一次
喷泉h1v3H
无限挑战130406中字
太大了吧唧吧唧吧唧吧唧
舔下面好舒服都是水
男生摸和咬小兔兔
原神雷电将军被X出液体xman
离婚回娘家满足爸
年轻的保姆3线观
电车之狼r图文攻略
不系纽扣的女孩
24小时免费看的视频打扑克牌
被窝里的公憩第26章
原神当甘雨被空C出液体视频
金银瓶4葡萄熟了
青年大学第十一季第二
边缘控制玩到哭的感受视频
被吃扇贝的感觉
小雪的13又嫩又紧又多水带图
跳D开到最大C死我
白嫩白嫩BBBBBBBBB-
小东西我们两个C你视频
进入了母亲的生命之门
老师的小兔子好大好软水
厦门大学图书馆女厕
自己惩罚自己必须跟隐私有关
妇乱子伦小说全文阅读
henhenshe
吃八重神子的乳液的游戏
年轻丰满的继牳2
没工具怎么顶自己
雷速登之翼飞冲天2
我的好妈妈免费观看冰河局电视剧
用胡萝卜弄到高C
公主殿下微臣馋了玉U势灵犀
国精产品一二三区别在哪里
温暖叶非墨车内做肉
僧侣之夜动漫未删减在线观看免费
日本卡一卡二新区
400ai情艺中心
10岁可以插几支笔
强干奥迪4S店女销售
被同桌在课桌下手指噗呲噗呲
善良妈妈的朋友2完有限中字
野花视频在线观看免费观看最新
被夹在中间当磨心最后会怎样
亚洲无人区一码二码三码区别
偷看各类wc女厕嘘嘘
暴躁老阿姨csgo
啊灬啊别停灬用力啊男男
父子骨科多R车
可不可以韩国电影完整版
父亲的东西又长又黑的说说句子
都是同学C一下怎么了
中日产幕无线码一区
开车视频疼痛有声音水水音频
被逃生游戏npc做哭
班里的公交车小诗的高中日记
性一交一乱一伦一色一情孩交
厚颜无耻韩国动漫
BBOX撕裂BASS孕妇公交车好莱坞
一面亲上边一面膜下边打扑克视频
宝贝几天没C你了
6080伦理线 2019
把腿再掰大点就能吃到贝壳
seo短视频网页入口引流
女孩子用矿泉水瓶子行吗
是不是想被C很久了阅读
亚洲一线产区二线产区区
偷玩山村粗壮肥妇女
结衣波多野电影下载
5分钟不间断踹息声在线听
胸大的姑娘视频高清
桃花洞口开香蕊落莓苔什么意思
回娘家让爹玩个够
夜里100种禁用视频
不如各自安好(1V1)
农家俏寡妇电影在线观看免费
井川里予33秒正能量的原视频
老何船上弄雨婷第14章
37大但人文艺术图片
公交车最后一排被群C的细节
公孙离去所有衣服
亚洲日本一线产区二线区
女生说痛男生越扎的软件大全
草莓视频释放深夜的自己
睡醒发现还在C1V1
原神ちゃんが腿法娴熟を视频
张柏芝的BB阴部
色降ii之万里驱魔
ZOOMSERVO兽狗
后车座的疯狂全文阅读
电车之狼r 攻略
小东西几天没做喷的都是
老师不行太粗坐不下去
银行行长第二次到家里吃饭
国产馆麻豆天美果冻星空
没带罩子让C了一节课时
一个晚上用了好几个小雨伞
去部队探亲一晚上很多次
把老师玩到怀孕
美国人与畜禽CROPROATION
WRITEAS强制标记
AIRMAX97杂交
晚上没人妈妈就是你的人
三圾片目录大全下载
浪货你那里又湿又紧 H
安迷修被雷狮掰腿塞棉签
花魁抚子花魁1号
羞羞漫画登录页面免费漫画在线入口页面
小雪要撑破了黑人好大
宿主任务是收集男主JY
天天躁夜夜踩很很踩2022
相亲对象是未增删樱花有翻译
黄漫画画车车好快的车车哔哩哔哩
晚上听到婆婆叫使点劲用力
岳今晚让我玩个够肥水一体探岳
人成乱码一卡二卡三四卡五卡六卡
杨思敏1一5集国语版下载地址
国产麻花豆剧传媒精品MV
国产精品久久高潮呻吟AV.精品
腿再张大一点就可以吃扇贝了
VODAFONEWIFI18APP
用注射器打水放屁眼里的视频网站
开车视频疼痛有声音软件下载
一面亲着一面膜胸口
老湿机影院试看十分钟
输了让同学玩全部位置的作文
免费正能量网站链接
从厨房到客厅一直C
宝宝把腿开大点儿就不疼了正常吗
肚子里都是他的JY和尿
旅游途中夫妻换着玩的说说搞笑
WRITEAS震动器
宝宝你能对准坐下去吗漫画
这两个球球一直摇晃个不停
王多鱼打扑克免费高清视频
中国人看视频免费
你真紧你这是要我的命吗
不知火舞沙滩狂欢
男生捏我的小兔兔描述作文
年轻漂亮的女教师2
国产爱豆传媒果冻天美传媒演员
rryy4060
公交车上破了两个小学生
自己在线观看免费高清视频
它起来了它想你了
小箩莉末发育娇小性色XXXX
绿帽子精选系列70
如何用一根棉签玩哭自己
成熟交BGMBGMBGM的价格
宝贝它想你了感受到了吗车上
一天到晚上用了好几个小雨伞
上班的时候突然想要了
国模嫣然生殖欣赏私拍图
爸爸我可以吃你的棒棒糖
便利店的少女未增删带翻译
女人荫蒂勃起后的视频大全
解脱mm内衣小游戏
甜蜜惩罚樱花未增删带翻译
好儿子妈让你爽
老师穿白丝JK把我夹的好爽AV
japonensis 19一20刚开始的
B级文件中文翻译完整版
仙踪林company Limited19
高压狱警2美版免费
亚洲精品沙发午睡系列
一层一层的剥开我的衣服啊
亞洲GARY钙片GARY
男孩子淦哭男孩子动图
腿再开大一点就不痛了
鞠婧祎打扑克又哭又叫视频大全
腿再分大点就可以吃到扇贝了视频
无人在线观看免费高清直播
相府嫡女1V3
中国老奶奶vpswindows
木马木棒动得好快bl
杨思敏1一5集未删减
领导不让我断奶他要接着吃
意大利性禁忌完整版在线播放
公么天天吃我奶躁我
尤物已满18点击进入在线
羞羞漫画登录页面免费漫画在线入口页面
女人荫蒂勃起后图片
迈开腿我要C你
父之过家庭大杂乱经典说说
台湾SWAG官方网站进入方法
激荡的瑜伽教练
18-19MACBOOKPRO高清
原神甘雨从尿道口挤出白色脓液
女19岁RAPPER潮水欢迎你
每走一步就会深深的撞一下
孙悟空用金箍棒桶紫霞下方
秘密入口3秒自动转接连接
女生和男生一起差差差差很疼APP
几天不做就湿成一片
和女儿弄了好多年了
xl上司带翻译没有马赛克带中文
大菠萝18福建导航
美女图片禁欲系高级感
小东西才几天没做水这么多
国产乱码一卡二卡3卡4卡网站
我妈妈的朋友8在完整有限中字木
漾出overflow2未增删带翻译
宝贝我们去卫生间做吧
ONE.YG99.AQQ一个致敬韩寒
后车座的剧烈运动
老窝鸭永久免费视频新地址
我的好妈妈1中文字幕韩国版
欧美年轻RAPPER潮大豆行情
欧美无代码HD免费
波多野结衣系列在线观看GVG
老师带着跳D上课的感受
岳女二人名器共侍一夫的出处
老赵抱着媛媛在厨房做小说
师徒1v2金银花
果冻传媒MV免费观看大全
父母儿女一起上!
王中磊玩过的女人
XAX MANTA UZUN HAYA APP
汤加丽露生殖147图片
性极强的岳让我满足
好涨太粗进去用力快好深
边吃饭还和爸爸连在一起
国精产品W灬源码1688伊
进入母亲的生命之门
我年轻漂亮的继坶4
各种APP引导网站
十二星座离奇事件柳岩
我们结婚了世界版中字
学长跳D放在我里面上课作文
小丹疼吗慢慢就不疼了
声声入魂hifi女声cd
葡萄不能夹烂也不能掉出来
李宗?视频1313网
adc影库确认年龄18点此进入
一边伸舌头一边快速喘气怎么回事
祺鑫涨精装满肚子用塞子堵住
男朋友找别人一起上我
囯产精品一区二区三区线
媒豆传媒免费视频入口网站
精品成品国色天香卡一卡MBA
小叔子说我的奶奶好大
色母3030A
最近更新中文字幕第1免费版
语文课代表穿着JK让我C
亚洲乱码一卡2卡3卡
男生和女生一起错错错30分钟电视剧不大
女人喊疼男人却往里寨打扑克
人间小喷泉1V3HL笔趣免费看
女性被深耕后的表现
亚1州区2区3区4区产品国色天香
东北大炕乱欲狂
公交车上开了两个小女孩的包
国产麻花豆剧传媒精品MV
精产国品一二三区别www
秘密教学83田里开机免费
娘娘微臣和他谁弄得更厉害些?
天美传媒剧国产MV网站入口下载
日系裸妆全视频
40岁阿姨荒野大镖客一电影内容
用注射器打水放屁眼里视频
ピースエロじ天堂
男生晚上睡不着想看B站
宝宝怎么才两根就哭男男H
老师你的兔子好软水好多动
自W的方法教程图片
漂亮的丰年轻的继拇3免费看
国产无矿砖码2023MV
开车污的 女生越疼男生越来越快 段子动
CHINESE直男口爆体育生外卖
ZOOMSERVO兽狗
如何在被子里无声自W
新疆女RAPPER老太RDFJFTTIK
女生看了会起反应的段子
二人扑克剧烈运动视频软件
他不让我断奶他要接着吃
意大利人尽可夫
走一下撞一下深深咬合总裁漫画
日产一二三区别图片高清
又疼又叫打扑克视频声音
4年级把第1次给了表哥
林静公交车被做到高C的原因
欧美乱妇狂野欧美在线视频
被几个人日的走不了路
偷吃爸爸的擎天柱
老丈人的东西又弯又长怎么形容
梁薇陆沉鄞 楼梯
原神旅行者喝甘雨的奶
办公室被公司领导C了很多次
国内产品网站W源码1688
在街上他突然按了遥控器作文
女生看了会湿的污段子
把女朋友弄成小喷泉是什么意思
校花喂奶门卫老头
免费做运动扑克视频网站
少妇BBB搡BBBB搡BBBB
傻牛壮快把门关上别让人看见
国产线路3国产线路2
成功拿下了妈妈
欧洲一卡2卡三卡4卡毛1
新不夜城综合首页
XRK1_3_0ARK在线观看入口IOS
rbd-509
女生一边喘气一边叫疼
怎样用手指把一个男孩子做哭
敌伦小芳的第一次
弄了一个女孩子几次是什么意思
久久久文化传媒有限
TOBU7TOBU8
最近最新的字幕MV
c了一节课体育课渺渺
无翼乌无漫画3d无遮
两个奶被揉得又硬又翘怎么办啊
上边一面亲下边一面膜的
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1