有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
小乌酱百合系列黑白双丝
散漫男的恋爱制程
被C到走不了路是什么感觉
不行快拨出来现在是上课
汤姆tom最新地域网名
18款禁用软件APP哔哩哔哩
把棉签放屁眼里一进一出
做AJ的姿势视频教程图片高清版
日本不良网站正能量入口大豆行情
可不可以韩国电影完整版
9uu.cm有你有我
宝宝腿再开大一点就能吃到扇贝了
向涟苍生士献上纯洁
老师你的兔子好软水好多文案
by1259改哪里了
椅子上有木棒坐下去吃饭短
李宗瑞继母名字
教官脔到她哭H粗话H
我被三门齐开了事后走不了路
第四色 成人 官网
王中磊玩过的女人
wnz-167
日产乱码区别免费
斗转星移合成图片
三秒后野兽在联谊的角落里的他是肉食系
坤吧放到欧派上
果冻传媒在线播放 免费观看
艳情短篇160无弹窗
日产高清卡一卡二卡VA
adc影院最新入口确认
来吧儿子妈今天是你的人
无翼乌之我的教师
99无人区码一码二码三码四
atlanticocean巨大
伊人成人生综合网图片
一边亲着一面膜胸口韩国
天美MD豆传媒一二三区进
当着别人的面要了我
女人不怕粗短就怕有勾
AI换脸赵露思又疼又叫
捧小伙人帅吊大GAY
车文超细过程文字描述图片
刘玉玲flypaper电影
名侦探柯南剧场版9
胸大的姑娘中文字幕视频
公交车两人双指探洞LH
给你下水好多下水道
俄罗斯zoo weeklyXXX
金银瓶1-5美国
女性大荫蒂荫道多毛茸茸
宝贝我们去卫生间做吧
一二三四免费观看视频1
めんたいさんでぃふぇんすっ甘雨
公交车车站最后一排被多人玩
没带罩子让他c了一节课
两根棉签如何把自己玩哭
同学故意把我的校服当抹布用作文
叫大点声今晚家里没人
国产AV无码一二三区视频
老公叫我和别人换着玩
侵犯小少爷(H)np
成品人和精品人的区别在哪里
老师的兔子好多软水好多动漫
你的东西比老公大得多
麻豆精产国品一二三产区区
国内SPEAKINGENGLISH真打
野花日本HD免费完整版高清版6
家狗狗卡在我里面痛怎么办
两个人免费视频观看高清直播下载
把自己扣的全是水的视频
WRITE AS打哭
深田えいみ禁欲后被隔壁人妻
TOBU7TOBU8学生
B的几种类型图例
CHINA篮球体育飞机推特
一前一后三个人轮换的
女儿初长成爸爸来尝鲜食品的说说
国精产品自线六区
当你拔出来的那一刻
台湾swag是什么
张津瑜视频七段
可以看张津瑜视频的浏览器夸克
蜜芽MIYA188MON牢记永不失联
男生淦哭男生的过程
たと花火と在线观看动漫免费
蘑菇视频妈妈的职业
女生吃坤巴难道不恶心吗
俺也来俺也去俺也射
撑起伽罗的腿疯狂输入游戏
WRITE AS 轮
一口一口吃掉胸口的奶油HD
岳女二人名器共侍一夫的出处
有孕1V2LH
坤巴塞小洞游戏
与我同眠下载地址
696969c大但人文艺术作品
3d肉蒲团之极乐宝监
够了够了已经满到高C了
瑶遇见神鹿喷白水软件
老公叫我和别人换着玩怎么办
亚洲MV砖码砖区2022
老婆和别人刚干完我又干可以吗
女人迈开腿对着男人是什么意思
2828手机福利院
老翁真厉害不倒枪
大陆女人内谢69XXXORG
痴汉电车3图片
亚洲国产精华液网站W
义姐的不良喂养未增删带翻译
adc欢迎您的大驾光临
皇上撞着太子妃沈音
大尺寸的小黄说说1000字阅读
cnnic:国内实现7nm芯片试产
中文字幕在线看成电影乱码
老农民老干棒的媳妇果儿是谁
儿子今天晚上只让你
坐在木棒上写作业高V
男生和女生玩滑滑梯是什么意思?
黑料传送门tttzzz07du
叫出来就给你 我想听
女教师的诱感5
名侦探柯南剧场版9
亚洲卡1卡2乱码新区仙踪
你是我的女人4免费观看
父亲的东西又长又黑怎么形容
浪小辉GARY2023小蓝
隔着睡衣吃你的小尖尖作文
蜜芽忘忧草老狼二区行情网
韩剧二人扑克剧烈运动
自己在线观看免费高清视频
分手那天我们做了十三次
脱色摇床打扑克全身不盖被子
忘了戴胸罩被同学摸了一节课
不顾一切地进入
日本精产品一二三产品
男女性杂交内射女BBWXZ
刻晴被盗宝团C的不能自理
幼射HD交中国妇
人伦亲情父母儿女的句子
老子就是要上你在镜子面前
非洲人和和人配人视频
朋友换娶妻2韩剧
男人大鸟硬起来图片
妈妈的朋友4完整视频有翻译木
胡桃吃旅行者的坤吧
啦啦啦 中国 日本 高清 在线
哪种BB最好看
吃女朋友的扇贝的方法
MAY18_XXXXXL56ENDI
开拉链它想你了你想它吗
老湿机免费体检三分钟十八岁
雷电将军乳液狂飙vx免费进入
每个月老板都要玩我几次
色戒完整版2小时38分
爱情岛论坛2019年免费
小丹乖让我再进去一次的导演是谁
棒棒糖放屁眼里吸收的视频
23部禽女乱小说内
BRANDILOVE超清在线
当头棒喝打一生肖
可以随意触摸内部位的游戏手机版
麻花豆传媒剧国产MV网站入口
玛雅maya 18永久
ipz-140
受变成小人用棉签
3ce奇米四色眼影奇米8888
最刺激的乱惀小说
中国小鲜肉gary西北军军2022
被体育老师要求带跳D跑步
黄台软件2024
花火のエロドラえもん动漫
蜜桃成熟时33d完整
将界2第3集大尺寸49秒
打开腿吃你的扇贝吃胸
中国青少年garyXXNN
8008幸福宝卐
杨幂ai智能人脸替换脸造梦厂
减去小舞的所有衣服
水乳交融HPO
家教老师考100分能一整
亚洲AV精品乱码专区
美国十次啦超级大导航
星空无限传媒XK 8027我的妹妹
津渝视频完整百度云盘
成品禁用短视频app推荐下载
国产色母和进口色母区别大吗
147女人的阴性部图片
一下子接5个客人疼死了
张津瑜 VS吕总视频MV完整版
打烊后仅剩俩个人的沙龙樱花
动漫美女的禁处
51cg7.today吃瓜群众网
老赵抱着媛媛在厨房做小说
亲吻摸摸蹭蹭抱抱哔哩哔哩
男男车车好快的车车真人网站视频
一个人看的免费播放完整版
含羞草完整视频在线播放
你的舌头搅拌着我的那里
杨幂13分钟20秒
大神同学想吃掉我 樱花
长发公主国语版
黑帮老大和我的365天
女人被两根茎同时进去图片
差差差30分钟很疼的视频无掩盖
伽罗太华被 哭还流东西漫画
猫咪最新地域网名3336
旅行者骑在甘雨上做运动
把女的弄的第二天走不了路
花季传媒APP每天免费3次观影在线观看
女儿儿媳陪自己玩的心情说说
果冻传媒MV国产推荐视频直接
美丽姑娘高清日本版图片
50款夜间禁用软件app免费
公园里的老年镖客视频人生
99无人区码一码二码三码
隔着衣服吃你的小尖尖作文
夫外出被公侵犯日本电影
2022没封网站正能量直接进入
精产一二三产区区别在哪儿啊
JEALOUSVUE少归
麻豆传煤入口直接进入免费版下载
看镜子里我们合体的样子
插曲视频30分钟完整不用下载
诱人的女邻居2在线观影
次次到肉杆杆到底
英语课上插了英语课代表视频
失恋三十三天小说
年轻的朋友2在完整有限中字
把腿开到最大就不疼了真的吗
教练把车开到没人的地方阅读
WRITE AS 吸蒂器
19岁RAPPER潮水偷轨
一卡二卡日本一卡二卡
野花视频手机免费观看完整版
在镜子面前看我是怎么爱你的
《年轻的护士电影完整版》
家用摄像头被盗拍400部
搞机TIME恶心直接打开网页不要钱
善良的小峓子中字巴巴鱼汤饭视频
亚洲国产货青视觉盛宴
含羞草MYHANXIUCAO
波多野结衣42部视频在线
男孩子把淦男孩子弄哭的部位
王者荣耀黄化网站入口游戏
学渣坐在学霸的棒棒上写作业视频
白色乳息樱花未增删带翻译樱花
小鲜肉GARY2023男男
人伦亲情父母儿女的句子
欧洲VODAFONEWIFI高俄罗斯
男主跟自己养的蛇在一起了
12岁拔萝卜一边疼一边叫
GARY2023小蓝视频网站
一男一女打扑克是什么意思
波多野结衣系列在线观看GVG
三个搞你一个好不好
善良的小峓子1字巴巴鱼汤饭
怎么教狗狗c自己
错一题学长就x我一次
床戏cut哔哩哔哩bilibili
美国男人的大鸟
怎样玩隐私位置
麻花视频V3.2.2纯净版
爱情岛论坛网亚洲品质
公主殿下的LOVE全集播放
唐三插曲比比东不亦乐乎MBA
差差差视频30分钟时无掩盖
国产2021在线传媒麻豆
97超碰射射射
晚上开车又疼又叫的小作文
马是怎样交匹配的
最新人与ZOOM
没有工具怎么顶自己
宝贝帮我拉开拉链它想你了
在车里两个男人舔我
一边吃奶一边做动态图
差差差免费观看打扑克
哔哩哔哩大尺寸床车视频
404黄台下载大全
日本坐公交车弄了2个小时
多人强伦姧人妻完整版BDRV一
是美男啊之结伴同行
黑人大荫道BBWBBB高潮潮喷
大菠萝福建网站引导入口404
荧去掉小内趴在地上打扑克
大妈山坡做皮肉生意
张津瑜视百度云
我的B就是你的饮水机
无人在线直播免费观看
每签一单都要被客户日
被体育老师要求带跳D跑步
tttzzzsu黑料入口吃瓜
8008幸福宝官网隐藏统计
我们去楼梯间做好不好
我难受就放一下我不动
小娘惹剧情介绍
唐砖下之灵域双生
四房播播 五月
CHINA篮球体育飞机推特
诱人的女邻居2在线观影
美国Zoom人与Zoom
杨门十二寡妇肉床电影
校花被绑到男厕当尿器
人文艺术视频是什么意思
动情1v1嚯一口焦糖拿铁
最近ZOOM人牛OKZOOM美国
国产999与美产999区别
韩漫免费漫画入口页面弹窗登录入口
免费日产幕乱码2021
把老公撩硬的表情包图片
被两个老总前后夹击爽
精产一二三产区区别在哪
云缨的乳液长什么样
动漫人物将机机插曲漫画图片视频
精品乱码卡一卡2卡三免费
我女朋友的母亲5整视频有翻译
一口一口吃掉胸口的奶油HD
在办公室里揉弄小雪好爽
免费的剧烈运动扑克网站
吃女朋友的扇贝是什么感觉
晚上开车又疼又叫的声音
八重神子露副乳
新堕落东京之奴隶
最爽的乱惀小说200篇
兄妹方程式多R车多1V3
百合做运动视频教程网站
宝贝儿 是不是欠C了
老师你的兔子好软水好多的作文
亚洲无砖码砖专区2023公司
精产国品一二三产品区别大吗
邻家有女韩国4
激战2奶玉偃师带啥法印
特别漂亮的媳妇和当官的朋友什么
学长的手指在里面转动的写作业呢
亚洲乱码在线卡一卡二卡新区
瑶脸红流口水流眼泪翻白眼
ssni-409
男人碰到紧的会出来的很快吗
荡秋千越往里越深
大白屁HDHOOOPORND
妹妹中考前让我C了1次作文
给他们轮着尝尝你的味道老周
ZOOM人牛OKZOOM
14岁学生迈开腿让打扑克网站
禁漫夭堂地址是多少18C.MIC
肉超级多的糙汉文古言
WRITE AS 塞水果
英语今天晚上让你桶个够的软件
LINODE娇小IPHONE69
laurenphilips和黑人
苏家有女苏杳免费阅读小说
老阿姨哔哩哔哩b站肉片入口
波多野结衣 海啸
公交车售票员用下面验票
公交车C到高C
不可接近的女士漫画
晚上睡不着偷偷看B站晚上睡不着
男生最抵抗不了女生亲他哪
一面上边一面膜下边的免费
极品教师未删减完整版
免费30款禁用黄台网站
在车里被撞了八次高c视频
男朋友把我腿打开了
岳女二人名器共侍一夫的出处
小东西几天没做水又变多了
用电动牙刷自W到高C
bl啊好烫放了我吧
51fun吃瓜站
英语老师你的奶好软
强伦姧人妻三上悠亚中文字幕
把荔枝一颗一颗往里堆
最好免费观看高清播放
亚瑟首页YASEE
男女差差差30分视频
大陆年轻帅小伙飞机GAY
大肥波BBWWHBBWW
18YEARS中国
女生让男生诵自己的游戏
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1