有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
班长哭着说我会坏的
老师拉我去办公室做了一节课英语
贺朝用笔捅哭谢俞
每走一步就深深的撞一下自己
韩国三圾片在线观看
writeas尿道口
嗯啊宝宝腰好会扭
学霸写作业让受自己动
把自己玩喷泉的视频叫什么
小黄说说1000多肉
CHINESE体育生东北露脸SOLO
仙女棒坐着使用图片
跳DAN是放在哪里的示意图
妈妈的职业3在完整视频有翻译
歪歪漫画免费弹窗被爆出
学生14MAY18_XXXXXL56ENDIAN
杨思敏版1到5集国语版
丝瓜草莓秋葵污下载旧版网址免费
为什么一加速女孩子就会哭
两个人免费视频播放的
前任4曝体面告别版预告
宝宝才三根手指就湿成这样了啊
SSNI-674
二人扑克剧烈运动视频
旅游和父亲开一间房间做了
人物动物交互高清
一口一口吃掉胸口的奶油BD站
成色AU999
国精产品一二二线
51漫画入口页面弹窗秋蝉
女生说疼男生越扎的视频
斗转星移刘亦菲
变成黑皮肤和朋友做了02
梁医生再往下一点吃肉
输了让对方随便处置作文1000字
JEALOUSVUE成熟50
我和老妈一起嫁剧情
欧洲最强rapper潮水网
剧烈运动摇床打扑克运动视频免费
最好看的日本字幕2019
无遮挡很爽很污很黄的网站
1V3多肉玉娇香HHHH视频
开过荤的女孩能憋几天
公交车后车座的疯狂的C
狗狗速度很快又大又烫
宝贝再快一点别停视频
97夜夜澡人人爽人人模人人喊
菊花PROJECT视频BGM
糖心LOGO免费观看甘雨
漂亮的丰年经的继拇3如如中字
精品国色天香新区卡一卡二
XRK1_3_0ARK无限观看IOS网站
300元学生过夜联系方式
穿越到兽世不停做元
精产国品一二三区别9999
男人迈开腿尝尝你的草莓
漂亮妈妈1中文字幕完整高清
rbd-509
川上奈美夫の上司に犯 在线观看
137最大但人文艺术
年轻的嫂子3韩版带中译
丰满的邻居2在线观看完整免费版
把腿再张大点就可以吃到扇贝
往下边塞玩具坐公交是什么感觉
朋友的母亲3在完整有限中字第
溢出OVERFLOW2未增删带翻译
刚开荤的女孩子是不是收不住
火影忍者鸣人搞纲手
公交车上一个接一个c
炎のおっぱい身体检测仪器
蜜芽忘忧草二区大豆行情网烧仙草
我想吃你的r头叫出来
空去掉小内趴在地上打扑克视频
暖暖直播日本高清更新
生物老师上课亲自给我们展示自己
一口一口吃掉胸口的奶油HD
欧洲黑人最强潮水RAPPER
男生和女生一起差差差很痛的声音
强塞玩具七小时
老师说今天晚上随我怎么弄
我的兔子好软水好多的视频
儿媳妇夸我比他老公厉害怎么办呀
什么东西可以当自为棒
亚瑟YASEE2021在线观看
邻居把我弄的高潮三次面舞
三叶草欧洲码和亚洲码怎么换算
丰年经继拇中文2的功能介绍电影
三个男人换着躁我一
被几个人日的走不了路
再把腿张大点就可以吃到扇贝了
最爽的乱惀200短篇小说
中文字幕看成电影乱码
生物课上老师亲自给我们展示
让我蹭一蹭宝宝
厦门路虎事件2分38秒
在英语课上强插英语课代表作文
做到让你怀孕的樱花动漫
宝宝下面湿透了还嘴硬疼的原因
新不夜城综合首页
雷神ちゃんが部下を麻烦
tttzzzsu黑料入口吃瓜
2021高清VPSWINDOWS
男孩输了让对方随便处理自己
最大但人文艺术网站
老师两个大兔子抖来抖去视频
张津瑜处理通告
我在英语课上强干英语课代表
秘密教学渗透测试秋蝉
最近更新2019中文字幕国语
18岁末成禁止观看
等不及了在车里就CH
2021日产乱码网站直播
国产MV高清砖码2022
魔弹之王与战姬漫画
早就想在公司把你给办了
爱啊哎呀我愿意
干柴烈火儿媳苏姐结局如何了
我女朋友的母亲1完整视频有翻译
在她流尽了她的乳液之后
老阿姨是最有味的
桃花在线观看视频动漫
快好喷水视频连续登上热搜
坐在学长的棒子上写作业作文视频
意大利人尽可夫
领导吃我母乳上瘾了
坐姿双马尾duangduangduang
高圆圆 第1到100都是赵又廷
英语老师罚我吃他小兔兔
亚洲无砖码砖专区2023公司
漂亮的小峓子5中字巴巴鱼汤
宝玉车内玩平儿第六回
恋夜院影全部视频列表2
每次见面他都要好几次
污到你下面流污水的说说
体育课被C了一节课
诱人的女邻居9中文观看
在大街上打开遥控器开关
大鱼直播app
最近2018年中文字幕免费图片
宝宝你好会夹啊都拉丝了作文视频
被吃扇贝的感觉
星野明日香种子
考试没考好成了全班的坐便器
尾巴插件PLAY冰球
羞羞漫画登录页面免费漫画入口网站
日产2021免费一二三四区在线
萌白酱弥漫甜味纯白旗袍
他发疯地撞着他
163女性黄页
两个人一前一后攻击我讲述
聂小雨黑皮衣5分多钟视频内容
我想触碰你的深处未增删樱花
撑起伽罗的腿疯狂输入的视频网站
可以随便看内部位的rpg手游
整篇都是车的百合推荐校园
中国夫妇hometown
2022Ggy钙站-MBA来源
各种姿势玩小处皱女
痞子戏子厨子下载
日本卡一卡二卡3卡三卡乱码
餐桌下狂C亲女高辣
父子骨科多r车推荐
激荡的瑜伽室2
一边亲一面膜下的剧情简介
无翼乌漫画教师全彩
坐公交车上日了2小时
真人打扑克直播软件下载安装
徐若瑄魔鬼天使下载
youjizz在线电影
把女朋友弄成小喷泉的手势
嗯嗯宝宝怎么啦难受吗 疼
女朋友特别会摇是什么意思知乎
sdde 318
xl上司带翻译没有马赛克带中文
自罚一天从凌晨1点到晚上8点
美女杀手催花狂
BMGBMGBMG毛多
紫霞用金箍棒桶自己的哪里
办公室的交易高清BD
yasee最新2021
日本ZLJZLJZLJZLJ喷
他趴在两腿中间舔我私密有事
黑料不打烊tttzzz668.su官网
男生的坤坤放到女生的哪里
大尺寸的小黄说字多肉健身房
免费的剧烈运动扑克视频
同桌C了我一节课作文
免费b站推广网站入口202
平胸舞娘的隆胸日记
伊春园2023入口直达
每人C我半小时
换个方式做吧未增删动
无人区码一码二码三码区别图片
妖艳女忍者传锷女篇
粉色视频高清影视在线观看
双方同时高C是种什么体验
日本乱码一二三四区别
公交车轮换C程雪
99精产国品一二三产区MBA
有谁跟自己的儿子做了
吃鸡rap小姐姐
拔萝卜痛又叫黄
翁公的大龟挺进秀婷
姬小满乳液狂飙奖励自己一发视频
一处桃源千人品两片红唇万客来
邻居把我弄的高潮三次面舞
男人一开荤就收不住是什么意思
国产爱豆传媒果冻天美传媒演员
公交车两人双指探洞湘潭天气网
八重神子失去尊严的图片
被深顶得说不出话
成绩差成为全班发泄用的玩具
爱情岛论坛线路一官方网站
已满18周岁请点击进入网站
空荡荡的教室和两次惨烈考试
我的奶头被他吸的又红又肿
非洲人和和人配人视频
男生压着女生的身体的原因
雷狮被安迷修强行掰腿车图
麻花传媒ceo免费观看
双人游戏BY春雨惊蛰
软玉娇香1V3
塞跳D开最大挡不能掉老师现场看
亚洲AV精品乱码专区
哥家里没人使点劲C我小作文
暖暖直播日本高清更新
精东影业天美传媒网站
我的XL司第三季免费观看翻译
JING液收集系统开车的水獭
我年轻的继坶2019
原神甘雨被x哭还不断流东西
免费看美女裸露无档网站
男生的坤坤放到女生的哪里
向涟苍生士献上纯洁第二集
美国十次啦地址
泰国淫乐园实录
破数学课代表的处
教授别c我了我在写作业文
2023AMAZON欧洲站
搡BBBB槡BBBB
剧烈摇床运动视频打扑克
啊不可以坐不下去痛
妈妈酒后误为我是爸爸怎么办
小东西几天不见喷到处都是水
亲亲抱抱蹭蹭的刺激原声哔哩哔哩
大菠萝福建app导航入口
一亲二膜三叉四强五注射应用免费
ZOOM与人性ZOOM2023
写作业的时候和男朋友弄
run away无删减全集
电动猫尾巴PLAY
黑料不打烊TTTZZZ首页
你的水都拉丝了
最近2019免费中文第一页
windowschannel孕妇生产
laurenphilips和黑人
我想用乌龟蹭你的扇贝视频
WRITEAS军校
一区二区三区国产好的精华液
亚洲无砖码砖专区2023公司
你的棒棒真的好大用了什么料
三个人一起C感觉
宝贝帮我套小雨伞的更新时间
一面亲上边一面膜
性能之巅第2版和第1版差异
换个方式做吧未增删樱花网
热久久最新网站获取
是不是想让我弄你了视频
不知火舞vs外星人h
我和小娻孑在车上全集
客厅大伦交侩H客厅设计要点
麻花豆传媒免费MV在线观看
打扑克去掉马赛克还原图片软件
做AJ的姿势视频教程图片高清版
无限动漫网 在线播放
八重神子去掉小内趴在地上打扑克
他的手抓住了我的小兔子视频
日产一二三区别图片高清
8X8X拨插拨插高清免费版本
老师上课跳D突然被开到最大作文
中国东方XXXXXLMEDJYF
一边做一边说国语对白
40岁阿姨荒野大镖客
葫芦娃在线官网huluwa
丫头放轻松让我进去
免费B2B网站推广嘿嘿
拔萝卜软件APP软件开发大全
女人脱精光让人桶爽了
10款禁止下的软件
仙女棒坐着使用示意图
女生把筷子放屁眼里不能掉图片
男男车车好快的车车动漫
rbd-573
ピースエロじ天堂官网
老师好紧好滑我要进去
草榴新时代的我们
夹好了去上学不能掉出来的作文
俄罗斯大转盘多人运动
2023年免费进入B站
第七十九章厨房里的愉焕
欧美一厂区二厂区三厂区
班长哭了能不能再抠
男车车好快的车车网站污
别急晚上英语老师就是你的人
人文艺术视频是什么意思
99精产国品一二三产区区别网站
新金梅瓶电影完整版
胸大的姑娘韩国播放
9传媒制片厂制作在线观看
日产2021乱码三区
和搜子同屋的日子3
晚上爷爷总是压在妈妈肚子上睡觉
迷情娇妻第104章
公交车最后一排被C
妈妈说我带套才可以
英语课代表趴下让我桶
8X8X华人拔插华人免费
8X8X网最新地址
公与憩小说400章
迈开腿让你尝尝草莓是什么
男朋友一直亲我的小兔子
甜蜜的惩罚未增删带翻译有翻译樱花
胡桃ちゃんに逝かせてもらう
给父亲一次可以吗
为什么抽的越快叫的声音越大
果冻传媒免费观看一二
王中磊玩死过的女人
japonensisJAVAHD大豆行情
宝宝下面都湿透了还嘴硬咋
公交车上的诗请晴
晚上睡不着看点免费
我想用我的乌龟蹭你的扇贝小说
BMGBMGBMG好多水
班主任是班级的公共玩具作文
柚子猫原神甘雨视内射频
女人被躁到高潮嗷嗷叫的歌词
二次元人物桶二次元人物网站
国产无人区码卡二卡三卡
爱情真善美40
中国成熟IPHONE
两个人一前一后地动着我要
男生吃小兔兔的细节描写知乎
24小时日本韩国免费看
坐在硬邦邦的rb上面写作业
云缨用枪躁自己
老妇高潮潮喷到猛进猛出
女人永远是对的
把跳d放在里面坐公交车白月
豆奶app下载汅api免费下载ios
刺激打扑克摇床又全程不盖被子
被C到起不来是什么体验
欧美黑人猛性暴交
黑料网-独家猛料-曝光揭秘
言教授要撞坏了笔趣阁
日本乱码一卡2卡三卡4
花蝴蝶免费版高清版
御手洗家的故事第1集免费观看
300元过夜联系方式
老外太长到我子宫了
俄罗斯人和欧洲人的性格差异
圣ヤリマン学园援交日记
潮湿的心HD完整版
star-424
韩国女性沦为牺牲品
被夹在中间当磨心最后会怎样
黄金网站app免费视频大全
善良的秘书5中字巴巴鱼汤饭
数学课代表趴下让我桶
JLZZJLZZ日本人护士水好多
欧美一厂区二厂区三厂区
欧美人与人动人物2020
从阳台c到卧室c到厨房
最近免费中文字幕中文高清6
任你干在线精品视频网2
鞠婧祎打扑克又哭又叫视频
十九岁潮水RAP欢迎您仙踪林
ZOOM人与ZOOMWIDS
adc视频在线观看年龄确认
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1