有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
班长是我们班的存精器作文
好男人的社区在线
seo短视频网页入口引流
公主殿下微臣馋了玉U势灵犀
三个人玩我一个人
娇妻在我面前被黑人撑爆
无人在线直播免费观看
致青春百度影音高清
用注射器打水放屁眼里故事
爸爸的东西又黑又长
一码二码三码区别日本
四人轮换C一人宿舍
在县城开零食店春节能卖200万
深入浅出TXl金银花
一面亲上边一面膜下边表达
把她日出了水好紧太爽了
跳d放在里面逛超市的
摸硬了体育老师的的大J8
向涟苍士献上纯樱花
老公弄我的时候婆婆看到了
X7X7X7任意噪入口
爷爷总是趴在妈妈身上睡觉
男女在一起翻雨覆雨的比喻意义
精品日产一卡2卡三卡4卡三
夜恋全部支持安卓UC
桃花社区在线观看视频
日产无人区一线二线三线视频
善良的老师5有限中字丿
没带罩子让他吃了一天的药怎么办
帮老师通下水道
我女朋友的母亲1完整视频有翻译
无人区编码6229JM
侯马市性侵女生照片
父母儿女一家换着玩的说说
声声入魂hifi女声cd
坤巴塞小洞里视频
男生插曲女生视频完整
japonensis成熟
做扑克运动全过程视频教程
PAYPAL未满十八岁
laurenphilips和黑人
3个人玩3Q感详细经过
国内九一激情白浆发布
把这个放进去自己按下开关
0ADC大驾光临未满十八岁
一面亲膜上边奶一个膜边
最近新韩国免费
比赛输了任对方看和玩部位
年轻的母亲 韩国
姬小满裸妆图片
最经典的两人轮流取珠题目
被十几个黑人两根同进
瑜伽时突然进入
51无人区码一码二码三码四码
Chinese体育生solo
二次元人物桶动漫人物免费
writeas内塞猫尾巴
年轻的母亲2在线高清完整版中文版
久久无人区卡三卡4卡
大龟慢慢挺进张娟的体
菊花PROJECT视频BGM
国产尺码和欧洲尺码表CCTV
精东传媒JDYL027李娜娜
聂小雨视频3分25是什么内容
他的白月光HvH桔子糖水
高雅人妻被迫沦为玩物电影BD
差差差无掩盖视频30分钟
学渣坐在学霸的鸡叭上作文
他趴在两腿中间舔我私密有事
公孙离眼流泪红脸咬铁球
快手王多鱼被C视频完整版
聊斋艳谭之孽欲孤鬼
坐在鸡上写作业好疼
八角笼中被下架
秘密教学60话暗巷免费
生物课上老师亲自给我们展示
在学校器材室1V2
晚上给我通下水道
国精产品一二二区视早餐有限公司
萌白酱17分钟视频
将军每走一步就撞一下
寂寞夜晚观看视频
精品1卡二卡3卡4卡免费
COSMO OIL
中文字日产幕码三区的做法步骤
麻花豆传媒剧国产MV出差
家里没人半夜就和姐姐睡了
三个弟子合力弄师父
一个人看的片BD高清动漫
律师的小秘书1V1H
美国电影无法满足1980
和他在车里好多次
公孙离去所有衣服床上
男在上女在下git动态图
白莲花的贵妇生活
韩国三圾片在线观看
一面亲上边一面膜下边打扑克免费
ysl水蜜桃86满十八岁
我的好妈妈5中文字幕土豆网
腿打开一点就能吃扇贝
163女性黄页
够了够了已经满了c了
哈妮克孜18秒烧毛
老扒抱着淑蓉进房间第八集视频
太大了吧唧吧唧吧唧吧唧吧唧
手指怎样自W到高C
18款禁用B站网址
可C可拔萝卜女生小游戏
PO18脸红心跳官网地址是哪一
院子里公开惩戒(下)WRITE AS
仙踪林直接入口RAPPER
好刺激的打扑克软件
含羞草传媒隐藏路线2023网站
19岁macbookpro未满16岁
父亲与女儿传宗接代的句子
动漫人物打扑克牌的剧烈运动
md传媒免费观看在线 小说
30秒不间断踹息声在线听MP3
体育课没带罩子被捏了一节课作文
不知火舞之公园狂欢
孟十朵玉女春光图
龙口护士门视频在线观看
不再是朋友的夜晚第1集
女教师的荡欲小说全集
梁医生再往下一点吃肉视频
我想用扇贝夹你的乌龟
4399看片手机在线高清动画
一边做饭一边躁狂的原因分析
太子被暗卫C到合不扰腿
爱情论坛观看路线二
最后一夜BD韩国
人类是如何交匹配的动画讲解
极品教师高清免费观看中文
公交车6人轮换C白月是啥?
非洲BBOOMBBOOM的含义
宝宝好会夹啊拉丝
娇妻系列交换21部
几天没做你就流了
九一制片厂果冻传媒APP
宝宝你好会夹还流这么多
1980美式保罗与雪莉
免费做运动视频扑克视频
WRITE AS 高中生
几天没弄又痒了是吧小东西
污网站WALLPAPER共享人可以看到订阅
坐在爸爸上面吃饭
门卫老头吮她的花蒂在线观看
班长的手灵活的按着遥控器
卡一卡二新区无人区
皇上御花园HLH
妈妈的朋友3007电影
可以看到女生所有部位的头像
欧洲VODAFONEWIFI喷浆乌克兰
baoyutv最新网名2021
比赛输了任对方看和玩部位游戏
春潮烂漫海棠红下载
两个奶头被吃得又翘又硬动态图
姐姐说家里没人可以C
迈开腿让我尝尝你的草莓什么味
心海ちゃんがを腿法娴熟部下
男神插曲女生完整免费
美发室特性服务5G
长插曲视频完整版30分钟免费
YW193COC永久入口特点
车里一下比一下撞的狠
厚颜无耻韩国动漫在线阅读视频
亚洲无人区码卡二卡三卡四卡
二指探洞应该怎么抠
处钕膜被捅烂m图片
欧亚精品卡一卡二卡三737
男人到天堂去a线2019
被套上自动挤奶器性能怎么样
柚木提娜 ed2k
女生戴一天仙女棒上学的感受
日产无人区一线二线三线视频
男朋友的手探到我的衣服里怎么办
《苹果》未测减除版
在课上用鸡插英语课代表视频
漂亮的桃子2意大利语翻译
给阿姨通下水道
BGMBGMBGM老妇视频
女生和男生一起差差的事
日本不良网站正能量入口大豆行情
把这个放进去自己按下开关
山川青空种子下载
最好玩的B是哪一种L
波多野结衣加嘞比在线观看
雷电将军和丘丘人繁衍后代
小黄说说1000字
丰年经的继拇3的特色和机能
嗯又粗又长插的好深太舒服了
18款夜间禁用入口2023
色翁荡熄又大又硬又粗又视频
美国victoryday中国女孩
同校生2中文版
国模欢欢超大尺度炮轰
小SB是不是又欠C了
刘耀文在水里做哭宋亚轩
中国bgmbgmbgm老头和老妇
趴在玻璃窗做给别人看的视频大全
有谁帮自己的儿子口过
九一果冻制品厂最新电视剧
WRITEAS假阳
夜里18款禁用B站大全
小女生RAPPER入口
日本一卡二卡三卡四卡在线观看免费软件
津渝视频完整版哔哩哔哩
日本无人区码一码二码三码四码
叔父大还是爸爸大
娇妻玩4P被三个男人伺候电影
云缨新皮肤p掉衣服裸
老师抱着我在教室做
老公才睡完我妈又睡我什么意思呀
张婉悠白蛇传完整版
大小姐与流浪汉
怎么教狗狗c自己
乖乖没事一下就不疼了
《年轻的护士电影完整版》
wow动如脱兔
鹡鸰女神第1季
YSL千人千色T9T9T9最新
班长是我们班的存精器
你看你流了这么多水还说不要
打扑克视频又疼又叫原声
一区二区三区国产精华液区别大吗
WRITEAS塞红酒瓶
果冻传媒免费观看4399
yw193龙物安全
探深一点老师今天随你怎么弄
皇上御花园HLH
真人开车疼痛有声音
漂亮的丰年经的继拇5字
怎么教狗狗c自己
日本ZLJZLJZLJZLJ喷液
从厨房一路干到卧室好吗
老奶奶bgmbgm人
一个人看的片BD高清动漫
拉开拉链它想你了给他好不好
我的好儿子妈妈是你一个人的
八重神子去掉所有服装挤乳液
一口一口把奶油从胸口吃掉免费
大陆一姐RAPPER潮水太多
tek-067
欧美1卡二卡三卡四卡免费
最爽的乱惀小说200篇
日韩卡1卡2 卡三卡免费
中韩砖码砖专区2023
深田咏美在线视频无码
男下身进女人下身视频免费
好满射太多了装不下了软件
不让我断奶他每天下班要吃
打扑克直播下载
鬼灭之刃蝴蝶忍乳液飙出
男女性杂交内射女BBWXZ
当着太子的面皇帝宠幸了太子妃
宝我想你了胀的好难受啊说说
超大尺寸的小黄说说1000字
在海棠看小说犯法吗
无人区乱码一二三四区别在哪
楚晚宁墨燃所有肉车微博截图
老板那里是XL樱花动漫
斗罗大陆人物黄化3d漫画
C到哭不止水好多动图
一小孩半夜给姐姐吃坤巴
掀开衣服左边吸完吸右边
蜜芽miya188.mon牢记无限观看
医生听诊器PLAY羞耻PLAY
1区2区3区4区产品不卡码
一面亲上边一面摸下边打扑克
5G天天奭多人运动网站入口
打扑克剧烈运动软件
无人高清视频免费观看在线动漫
在车里被撞了八次高黄
娇吟公车系500章
日本无人区码卡二卡三卡
男人和女人一起怼怼怼不要钱视频
伊人大相蕉在线看青青
青梅竹马是消防员1未增删
939W乳液78W78永久
张津瑜VS吕总视频MV完整版
儿子比老公大更厉害
肉多到炸的古言描写
诗锦在公共汽车全文阅读
乳液狂飙vx网站
MD0076沈芯语老师
海角精产国品一二三区别在哪
无人在线直播免费观看
妈咪湿透的三角裤
坐公交车一晃一晃的
在厨房里两只乳头被吸肿了
王中磊玩过的女人
给我播放片高清MV观看
晚上睡不着偷偷看日本B站
后车座的疯狂运动过程
三男一女的伦交
WRITEAS太大了
原神当甘雨被空C出液体
5分钟不间断踹息声音频MP3
和邻居交换娶妻1
成全视频在线观看时间
聂小雨黑皮衣5分多钟视频原版
宝宝的骚水喷的到处都是
班级的公共玩具小O
张柏芝的毛太茂密了
他缓慢而有力的往里挺送文字
火辣导航APP福引导网站
詹妮弗的肉体完整版
第一次处破美女完整版
甘雨去掉小内趴在地上打扑克
BGMBGMBGM老太太毛
深度开发1V3梁医生不可以限
我和黑帮大佬的第365天女主
一个人看的视频全免费
一码二码三码区别日本
一二三四日本免费
午夜dj在线观看高清完整版国语
いっぱいしぼっちゃうぞ在线
丝瓜榴莲秋葵榴莲污污污
去部队探亲晚上叫太大声
晒晒16岁儿子竖起来的照片
太慢了能不能快一点
试看免费120秒
潘甜甜 手机的秘密
随时随地都在c的小镇
情侣的30种插秧法图片
在车内疯狂打扑克
小东西几天没做怎么这么多水作文
鸣人九尾暴走需要女人三天手鞠
撑起伽罗的腿疯狂输入游戏
逛街突然开了遥控器最大
一姐rapper潮水太多
这木马椅就是专门为你设计的
无限在线观看免费看视频
最近中文字幕在线MV10
在公交车上到高C
中国人を嫌う日本人
洗浴双响炮是什么意思
刘耀文在水里做哭宋亚轩
老王的晚年生活
音乐学院5p门
可以c女性角色拔萝卜的游戏手游
看了会滴水的段子
S8Sp海外视频
坐着轮流提双腿能起到什么效果?
你看你流了这么多水还说不要
黑料不打烊TTTZZZ入口2022
好满射太多了装不下了婵云吧
老公和他朋友上我该怎么办
他把我批日出水了
老赵抱着媛媛在厨房做饭视频大全
百人围观企业高管全裸跳海
肚子装不下了尿液公交车
声声奶酥1V办公室
337VT最大但人文艺术西方
CSGO中暴躁少女的打法技巧
老熟女重囗味HDXX70星空
豆奶app下载汅api免费下载ios
b站推广入口2023
草草药视频在线观看
看着我是怎么吃你的水
宝贝我想你站着做
半夜妺妺叫我满足她
儿子一晚上要了我三回怎么办
学渣坐在学霸的鸡叭上写作业
WRITEAS 教室
宝宝把腿抬起来靠墙上怎么回事
bl车车好快的车车p网站
AA级亚洲电影
一边做饭一边躁狂我会怎么样呢
他用舌头给我添高潮部分韩国男人
啊轻点灬公大JI巴又大又
领导在没人的地方要了我
班长是我们班的存精器白素素
迷人的保姆线观高清完整
宝宝坐下来自己慢慢摇网站
14MAY18_XXXXXL56ENDIAN_MBA
我的朋友很少第3季
妈妈的朋友2在完整有限中字
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1