有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
相对湿度po阿司匹林催熟
39W3C张津瑜吃瓜
在没人的教学楼里做老师什么感觉
帅气体育生GARY网站MV网站
在床上拔萝卜又疼又叫什么症状
最近中文字幕MV在线视频2018
爸爸的比老公的大好多
濡湿的车站未增删带翻译免费
麻豆画精品传媒2021免费
某处紧密连接在一起
前夫的东西真的很大
男生为什么越到最后越快
日本免费一卡二卡三卡四
黑料传送门tttzzz07du
老公当你面吃婆婆咪吗
老师塞跳D开最大挡不能掉XS
妈妈说以后不用戴了
再一次心跳第三集
日本无人区码一码二码三码四码
日本免费新区二
偷吃爸爸的擎天柱
渣男渣女做不干净视频
在裙子里做运动
王中磊玩死过的女人
mdyd-751
小泽玛利亚种子下载
陪儿子读书发生的事是真的吗
忘记带罩子让他摸了一节课作文
美美哒中文日本免费
泰版 浪漫满屋
蜜芽忘忧草老狼二区行情网
人与动物交配后
小柔在舞蹈室里被蹂躏
妈妈的朋友4完整视频有翻译木
小东西才几天没做喷的到处都是
打扑克又疼又痛
脱mm内衣小游戏
晚上睡不着看点害羞日本
重一点啊再重一点
不知火舞和三个男儿3
后营露营第二季无增减
18GaryWayne
重生之超级肉禽系统
生物课老师拿自己做繁衍例子
小学六年级差差差很痛
被同桌扒开腿用震蛋器折磨
你看你的水喷得到处都是若若
黄动漫车车好快的车车APP
无限免费观看在线直播
宝宝腿趴开一点就不会疼的原因
CSGO暴躁小阿姨
公交车双指探洞醉汉
肮脏秘密俱乐部
校霸被校草在教室做到哭
好妈妈5在线观看完整视频
老师上课突然把跳D开到最大
宝宝S里面好不好
我和姪女小婷上下耸动
成熟交BGMBGMBGM日本1
日本动漫扑克牌动画片mv
樱桃视频首页在线观看
从阳台X到卧室边走一步视频
妈妈的朋友免费观看全集在线观看天才
美国十次啦怡春院
我与黑大佬的三百六十五天完整版
张津瑜7段原版
家有三个媳妇陈淑蓉结局是什么
成人文学俱乐部
中国老奶奶vpswindows
日本一姐潮水RAPPER
老师家里没人你用点力
老公带我去给别人玩
DVD碟片潘金莲
s货是不是想挨c
试过黑人之后再也回不去了
伊人大杳蕉中文在线20
妈妈说带套可以给我先说
最刺激的乱惀小说合集
濑亚美莉最好看的几部
国精产品一区二区三区有限
在床上拔萝卜又疼又叫的描写
萌白酱17分钟视频
凌晨三点看的片日本
哔哩哔哩B站肉片免费文字
赴约BY际慈PO
大象国精产品一品二品在线
成都4片p高清完整版视频
蹲下来我请你吃棒棒糖
最新浮力影院地扯公布
妈妈的朋友4男演员是叫什么名字
人与畜禽的交佩的APP
A处处吻全程拉丝伸舌头
国精产品 自偷自偷
海角社区最新在线播放
我的XL上司第二季未增删翻译中
超砸在线观看免费视频
野花视频在线观看免费观看最新6
宝宝你在车里好会夹
最美情侣高清免费视频播放大全
特工妈咪惹不得
西方大但人文艺术
9877地铁笨蛋1
狗狗的东西一放里就变大
满18点此安全转入2023
全程一个男的在啊的纯音乐
女朋友技术太好舍不得分手
车文超细过程长图片
蜜桃成熟时快播
痞幼视频3分25是什么意思
吃瓜网-免费吃瓜黑料泄密爆料曝
看完就起反应的文章
欧洲无人区卡一卡二卡三
雍正睡了自己女儿是真实的吗
果冻星空传媒儿媳妇
ZOOM国外网站
品色堂 pin6
いっしょにしよ
撑起伽罗的腿疯狂输入的视频
唐朝豪放女百度影音
啊灬啊灬啊灬快灬深视频直播
超碰人人操在线视频
日文中字乱码一二三区别
把你拉没人地方玩你
隔壁老王的春天
篮球队的公共玩具文章
清纯校花系列h文
是不是好久没人弄你了表情包
核子基因创始人张核子弟弟发声
三叶草日本码和中国码
关晓彤被华晨宇做出了水车
日本正能量不良网址直接进入
电影院最后一排要了他
我家狗狗弄了我4个多小时
男生说跪射是什么意思
桃花视频在线观看免费
岳故意装睡让我挺进去观看
边做边爱完整版3在线
我的漂亮女房东完整版在线韩剧
叔父的大还是爸爸的大
日韩精品卡1卡二卡3卡四卡
500篇短篇合
老公才日完我又睡我妈
精产国品一二三产区蘑菇视频
塞跳D的一天感受详细作文
一直按小豆豆为啥浑身发麻
他趴在两腿中间舔我私密有事
hm因虚假宣传被罚
对象给我看他的鸡
青梅竹马是消防员未增删动漫
十个人一起上我会不会坏掉
亚洲人一卡4卡5卡6卡7卡
可以把自己看下面流的说说
top gear 19季03
老师的大兔子好软水好多的
强被迫伦姧惨叫VIDEO
谁输了去谁家受罚抽阴可处置男生
KONANNARUTO纲手禁欲动漫
疫情期间日老妈
被C哭是一种什么感受
美国14MAY18XXXXXL
阿铜铜铜好多水
两根一起进去疼拔出来就不疼了
用手指搅乱吧未增删带翻译中文
打开腿让我添你下面小污文
坐公交车居然弄了2小时视频
亲爱的老师5韩国中字完整版
冰块一粒一粒往下边塞图片
天美果冻星空国产剧情
虫虫漫画在线浏览页面弹窗
坐公交车失去了第一次
儿子暗示我想上我
亚洲VS欧洲VS美洲人口
张津瑜视频七段
ず中文在线っと好きだった
宝宝好会夹啊拉丝了
斗罗大陆2大乱斗交大第1
年轻老师的滋味5在观整有限中字
丰满大爆乳波霸奶
回娘家父亲求我给他一次
老师你的兔子好大好软水的作文
汉服齐胸襦裙啪啪
美国ZOOM与人
小洞饿了想吃大香肠喝热牛奶
原神雷神ドラえもんのエ网站
男人喜欢水大还是水小的
黄色软件免费下载3.0.3每天无限次vivo版破
宿主每日被guan满日常临安
人与善人与善在线观看
浪翁荡熄的幸福生活
几个老爷弄一个丫头的说说
体育老师C了一整节课
TOBU8美国7TOBU
fulao2官方网站进入
xrk1_3_0ark入口
一体验区试看120秒
撑起伽罗的腿疯狂输入的视频
OVERFLOW樱花未增删带翻译第二季
19禁忌漫画免费阅读
12岁女孩拔萝卜总叫痛
男生把坤坤放到女坤坤里蘑菇视频
交口30个图片
137VT最大但人文艺术图
doctor strange
联谊对象是肉食系警官末减版
欧美无人区码一码二码三码的区别
亚欧乱码卡一卡二卡新区
日本一卡二卡三卡四卡免费观
绳子打结勒在缝里走路
父母儿女媳妇一起来
老师哭着说不能再深了软件作文
被抱起来C是一种什么体验知乎
打烊后仅剩俩个人的沙龙樱花
939W乳液78W78W韩国
雷电将军八重神子被淦出水
背人伦而禽兽行十年而灭的意思是
将夜在线神马影院BD高清
养敌为患漫画免费全集下拉式
狗狗的东西又大又烫
韩国三圾片在线观看
cf孙尚香正能量视频
吉泽明部 种子
电车之狼怎么安装
泰国淫乐园实录
自己玩r头教程
为什么没人喝猪奶
长城守卫军花木兰被草
非洲人性功能强大跟什么有关?
迈开腿尝尝你的森林什么感觉
我坐在有木棒的椅子上写作业
略国精产品W灬
洗浴双响炮是什么意思
中国国产免费毛卡片
造孩子的全过程不盖被子
无限资源2018免费观看
他日得我走不了路
《水泄不通》txl金银花
做饭的时候老公也要
老公是怎么上你们的
俄罗斯美女艺术
欧洲RAPPER潮水太多
大菠萝福建网站引导入口404
歪歪漫画登录页面免费漫画入口首页漫
师奶杀手迅雷下载
民工把我奶头掏出来了怎么办
WNTPPS偷窃小便
怎样用一根棉签弄自己
果冻传媒一二三区2002
等不及在车里就要了老狼信息
可以随意触摸内部位的游戏手机版
他缓慢而有力的往里挺L
晚娘恋欲百度影音
同桌放学带我去没人的地方作文
污到你那里滴水的视频
施主就让贫僧进去吧什么意思
AI换脸周淑怡可以冲的
翁熄系列欲仙欲死
WRITEAS遥控器
校园列车上的小黄说说1000字
腿再分大点就可以吃到了
仙踪林XIANZONGLIN
GoGoGo大但人文艺术评价
6漫画免费下拉式六漫画斗罗大陆
MOSTHDCOECTION性
FULAO2粉色标原版本下载地址
女婿的东西太好了
楼梯每走一步就用力往上撞
俄罗斯severodvinsk
星空无限传媒国产剧情
在家不准穿衣服想做就做
在破房子里和狗做
资源你懂我意思吧
超碰免费视频公开人人
善良的妻子3中字巴巴鱼汤饭
班级的公共玩具渺渺
老师上课突然把跳D开到最大视频
善良的小峓子小火星
亚洲日本乱码卡2卡3卡新区
晚上睡不着偷偷看B站短视
入禽太深高清视频韩国
麻豆果冻精东九一传媒MV
成品网站W灬源码伊园百度百科
小东西几天没做水喷的到处都是
把腰抬过来一点不然我怎么发动
台湾中文网娱乐网
我家狗狗一天上我一次
老师的手指在里面转动的写作业呢
中国老奶奶vpswindowsHD
狼狼鲁色在线视频播放
权臣hlH十一月
老公总是吃我的奶奶但我很反感
中国成熟IPHONE
8X8X海外华人永久免费提供
把腿开到最大就不疼了真的吗
bbox撕裂bass俄罗斯仙踪林
ワンピースエロじ天堂
国模全体超大尺度私拍
宝贝它想你了感受到了吗车上
麻豆精产国品一二三产区区农民
14MAY18_XXXXXL56ENDIA
减去小舞所有的衣服
麻花传媒XK8046在线观看
WINDOWSCHANNEL少女
别墅轮换游戏五对情侣图片
韩国女主播种子
扒开粉嫩小泬直接进去
小14萝视频资源站
97超碰在线视频人人av
人善交XUANWEN200喷水
魏晨破赵奕欢的处图
宝宝才两根手指就哭了
一起差差差30分钟轮滑
新疆女RAPPER18岁RDFJFTTIK
一前一后三个人轮换的英文
Zoom人与Zoom巨大
谢俞贺朝肉车试卷
麻豆传煤网站怎么下载
是不是想让我弄你了啥意思
刘永灼被恒大免职
女生越说疼男生就愉快
乳液狂飙开襟网站MIMEI
一面亲上边一面膜下边打扑克免费
大学附近旅馆叫的厉害
zljzljzlj日本人水多
善良的小峓子2在钱中文版女主角
alb-219
WRITE AS 内衣
桃花怪大战菊花侠
冬至糙汉h1vl
暴躁老阿姨csgo攻略大全
俄罗斯VIDEOSDES18
三个人搞你一个可不可以
往下边塞水果后吸出来车
淑荣二次上船开到湖中间去
十世宫缩剧烈做着生
CSGO中暴躁少女的打法技巧
你太大我装不下你
爱情岛论坛首页推荐
动漫人物去掉小内打扑克A
老师家里没人你用点力好好快软件
六人轮换C一个过程多少分钟
校园大尺寸的小黄说说1000字图片
看见你的棒棒就想吃的歌手是谁
巴西BBABBABBABBA想起
疯狂伦交2完整版
老阿姨是最有味的
爱情鸟论坛免费观看大全在线中文
my88816蜜芽入
体育课被C了一节课
蓝涣求你了慢一点曦澄
S货水都这么多了还装教官
刚开荤的男生是不是收不住
公交车售票员用下面验票
电影院最后一排要了他
吃男人大鸟硬起来图
黑人双人RAPPER美国大豆
北北北砂王者荣耀完整系列
V11亚二新区乱码无人区
公翁的粗大放进我的秘密电影
会夹会摇是什么意思
开车视频小黄车视频免费下载
小霜的高中成长日记小说
帐篷里的秘密未裁剪哪里有
左拥右抱1v2
漂亮的保姆中字
公与憩小说姚瑶大结局2020
女人和男人在一起怼怼怼
老公朋友的媳妇给老公送生日礼物
宝宝放松一下进去就不疼了
好儿子妈妈要快谢了
木叶的性处理番acg大全
C开你的SB叫出来
RH男男车车好快的车车片段
没做过的能放进几个指节
ekdv 273
阿离掀开自己副乳的视频
污到你那里滴水的说说细节多
品色堂 永远免费
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1