有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
538prom精品视频我们不只是
日本潮水rapper超多
他的舌头探进蜜源毛毛虫说说视频
麻花豆传媒剧国产MV的特点
学长一边撞我一边写作业
宏翔小蓝视频GY2023
穿成小团子后萌翻全世界系统
妖艳女忍者锷女篇
体育老师C我一节课
XZL幼儿精品幼儿
王丽坤的B太白
坐在上面怎么晃
13适合用多大的仙女棒
沈阳45岁老阿姨喷了几次尿素
永远的品色论坛
在车里被撞了八次高
欧产日产国色天香区
搜同 2023地址 ipv6
才一颗珠子就疼成这样
W乳液939永久W78
地下偶像sana未增删带歌词
性少妇JEALOUSVUE成熟
妈妈说戴了才可以
免费精产国品一二三产区区别
我和黑帮老大的我365天第二部
老婆不傻不天真
同桌C了我一节课作文
人马配速45分钟
顶级RAPPER潮水
情人的东西比老公大怎么办
WRITEAS怀孕涨奶
日本一姐RAPPER潮水自由
学渣含着学霸几巴的写作业的肉
三叶草日本码和中国码
大尺寸的小黄说说1000字免费
女儿就是用来给爸爸用的
日产无人区一线二线三线新版
孩子想C我同意了
同桌放学带我去没人的地方作文
母亲误把我当父亲
51CG吃瓜网热心朝阳群众
荔枝视频app男人影院在线观看
数学课代表哭着说太深了
夏季短袖看见女同学乳突qq
网曝吃瓜黑料一区
初中生一起床差差差的场景
继室瑶娘尽欢潮汐
体育生GARY网站MV
中国XXXXXL19
电影桃姐在线观看
雷电将军ちゃんがを腿法娴熟部下
秘密教学子豪26再做一次
同桌上课打开我的腿放震动蛋
进入母亲的生命之门
哥布林洞窟樱花未增删带翻译
女士不遮阴内搭图片大全大图高清
公交车两人双指探洞LH说
小女孩吃小男孩小叮叮游戏
5G影讯5G天线在线观看免费网址不用下载
4个人互换着做苏霞
最刺激的乱惀小说合集
两个男生做不可描述的事情
诱人的小峓子6字巴巴鱼汤饭
雨后的小故事动态图
韩国美女主播系列之蜜罐
真实多人运动故事叙述
最近免费韩国动漫HD无
公么公在浴室征服小雪
类似第四色的网站
桃花视频在线观看免费
在没人的教学楼里做老师
打扑克一边喘气一边叫疼的视频
迈开腿尝尝你的小草莓什么意思
小东西几天不见喷到处都是水
668.su黑料正能量入口密码
中日乱码卡一卡二仙踪林
老电工老王和李小燕
星空无限传媒免费看电视剧
哪吒顶进敖丙里面
分手那天我们做了八次
黑料网-独家爆料-曝光揭秘
和孙子发生了不该发生的事情
同学叫了好几个人来玩我
长风渡叶世安为什么黑化了
WRITE AS 产卵
137西方大但人文艺术
免费的正能量WWW正能量
妈妈的朋友 女主角
被自己家狗狗C了一天
我的XL上司第2季未增删带翻译
WRITE AS 塞水果
无限挑战130406中字
小洞饿了要吃大香肠有声音
新英雄云缨泳装P图
来自俄罗斯的美国女RAPPER
5G天天奭多人运动网站入口
教授别c我了我在写作业文
和老妈一起出嫁
WRITEAS揍肿在教室
狂C英语课代表
作业写着写着就插了起来
怎么用一根棉签弄自己
超级肉禽系统的小说推荐
牧场videos skool
GOGOGO大但人文艺术大
最新果冻传媒MV在线观看视频
你好大你慢一点我疼国产片
儿子把坤坤放入妈妈的坤坤里视频
被二指探洞感觉要喷了文章
无翼乌邪恶全彩无挡遮
免费打扑克牌的网站
看镜子里我们的结合的地方
24小时日本免费看
十大B站不收费
撩到女生下面滴水的句子小说
黑人猛挺进小莹的体内视频
爱情鸟在线论坛1在线观看
露娜拿的金箍棒玩自己视频
欧洲无人区卡一卡二卡三
日产乱码一二三区别免费下
我被继夫添我阳道舒服
国产午睡沙发系列大全
性满足BBWBBWBBW
老师下面太紧拔不出来怎么矫正呢
my pico
男朋友老是玩我的小兔子
把腰抬过来一点不然我怎么发动
爸爸缓慢有力送女儿的句子
小泽玛利亚电影种子
12岁打扑克一边疼一边叫
2023AMAZON欧洲站
电车之狼r怎么玩
在无限游戏里花式挨CH
无人区乱码1区2区3区网站
18岁MACBOOKPRO45岁
国精产品一二二区视早餐有限
姬骑士征服战争
51吃瓜今日吃瓜入口
久亚洲一线产区二线产区三线产区
最近韩国日本免费观看
列车上的小黄说说1000字
last day on earth
花蝴蝶日本HD免费完整版高清版
淑芬两腿间又痒又疼的原因
日本1卡2卡3卡
嗯嗯宝宝大声点快
双人打扑克剧烈运动视频
今天晚上让你哭着喊停
一号请你配合我的走位
往下边塞玉器见客人作文
老湿机影院免费观看十分钟
96无人区码一码二码三码
99西方大但人文艺术
睡遍娱乐圈女神
八重神子和丘丘人繁衍后代
办公室沙发口爆12P
坐公交车弄了2个小时视频怎么办
免费精产国品一二三产区区别
和闺蜜一起出门带电动玩具
三十六种阴阳技图片
电车 之狼r攻略
99精品和95优品
潘甜甜果冻传媒 在线观看
女BBBB槡BBBB槡BBBB
西方447大但人文艺术
把腿开到最大就不疼
当着全班人的面做到高
世界上最不安心的人
妈妈的男朋友8 线观 高清
孤独又灿烂的神
撑起伽罗的腿疯狂输出的视频网站
迈开腿让我亲亲你的小草莓
一个B一个3人个人换着玩
中国东方XXXXXLMEDJYF
JY灌溉系统游戏唐小米笔趣阁
欧洲无人区卡一卡二
女生迈开腿让男生吃草莓恶心吗
美国vodafonewifi巨大app
双胞胎姐妹齐上阵许多人物
为什么舞蹈生的裆部都是湿的啊
25岁女子高中生樱花未增删翻译中文翻译
宝贝我想看你的喷泉了什么意思
老师拉我去办公室做了一节课作文
十九岁日本韩国免费完整版高清
电车之狼r怎么通关
它起来了它想你了
939W乳液78W78W乳液
双人床上扑克动作视频
youjizz在线电影
18岁女孩开襟衣服
宝宝可以捅捅我的下水道吗
又大又黑又长的蘑菇头
学渣含着学霸的写作业双男主车文
瑜伽狂野式体式进入
日本XMXMXM18小孩
13岁PG可以塞下多少根马克笔
品色 免费论坛
输了让对方随便玩一个月的作文
ed2k柚木提娜
欧洲女RAPPER潮水大豆电视
韩漫免费漫画入口官方
啊学长我们换个地方
父亲的东西比老公的好用
国精产品一二二区传媒有哪些
精产国品一二三类产品的区别
中国新疆XXXXXL19免费看
任你干在线精品视频网2
国内18岁女RAPPER老狼
ssni229
果冻传媒董小宛一区二区
国产尺码和欧洲尺码表CCTV
国内精品自线在拍2020不卡
激荡瑜伽1V2
国产亚洲一卡2卡3卡4卡新区
金瓶酶全集电影
搞机time恶心直接打开的网站不用下载
51成品网站W灬源码
原神雷电将军的俘虏生活
13岁PG可以塞下多少根马克笔
胸的手感怎么样
麻花豆传媒剧国产MV出差
校霸被校草在教室做到哭
域名不定更换_请及时收藏
老公和朋友一起上我该怎么办
房奴试爱中的运动
歪歪漫画首韩漫页免费
宝宝两根就哭男男是不是太早了
原神免费正能量网站安全
跳D放里面开最大是什么感觉
好湿JK漫画可以自动下滑阅读
白洁一夜挨十炮二十章节
亚洲 欧洲 日产 国
嫩草研究所入口一二三四
仙女棒夹在里面的照片
随时随地都能C的小镇
家里没人我哥把我做了作文
不知火舞和三个孩子之森林公园
前一个后一个会撑坏的
旅游途中夫妻换着玩的说说搞笑
动漫男生把坤坤放女生坤坤里开元
韩国绝伦推理片高分剧
免费打扑克牌的网站
怎么自己自W教程
一层一层一层的剥开我的衣服
随时随地都在c的小镇
一边写作业一边C她免费
免费打扑克牌的网站
隔着睡衣吃你的小尖尖作文姜灵
搞机time恶心10分钟直接打开网页
美国人与动ZOOM
艳情短篇合集1一160
公交车后车座的疯狂C
欧洲洲一区二区精华液
粉嫩小缝太窄了进不去怎么办
张津瑜 最新视频
污到你那里滴水不止的文章1000字过程
免费B站视频推广网站2023
男男车车好快的车车真人免费网站
侍卫把贵女怼树干
随着公车车晃动进入
今晚咱们试试阳台
最好的中文字幕视频
春暖花开炎狼之地
BBOX撕裂入门头交
生物课上老师亲自给我们展示
为什么做完以后还要顶
MACBOOKPRO免费观看视频
齐天大性大破盘丝洞
把语文课代表干到走不动路视频
父亲的东西又长又黑怎么形容他
师娘求放过完整电影
开车视频疼痛有声音水水
8x8x我要打机飞在线观看
只因爱你by欲语还休
双人床上打扑克又痛又叫
トイレの花子さんVS屈強退魔師
爷爷总是在妈妈身上
在语文课堂上插英语课代表
不知火舞之沙滩狂欢
男朋友压着我说想进去
在椅子上放一根很光滑的木棍
为什么女生害怕海底捞月
太慢了能不能快一点
叔父和爸爸谁更大
RUN AWAY无删减免费看
男人会亲你的小花园时代表什么
朋友的母亲9在观完整有限中字木
tek-067
熟妇人妻无乱码中文字幕真矢织江
公交车轮换C程雪
房东先生这是第5次付房租了
打扑克牌又疼又叫视频下载
steve hopper dvd
后营露营无增减
日产无人区一线二线三线乱码蘑菇
换个方式做吧樱花网
无翼之漫画漫画焰灵姬
xax was was
宝宝我就在外面蹭一下爱情
王多鱼韩婧格博雅免费网站
花蝴蝶免费版高清版
精品乱码卡1卡2卡3免费
男在上女在下git动态图
寂寞夜晚看的MV字幕高清网站
女生奖励自己隐私越狠越安全好
俺也去老色官网
toul-307
明星ai智能人脸替换网站
欧美无代码HD免费
9精产国品一二三产区
欧亚专线欧洲WMY
同学的妈妈2中韩双字
野花社区日本免费
品色堂 pin6
我成了生物课的教具
医生听诊器PLAY羞耻PLAY
今天接了一个30厘米的单子
给他们轮着尝尝你的味道老周
侯马市性侵女生
s货是不是想挨c
数学课代表说不能再扣了
韩婧格槟榔视频
迈开腿尝尝你的草莓声音
网站你懂我意思吧最新
年轻的保姆5线观高清
女人和男人在一起怼怼怼
来吧儿子妈妈是你的人是什么歌
国产欧美GARY
公交车后车座疯狂的做的细节
妈妈的朋友5在观有限中字
ZLJZLJZLJ日本人水多多
star-362
王者荣耀西施爽上天的表情
大尺寸的小黄车说说公交
雷电将军乳液狂飙VX网址
看着我是怎么吃你的水蜜桃
宝贝它想你了感受到了吗车上
你把腰抬起来点不然我没法动
大菠萝18福建导航
第四色 成人 官网
佛帐潮绣凸浮双龙耳帐
狗头萝呼啦圈视频26分钟什么梗
亚1州区2区3区4区产品乱码
YIN荡体育课羞耻PLAY
文轩WRITE.AS 抽肿被发现之后
做完之后用玉器堵住皇帝
RUN AWAY 全集未删减在线观看
geyaocao
男生吃兔兔女生该干嘛
自W到高C的25种视频教程
同桌的手探到我的衣服里知乎
国精产品一二三线999
我坐在有木棒的椅子上写作业视频
椅子上放一根很光滑的木棍可以吗
电车之狼r操作
校园纯开小黄车长300字
野花视频手机免费观看完整直播
19岁MACBOOKPRO欧美
台湾佬中文网娱乐网
睡过年纪最小的多少岁
俄罗斯vodafonewifi巨大!
王者荣耀伽罗爽上天的表情
婉莹满足了十几个农民工视频
搞机time恶心10分钟不要钱
张津瑜处理通告
喜爱夜蒲2 粤语
ゴブリンの洞窟sana
天天想你视频免费观看高清在线
一个人看的免费播放完整版
清楚看到我C你过程
精产一二三产区区别在哪
三个人换着躁B一PL
幼儿hiphop仙踪林张婉莹网站
输了被罚让别人玩一个月
红玫瑰直播免费版视频
小黄说说1000字
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1