有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
被压到落地玻璃窗前doi
女人讲述多人运动的感觉
把冰块一颗一颗往里堆
日本卡一卡二新区
在公交车上破了两个六年级
东北speaking
妈妈说只要爸爸不在家就可以睡觉
好满射太多了装不下了免费看
XL上司第二季樱花未增删翻译
下面小扇贝肿了
国产乱码一卡二卡3卡4卡网站
不顾一切地进入
在阳台试试好不好
樱花YY私人在线影院
梁医生不可以(限)季亭亭
妈妈开始拒绝最后服从的句子
高清人和猪又细又长像钻头
二次元人物桶动漫人物免费
深度开发1V3全是1
幸福宝8008隐藏永久入口
云缨的乳液长什么样
漂亮妈妈3高清中字在线播放
斗罗大陆女生去掉所有服装
老师你的兔子好软水好多动
公交车6人轮换CH
ipz046为什么被称为神作
日本XXXXXLmeDjyf
bl车车好快的车车p网站
24小时视频在线观看免费观看
小东西几天没做喷了这么多
激荡的瑜伽室2
亚洲日本一线产区和二线产区区别
快穿之女配紧致h
沈阳45岁老阿姨喷了好几次
精产一二三产区区别在哪
早就想在公园要你了
厨房里两只奶头被吸肿
顶的速度越来越快过程
一口一口吃掉胸口的奶油BD站
大巴车最后一排被C细节
丰满年经的继拇9M
女生的小雏菊到底长什么样
大佬和我的365天
晚安おやすみせっ3在线观看
和黑帮老大的365天
妈妈的朋友在完整有限公司中字2
蜜桃成熟1全集高清
魔鬼部队完整版的播放
啦啦啦 中国 日本 高清 在线
宝宝是我撞进入还是你自己坐下来
猛撞H花液H深
18款夜间禁用粉色短视频
他走在街上用遥控器要我
开车晚上看有痛痛的声音视频免费
金麟岂是池中物侯龙涛
18款禁用B站网址
娇妻在我面前被多p
榴莲app推广链接
夫妻成长日记 动画
为什么女的做过以后满面红光
坐在叔叔的硬硬的上面写作业文章
色戒完整版视频哔哩哔
2023Gy钙站
拿我的妹妹做实验V2.0无病毒
新最终痴汉电车
夜蒲1国语版完整版
做扑克运动全过程视频教程
厨房春潮唐小米
在上面做的时候像疯了一样
黑料社TTTZZZ入口2023
品色永远免费论坛
吉泽明步torrent
迈开腿让尝尝你的CH宝宝
揉自己的痘痘揉到腿软的方法
边做边爱完整版3在线动漫
雷电将军乳液voiux网站
渣男和渣女做不干净的事情视频
甘雨ちゃんが部下を腿法娴熟
爸爸说家里没人可以C
丰满的女房东在线观看6
一二三四高清观看视频
总裁在餐厅进入
亲亲抱抱蹭蹭的刺激原声哔哩哔
男生把坤坤放入女生的坎
被兽人灌得鼓起来
日本三圾片在线观看
美式1984雪莉和保罗谁厉害
日本HDMI2.0高清线339933
天美传媒我的妹妹董小宛
日本vtuber在b站的钱
女生暑假自辱下面30天计划
老师上课把跳D突然被开到最大
仙踪林 贰佰信息网
不收费的免费直播软件打扑克下载
啊用点力对就是那里快
被两个老总前后夹击爽
做错了事就往下面塞一个冰球作文
拉开拉链它想你了给他好不好视频
一个人夜里偷偷看b站怎么办
棉签冰块放入PG的照片
5G天天奭多人运动最新 免费
蜜芽.2722永不失联在线观看
老夫子精区一品精区.百度百科
一个老男人把我下边玩肿了
没带罩子让他吃了一天会怎么样
阿离掀开自己副乳的视频
早上起床前要抱紧我风车动漫
在公交车上弄到高C怎么办
双指探洞要喷了I
另类老妇性BBWBBW
八重神子雷神P图全光图片
国精产品W灬源码网站1688
精品成品国色天香卡一卡MBA
XFB3.XYF幸福宝导航
弱点21话一次够吗
麻花豆传媒剧在线MV免费牛牛
一个好妈妈4中字头强华驿
爱情岛论坛首页永久入口
一面亲上边一面膜下边说说
春雨直播免费视频观看
如何弄到自己喷泉
孙尚香站在凳子上辅导刘禅写作业
宝贝我想你站着做
公与熄大战柔佳
日产VS国产VS韩产
my88816蜜芽入
妈妈的朋友8完整视频有翻译木瓜
5G天天刷天天奭
数学课代表趴下让我桶免费网站
乌克兰laurenphilips
咬住下唇动漫在线播放完整版
精产国品一二三产区别手机
黑人缓慢而有力的往里挺视频
写作业错一题就插一下
りなとあな里菜的痛
TOBU8美国7TOBU
空荡荡的教室和两次惨烈考试
女士不遮阴小内搭BB
ソープランド中国人在线播放
三门齐开女人疼苦吗
18款禁用软件APP下载网页
不喊停就一直做
快停下我是你老师的啊
野花香在线观看免费高清播放视频
大陆年轻帅小伙飞机GAY
没带罩子让他玩儿了一天怎么办
麻豆画精品传媒2021网站
tobu8-HD68
日产精品二线三线
温暖叶非墨车内做
三个人把我弄得走不动路怎么办呢
尘不到闻时顶腰细节
虫虫漫画弹窗页面在线观看
午夜4k最新福利
在英语课上用j插英语课代表作文
中日乱码卡一卡二仙踪林
两个男孩子开车细写
少妇被粗大的猛烈的进出69影院
vodafonewifi喷浆
斗罗大陆女生去掉所有服装软件
16MAY19_XXXXXL
中国speakingathome宾馆
欧派浴室2樱花未增删带翻译
成品大香伊煮和小辣椒的用途
换个的方式做吧第一季
YELLOW日本韩国
无限挑战130406
友善的好邻居2
啊宝宝的腰好会扭再叫大点啊哈
打扑克又疼又痛
小东西多久没c了
404黄台下载大全
雷狮被安迷修强行掰腿车图
往下边塞水果后吸出来车
yuanshayangli
几天没做你就流了
无人在线观看免费观看韩剧
宝宝把脚叉大一点就不疼了
奶奶外婆一起给我怀孩子
品色堂永远的免费论坛
帮帮我爱神豆瓣
狗狗的东西又硬又烫又臭怎么办
美国14岁女rapper
班长的手灵活的按着遥控器
SAO货腿张开JI巴CAO死我
开小黄车细节描写
杨幂ai智能人脸替换脸造梦厂
校霸被学霸玩到崩溃车
羞羞漫画登录页面免费入口页面
打扑克视频发出声音
青梅竹马是消防二季未增删
波多野吉衣电梯
一本大道香蕉大无线吗
金花瓶双梅花5
搞机TIME的恶心软件10分钟APP不用下
魔鬼部队完整版的播放
狗狗的东西好大图片
吕知樾张津瑜视频外网
麻豆画精品传媒2021网站
羞羞漫画在线看免费阅读破解
吃饭时某处紧密连接
阿岘洞夫人国语版
吕知樾张津瑜视频外网
女生为什么迈开腿给男生看
女士不遮阴内搭图片高清图
狼狼鲁色在线视频播放
最美情侣中文观看完整版高清
紫霞用金箍棒插自己哪里
老师你的兔子好软水好多详情介绍
输了让同学玩隐私位置游戏
bgmbgmbgm老妇60岁
仙女棒夹在里面的照片
老湿机影院免费观看十分钟
挪威的森林打扑克又叫疼
最近最新MV中文字幕国语免费
亚洲一码二码区别在哪儿
y1uan大家庭
老师下面太紧拔不出来怎么矫正
麻豆 天美 果冻 星空国产
日韩一卡二卡3卡四卡2022精品
TMW07国产天美传媒
年轻的老师2全集
雷电将军的惩罚游戏破解版
午夜dj免费视频观看在线动漫
和教练在车里撞了我三次怎么办啊
榴莲app推广链接
倒插莲花是什么样子的
奖励自己的隐私位置是什么
放在里面睡觉是一种什么样的感受
刚开始一深一浅后来逐渐变大
GARY大猛男GARY2023
镇远螺丝桥真实故事
国产日产欧产美韩系列国
厨房春潮小说第1章
成品人和精品人的区别
张津瑜 VS吕总视频
楚晚宁墨燃所有肉车微博截图
麻花豆传媒剧国产MV网站入口
性妇VODAFONEWIFI精
帅气体育生GARY网站MV视频
接待20厘米长的客人
破坏中巴友谊罪
丰满少妇大叫太大太粗
WRITEAS塞东西不能掉
公大JI巴给你P
领导的东西比老公的大
国产SUV精品一区二区6
乳液狂飙开襟网站MIMEI
男生把坤坤放女生坤坤里开元
内衣办公室动未增删带翻译3樱花
奇迹三雄之扑克牌游戏
剧烈摇床运动免费观看
120分钟免费用机机视频
高铁上要了很多次
多毛bgmbgmbgm胖
我被公司领导C了很多次
被自己买的机器人做到哭
我们在阳台来一次好不好
被弄了几次路都不能好好走
mimk-009
大尺寸的小黄说字多肉健身房
女子日系裸妆视频
一层一层的剥开我的衣服啊
电影巜狂欲之夜
为什么做完后还要顶几下
最近中文2019字幕第二页
黄动漫车车好快的车车APP
女生迈开腿打扑克又疼又痒
男朋友c的时候都说什么
MD豆传媒一二三区入口
PAYPAL未满十八岁怎么开通
双龙NP黑粗撑开宫颈口BL下人
新手如何自W到高C照片
爱情岛永久免费线路二视频
把冰块一颗一颗往里堆
为什么做完下面是打开的
无翼乌无遮挡全彩漫画大全漫画
娇娃荡女K8经典
麻豆传播媒体入口下载免费版官网
撑起伽罗的腿疯狂输入的视频网站
fulao2官方网
美国白人未成年RAPPER
毛都没长就被开了包
年轻的母亲5免费观看翻译
张津瑜7段原版
公主葡萄不能夹烂也不能掉出来
yy111111手机在线观看琪琪
JINYU9分10秒
同时被几人C是一种怎样的体验
公司办公室强C了我好多次
王者荣耀女英雄流眼泪翻白眼流口水
晚上睡不着看点害羞事
宝宝我顶到你的点了吗
老扒和三个熄妇
h动漫美女图片
女性看了会湿的句子
女生让男生玩诵自己的游戏
538prom精品视频在线播放
搞机TIME恶心网
把筷子放屁眼里不能掉图片
德国VODAFONE精品
教练在车里撞了我三次怎么办
老卫淑荣在上船全文阅读
老太太bgmbgmbgm1
yw193龙物安全
心动时刻简简单单的爱
第一次挺进麻麻的黑森林
向涟苍生士献上纯洁
rh男男车车好快的车车作文
中文伦理片最新最好看
5G天天奭多人运动 在线观看免费网
情侣剧烈做运动的表情包
我家狗狗卡在我里面痛怎么办
国产精华液一线二线三线区别
老旺的大肉蟒进进出出视频
女生迈开腿让男人打扑克
男生为什么越到最后越快
男女在一起翻雨覆雨的描写
李白受WRITEAS
免费看不盖被子打扑克的软件
トイレの花子さんVS屈強退魔師
Naruto Konan Hentai小南
中国VODAFONEWIFI粗
男女一边摸一边做爽爽的动态图
软糯小受灌满哭求饶BL道具
小S货又想挨C了叫大声点小
苏家小媳妇1V3小说
雨后小故事 动态
把女朋友弄成小喷泉呢
花田喜事2009
在公交车上撞出了水
呜呜撞得她说不出话来
把你的香肠放入我的甜甜圈的
美国人又大又长又租
王者荣耀瑶脸红享受流眼泪
WRITEAS椅子
孩交VODAFONEWIFI
高中班级玩具小诗嗯啊
故意让儿子看见自己
BBOX撕裂BASS孕妇公交车好莱坞
插曲30分钟视频试看十二分钟
国产精东剧天美传媒
我的漂亮女房东完整版BD
棉签怎么玩哭自己
人物动物交互狗剧情
课代表趴下开让我桶30分钟全集
00xx动态图
炎炎消防队生肉1080P
黑龙江大学不雅视频
VICTORYDAY老大妈
为什么我坐他上面总是掉出来
西西顶级艺术人像摄影
爸爸说家里没人的时候可以做
双人床上剧烈运动作文
女孩子坐男孩子身上有啥反应
写得很细的开车秒湿故事作文
离婚后和单身父亲做
THEWHITEBOX精选黑与白
如何把自己弄到喷泉视频
农夫导航永久地址
每走一步就深深的撞一下
糖心VLOG精品一区二区
国产精品艺校校花视频央视网出文
MD豆传媒一二三区进站口电影
被夹在中间当磨心最后会怎样
99精产国品一二三产区区别网站
王总来我家老公不在
知道错了就转过去趴好
男朋友是怎么玩你的
摇床和喘气声音
传说中进击的大绅士传说
老丈人的东西又弯又长怎么形容
WRITE AS 自己掰
年轻的朋友3免费观看完整韩国
正能量不良免费网站入口照片
数学课代表说不能再扣了
tobu8美国14
日本卡一卡三卡四卡乱码
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1