有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
色戒完整版2小时38分
前面一根后面一根运动
乖我们试试在这里
去姥姥家进入妈妈身体的说说句子
具体描写被C的过程
腿再打开一点就能吃到扇贝了
吃女朋友的扇贝是什么感觉
女生戴一天仙女棒是什么体验
hm因虚假宣传被罚
藏经阁福利导福航大全
原神胡桃N开襟乳液狂飙视频
男男车车的车车网站推荐真人
大长腿白丝被C到爽哭了
日本一卡二卡三卡四卡免费观
公嗲嗯啊轻点公大ji巴
国内AI明星造梦网址是多少
老婆出轨时打电话给老公
404黄台软件免费下载安装
填得很满是什么感觉
蜜桃成熟时33d qvod
在教学楼里和学长
结合处发出粘腻的拍打声
X7X7X7任意噪入口
宝宝是我撞进入还是你坐视频
阿离掀开自己副乳的视频
痞幼黑料不打烊900张照片
你是我的荣耀泄露版
三十分钟让你桶
父亲的东西又长又黑怎么形容
我的兔子好软水H15
三个rapper玩一个女的
欧洲RAPPER潮水
瑶遇见神鹿喷白水软件
香肠和扇贝插在一起翻译英文
被一条蛇C到崩溃的
打扑克视频用点力
成年动漫3d无尽视频
宝才一根手指就疼了?
丰裕纵满杨玉环2588演员表
日本卡一卡二卡乱码三
写的比较细的开车文章
家里没人我哥把我做了作文
老师忽然渐渐放慢了进度视频
数学课代表哭着说太深了
《男团共享物》by:不必南下
5g天天奭5g天天运动破解版
医疗室play道具走绳结
男生和女生 打扑克
小东西几天没做水这么多还说不要
韩国妈妈的朋友6整有限中字中国
妈妈送给青春期儿子的礼物
毛笔夹在里不能掉出来写字
我们三个人搞一个人啥感觉
japonensis成熟
说服好兄弟让一堆人C我
风流艳妇90分钟完整版
中国国产免费毛卡片
几天没弄又痒了是吧小东西
潘金莲高清DVD碟片
虫虫漫画页面在线阅读弹窗
雷电将军被旅行者淦出水
好痛太大了放不下的
清清成了班级的发泄玩具的作文
迈开腿尝尝你的草莓是什么
狼狼鲁色在线视频播放
凤凰天使韩剧社
hongkongdoll森林秘境第3集
三根一起玩真的不会坏掉吗
黄金网站APP视频
斗罗大陆唐三桶比比东的下面
男人的坤坤穿进女人的甜甜圈图片
两根棉签如何把自己玩哭
手不安分的探进她的礼服小作文
太慢了能不能快一点
在无限游戏里花式挨C
每走一步就会深深的撞一下
最近韩国电影高清免费观看在线
别急妈今晚就是你的
比比东吃唐三的棒
舞蹈区卖肉精选
一前一后三个人轮换的英文怎么说
精品无人区一线二线三线区别
打扑克牌的剧烈运动视频全过程
两个人一前一后太长了
秘密教学53子豪源源不绝漫画
把两只小兔子吸红肿视频
激烈的打扑克的视频
椅子上放一根很光滑的木棍
年轻的老师滋味5在观整有限中字
日本最大的但的人文艺术
女RAPPER节目
小莹与翁回乡下欢爱姿势
Zoom与人性Zoom1区别
老婆出轨时接听老公电话
优质JING液收集器系统H1
体育生GARY猛烈GARY
三个人一起C你的感受
AI人脸替换脸杨幂在线播放
扑克直播软件免费
原神女角色脸红哮喘图片
品色堂永远免费论坛
善良的嫂子4中字巴巴鱼汤饭蘑菇
夜蒲1国语版完整版百度影音
小东西我们在水里做运动
日本一姐潮水RAPPER 太多
年轻的保姆5线观高清
风流艳妇90分钟完整版
最近新免费韩国直播视频
5G天天奭多人运动最新 网址
斗罗大陆人物3D黄化视频
MD传媒MD0076老师家在线观看
和父母换着玩大家庭三
在床上打扑克不盖被子会怎么样
草莓榴莲未满十八岁的做法大全
打扑克牌男女剧烈运动原声音频
欧美三根一起进三P
麻花视频V3.2.2纯净版
女儿就是留给爸爸用的
野花高清在线观看免费5
不叫我就做到你叫
黑帮大佬和我的365日第2季剧情
女头部位上半身胸头透明
双胞胎姐妹齐上阵许多人物
几天没C你是不是痒了免费
老师白妇少洁高老师43章
老师迈开腿让尝尝你的草莓是什么
免费做运动视频扑克视频网站
51fun吃瓜站
把英语课代表按到桌子上抄
日产欧产美韩系列区别图片
被开三门恶心死了
今晚咱们试试阳台
你的水都拉丝了
杨思敏1一5集国语版下载地址
JEALOUSVUE成熟好妈妈
japonensis成熟
19岁MACBOOKPRO欧美
用注射器打水放屁眼里的视频
公交车两人双指探洞LH说
国精产品一二三线999
学渣坐在学霸的棒棒上写作业视频
从黛玉的身体里退了出来
日本一姐潮水RAPPER 目不暇接
16岁日本学生MACBOOKPRO评测
19岁MACBOOKPRO欧美
夹好去上学不能掉出来的作文
校园纯开小黄车长300字
高清VPSWINDOWS69
被学长C了一节课怎么办
扒开未发育的小泬视频
20厘米把女友干到走不了路
在我们寝室当寄吧套子怎么样
黑黑的粗粗的长长的是什么
槽溜2021入口一二三四绿巨人
japanese日本护士booloo
白雪公主被树干哭的故事是
高效天堂在线最新版
yuanshayangli
女人被躁到高潮嗷嗷叫的歌词
两男一女两根同进去舒服吗
善良的老师3中字巴巴鱼汤饭
接待一个20厘米长的客人
怎样把自己弄到喷泉
两个人看的片BD高清
冰块和棉签是用来干嘛的(黄)
女朋友特别会摇是什么意思知乎
女生一边喘气一边叫疼
棉签冰块放入PNG图片
vivo另类tv
桃花怪大战菊花侠
错一个题就往阴里装一支笔
你的棒棒能通通我的下水道吗
最经典的两人轮流取珠题目
仙女棒坐着使用的图片
久亚洲一线产区二线产区三线产区
妈妈说带好套可以给我视频
果冻传媒妈妈和女儿李琼
一人吃上面一人吃下
siro-3248
错一题老师肉一次
欧美A级SUV大全
精产国品一二三产区区别在哪
被弄得走不动路走不动怎么办
詹妮弗的肉体下载
WRITE AS医生
50款夜间禁用软件app免费
错一题学长就x我一次
国产一码二码三码区别
爱情岛论坛永久网址首页
润色红叶吻蛇枝黛妃
朝俞R车WRITEAS震动器
在床上拔萝卜又疼又叫什么
健身房几个私教弄了几次
西方37大但人文艺术人山踪林
父之过家庭大杂乱经典说说大全
公交车最后一排被C小数据
大学旅馆叫的厉害
学生的妈妈6中韩双字中国
抽的越厉害声音叫的越大声音
行尸走肉洛莉做过几次
tokyo hot n0750
金银瓶1-5普通话
パンストエロ中文
镜といちゃつきたい的欢迎会
中国VODAFONEWIFI粗暴最新版
深田咏美HND-723在线观看手机
2022男钙GGY钙站
真人作爱视频免费视频大全
女生让男生随便诵自己的名字
小华佗事件陌陌
嗯啊快停下我是你老师啊H
漂亮的丰年经的继拇3如如中字
GAY大陆年轻帅小伙2022上
男人和女人晚上干的那事视频
开车疼痛有声音 免费网站
罩子没戴让捏了一节课
没有罩子的瑜伽老师
我的妻子的姐姐2观整有限中字
夹枪带棒1v2舒明明和黎
客厅大伦交侩h
张津瑜VS吕总视频MV完整版
被校长抱进办公室糟蹋
老湿影院里面的视频免费观看
魅力研习社41
变态生理研讨会
真人情侣剧烈做运动的表情包
我与岳的风流韵事
把腿长开学给你吃草莓
腿开到最大真的就不疼了
《我的兔子好软水好多动漫》
亚洲无人区码一码二码三码的含义
黑料吃瓜网.SU永久有效
插曲的痛的视频免费
家长让我坐在振动器上写作业
大团圆结局公交车2
开最猛的车的动画
涨精装满肚子去上课
打烊后仅剩二人的沙龙
汤姆叔叔最新地域网名2021
为什么男生抽的越快声音越响
怎么奖励自己的隐私位置不被发现
性VODAFONEWIFI
妈妈醉酒后误认为我是爸爸
18岁末年禁止观看的网站免费
校霸做错一题学霸就插一支笔
我的XL司第一季免费观看翻译
一吻二脱三床四吻胸
家里没人你用点力 快快
亚洲码与欧洲码区别一二三
恩爱时发出的叫起床的视频
我在无限游戏里花式挨CH
啊哈哈哈好长啊
迈开腿快让我看看你的草莓图片
波多野结衣作品封面
捅伽罗是什么东西
羞羞漫免费漫画入口页面弹窗秋蝉
亚洲2023无矿砖码砖区
黑帮大佬和我的365日2第二部
一前一后三个人轮换的英文怎么说
成品禁用视频APP短视频
污到你那里滴水的说说细节
maya请确认年满
TOBU8-HD100
黄沙视频在线观看WWW官网
内衣办公室动未增删带翻译3樱花
喷泉h1v3海棠
久久这里的只有是精品23
在公交车里把跳d开到最大
要怎样才可以女孩子喷泉是
保守娇妻被别人开发成功
干的热巴喘不过气
女生把自己的隐私发给异性朋友
成熟交BGMBGMBGM在线看
在床上拔萝卜又疼又叫什么病症
按摩师坐在两腿中间按摩
湖南高中秋千门事件
校园列车上的小黄说说1000字
久亚洲一线产区二线产区三线产区
共享皇家小公主3V1
英语班长要看我的小积积
10款禁止下的软件
斗罗大陆3大乱斗交大配
两个大兔子抖来抖去的图片
施主就让贫僧进去吧什么意思
比赛输了任对方看和玩部位游戏
三个人一起C你的
18岁女孩开襟衣服
最近最新中文字幕大全手机
班长是班级的公共玩具作文
家用摄像头被盗拍400部一区
边吃饭还和爸爸连在一起
国无人区码卡二卡
怎样把女朋友玩成小喷泉
美国VICTORYDAY妇女
ZOMBIE视频SUPREME
搞机time恶心10分钟
W永久939W乳液78特点
抽出含了一整夜的性器液体流
xiaav 因你而精彩
王多鱼打扑克免费高清视频
4399HD在线观看免费播放
WRITE AS 导尿
女性被深耕后的表现
黑土ちゃんが腿法娴熟を视
动情1v1嚯一口焦糖拿铁
半夜打扑克叫疼的视频软件
斗罗大陆阿银被训成狗
忘忧草日本社服务台的电话号码
上官婉儿的乳液狂飙视频
免费网站在线观看人数在哪儿找
JD京东影业传媒女儿国女演员
金刚杵汆肉莲的介绍
一个人高清观看日本完整版视频
凌晨三点看的片WWW小说
二指探洞HIGH到飞起什么过程
夫妻成长日记二
啊 你别往里塞了 疼
琪琪色原20岁网站
黑人RAPPER大全
一面亲上边一面膜下边的肌肤之亲
宁一荣荣开襟乳液狂飙
五个黑人玩一个女5P的小说
让男人硬起来的网站
整集都做的美剧
幼儿hiphop张婉莹仙踪网
埃及猫没有衣服跳舞动画片原版
爸爸太大了撑不住了
小女生RAPPER入口
晚上偷偷看B站欢迎您
三个人日的我走不了路技术
被拉到学校没人地方C
男生把坤坤放到女坤坤里蘑菇视频
任你干视频精品播放
蜜桃成熟时钟真
人曾交互MOUSE
含羞草实验室隐藏路线
宝宝上面全都是你的水
两个人完整视频在线观看
文轩宋亚轩自己做扩张直播
39W3C张津瑜吃瓜
儿媳妇夸我比他老公厉害怎么办
天美传媒国产自制剧一库
用点力就快出来啦
小东西几天没做水这么多
翁熄止痒婉艳隔壁老李头
我们四个人换着玩的感觉是
开小黄车的细腻描写
boss俄罗斯撕裂bass
岳故意装睡让我挺进去观看
大团圆结局全文目录txt下载
人狗锁在一起的原理是什么
宝宝我们换个姿势在玩
中国人在线观看免费的视频
善良的妻子3中字巴巴鱼汤饭
无限动漫视频在线观看
老狼一卡2卡3卡4卡2021免费
在公交车上破了两个六年级
放学后在班上插英语课代表
2D甄姬与隔壁家的两个小孩
泰国淫乐园实录
OVERLORD第四季在线播放
人与畜禽croproatain
一旦试了黑人后你就不想回头
夜里十大禁用软件APP
中文字幕一线产区和二线区的区别
国产乱码精品一品二品
差差漫画页面免费阅读秋蝉
为什么一加速女生就会哭
妈妈的朋友3007电影
上海富家女杨丽玲
原神雷电将军18襟网站
学渣坐在学霸的鸡叭上作文
718吃瓜网张津瑜
腿再张开一点就能吃扇贝了
虫虫漫画弹窗页面在线观看
原神甘雨的乳液狂飙图
妈妈的朋友5在完整视频带翻译
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1