有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
嘼皇妓院BESTIALITYSEX
桃花社区在线观看免费观看
玖玖资源站最稳定365
美国ZOOMDOG2019
一边亲着一面膜下奶韩剧
抖音奶片故意走漏
《桌球上的艳遇》韩国在线观看
一个B一个3人个人换着玩
2014年5月里番合集
不良网站正能量免费进入窗口
A最大但人文艺术
亏亏插曲叫疼的免费网址
中文在线中文在
校霸被学霸压实验室试管
中国帅哥Gary
彩虹男GARY2023视频
双人床上剧烈运动作文
和老师一天弄了好几次小作文
晚上剧烈运动打扑克的软件
亚洲AV精品一区二区三区不卡
白天躁晚上躁天天躁.
W乳液939永久W78
欧派浴室樱花2未增删带翻译樱花
凌乱的公交车小镇
这个杀手不眨眼2
数学课代表哭着说太深了
TOBU18-25
旅行者空把雷电将军C出液体
忘忧草在线影院www日本
老婆出轨时给老公打电话
天美传媒国产电视推荐
公交车上荫蒂添的好舒服口述小说
WINDOWSCHANNEL孕妇3D
欧美无人区码卡二卡3卡4
日本14MAY18XXXXXL
他真的比我老公的大得多
比赛输了任对方看和玩部位
德国大8BW德国大8Bw
那你蹲下来吃我的棒棒糖吧
老公总是吃我的奶奶但我很反感
日本乱码无限2021芒果
做错一道题学长就顶我一下
张柏芝艳门照图片
亲亲抱抱柔柔的图片
小泽玛丽娅电影
孙尚香站在板凳上给刘禅辅导作业
国内精品自线在拍
国外B站推广网站
你终于长大了可以做了视频
oldmacdonald中老年乐
水蜜桃着色入口
男爵夫人的调教
迈开腿尝尝你的草莓陶软
认命吧!金牵牛
2021麻豆剧果冻传媒入视频
WRITEAS憋着做
没人的地方让你弄一下
10款禁用软件永久无限次数看
雷电将军乳液狂飙vx免费进入
玖玖资源站最稳定365
WRITE AS 两根
水都流了那么多还说不愿意喝
三妻四妾完整版播放
不知火舞vs外星人h
日本乱码卡1卡2卡三卡仙林宗
慢慢褪去了她的内衣
中国小鲜肉GARY网站有限公司
美国ZOOM动物 - 欢迎您!
老公带我去让别人玩我该怎么办
女人和男人在一起怼怼怼
宝贝需要滋润了
tokyo hot n0730
午夜dj在线视频观看国语版
上课跳D突然开到最大视频
TTTZZZ668.SU.6.6.2
强塞玩具七小时
女朋友特别会摇是什么体验知乎
睡觉可以一直插着睡吗
linode日本iphone强汉入口
在车里被撞了八次高C文
日韩砖码砖专码2023
旅行者的J桶进雷电将军的B
日本妈妈厨房与子交
write as 水果
14MAY18_XXXXXL56ENDIAN2
最近2019免费中文第一页
音乐学院5p门
linruyouna
师娘求放过韩国电影完整观看
9612黄桃网址进入页面手机端
ACCA少女SDANVI大学
在公交车上嗯啊gc被c动态图
仆人犯错把筷子放屁了怎么办
我被当成发泄玩具的一天作文
MAY18_XXXXXL56
japonensis成熟大豆
南京交通职业技术学院刘梦亿
走一步撞一下 湿透许安愉
日产高清卡一卡二卡VA
怎么把自己扣的全是水喷泉
BASE掀起ONCHAINSUMMER热潮
女生喊疼男生越往里寨的游戏
善良的老师5有限中字丿
黑土ちゃんが腿法娴熟を视
好满射太多了装不下了婵云吧
日本水蜜桃身体乳与韩国美白对比
王者荣耀曜把西施顶哭
妈妈的朋友5线观超清
男朋友说迈开腿让我检查一下作文
好儿子妈妈要快谢了
楚晚宁墨燃所有肉车微博截图
一面亲上边一面膜下边53分钟
老师上课突然把跳D开到最大
中文在线5月16日快速反弹
大但人文艺术欣赏ppt图片
父亲在车里缓慢而有力的撞着
寄宿日记82话用喉咙帮充电
啊灬啊灬啊灬快灬深用口述
成人优品24小时自助售货店商品
把冰葡萄一颗一颗往下体塞
2828dy日本伦理电影
麻花传媒MV一二三区别在哪里看
小女生RAPPER入口
孤注一掷在线观看免费高清王传君
拔萝卜床上运动又疼又叫
台湾SWAY麻豆果冻精东
三叶草M码和欧洲码的区别
四虎永久地域网名2023知乎
果冻传媒七夕 免费观看
儿媳妇以为我是她老公是什么书
小红输了让小明随便处置
红猫大本营点击进
パンストエロ中文
我得到了妈妈的桃花源
狗头萝呼啦圈视频26分钟低价 1080P
欧洲VODAFONEWI
我和黑帮老大的我365天第二部
日漫动漫人物将机机插曲漫画软件
老公说想上我妈妈
你们四个一起上我会坏掉的小说
水都流出来了还说不要
2023麻豆剧果冻传媒
冯仰妍完整版在线看
漂亮的保姆中文版完整版免费
迷人的保姆线观高清完整
榴莲视频在线观看视频 1080P
JUX434被公每天侵犯的我
我的兔子好软水好多双指探洞小说
日产一二三四五六区
不要再进去了会被撑坏的
star 362
妇乱子伦小说全文阅读
人间小喷泉1V2
我是你岳...你不能
人丑B不丑是真的吗
英语老师的兔子好软水好多
真想跟你做到死
秋葵 茄子 丝瓜 香草 榴莲污网址
你把腿开大点就不疼了
年轻的母亲2在线高清完整版中文版
亚洲一卡一卡二新区迎热烈讨论
妖精的尾巴oad6
男生把自己的qq放入女生的qq里
我们四个人换着玩的感觉是
日本一姐RAPPER潮水太
今日更新2021乱码
无人区乱码二线三线
动漫人物将机机插曲漫画图片视频
4399看片在线看动漫
玩滑梯吗越往下越疼那种污梗
亲爱的老师6中文版完整版网盘
花木兰乳液狂飙奖励自己一发图片
王多鱼和博雅被C
中字乱码一二三区别视频
一支笔c哭自己从自w到高c视频
好满射太多了装不下了婵云吧
把英语课代表按到桌子上抄
14MAY18_XXXXXL7777
张津瑜 落地窗 视频
王者荣耀女生去掉小内无爱心图片
强壮的公么征服我1一60
100种禁用的漫画软件不要VIP
日本一卡二卡三卡四卡免费观
年轻的母亲在线视频HD中文字幕
亚1州区2区3区4区产品国色天香
它起来了它想你了
麻豆传播媒体网站入口官方
强壮的公么征服我第四
不充会员的爽爽的影院
仙踪林19岁RAPPER - 八零婚纱摄影工作室
让男人硬起来的网站
原神甘雨被空C出白色液体
黑料不打烊tttzzz668.su官网
同时和两老师双飞
肉多到炸的古言描写
深度1v3多肉
四叔日常1V2
小东西你抖得好厉害
野花韩国高清完整版在线观看5
精品乱码一二三四区别
王者荣耀瑶脸红享受流眼泪
哈妮克孜18秒烧毛
老赵抱着媛媛在厨房作爱视频
最美情侣中文在线播放
妈妈说以后不用戴了
国内精品一卡二卡三卡
欧美最强RAPPER潮水
大妈山坡做皮肉生意
老师你的兔子好软水好多的作文
看了会滴水的段子
国产AV无遮挡喷水白浆桃花视频
结合处粘腻水声拍打声的预防方法
坐在振动器上写作业的感受作文
公交车的最后一排入了我
女孩遭性侵嫌犯被取保候审
日本2和搜子同居的日子
妈妈的朋友7在观完整有限中字一
10岁小学生fees幼儿
日漫动漫人物将机机插曲视频免费
用指尖扰乱我吧打烊后第二季
一面亲膜上边一面膜下边日本
你是我的女人4免费观看
男生把坤坤放到女坤坤里蘑菇视频
美国vodafonewifi巨大app
妈妈用棉花堵住不让尿喝水怎么办
把冰葡萄一颗一颗往里堆视频
一个男孩子顶哭另一个男孩子图片
青梅不经C1V2
最强gy平台小蓝网站视频
学霸写作业让受自己动
JEALOUSVUE第一次
无人区码一码二码三
压在女朋友身上是件很幸福的事
YELLOW的视频播放
小婷又软又嫩又紧水又多的视频
原神申鹤乳液狂飙翻白眼流口水
日产韩版精品一线二线三线区
咬住下唇动漫在线播放
美国队长3票房
纵容的母爱第1一17段感悟50字
AI人脸替换明星喷水造梦
大众女浴室高清摄像头
头埋在两座山峰之间
回娘家让爹玩个够
爸爸说家里没人可以C了
迈开腿让尝尝你森林视频
品色堂永远的免费论坛
我得到了妈妈的桃花源
在公交车上弄到高C月
叛逆儿子暴躁老妈
18禁黄动漫网站禁片无遮挡观看
刮伦后心理咨询
打扑克视频又疼又叫
秘密教学103私下你可以随意7
父亲缓慢而有力的撞着
妇乱子伦真实故事
99精品无人区乱码在线观看
男男车车好快的车车长图
穿越到随处做X的世界结局
星空传媒XK8004的未来发展
免费啪视频观试看视频软件
男生女生一起差差打扑克
交警用小XUE查酒驾H
中国帅气体育生GARY网站MV
LOVESTORY动漫无删减
总裁的六岁娇妻
么公的粗大挺进了我的密道
国精产品W灬源码3
放学后在班上插英语课代表
小东西我们在水里做运动
エロワンピースエロじ
镜被捅了流口水流白色液体
大洋之间的灯光
暖暖 免费 日本 韩国BD
被C的走不了路
男生把坤坤放女生定眼里
含羞草独麻婆豆腐传媒
女生让男生随便玩自己的坤坤视频
清纯校花系列h文
年轻的小峓子1中字巴巴鱼汤饭
部队里被咬住花蒂吹潮军人
金银瓶1-5美国
年轻漂亮的女教师2
农夫成人网站导航
女婿次次有力杆杆到底笔趣阁
妈妈的味道HD免费
BGMBGM老太太毛
背人伦而禽兽行十年而灭的意思是
妈妈姐姐的女儿
高校龙中龙13
两个男孩子做不可描述的事
解放的潘多拉qvod
三个人弄了我一晚上走不了路
知道错了就过去趴着打PG
真人打扑克软件
JEALOUSVUE成熟50
天媒蜜桃传媒在线观看
坐在硬邦邦的上面写作业
打扑克是什么梗?
两座雪白玉峰弹跳而出图文
美国14MAY18_XXXXXL56ENDIAN
说着他的手已经探了下去
旗袍全开襟双人运动
三千美男爱上我
花蝴蝶日本视频
离婚后干前妻什么感觉
一亲二膜三叉四强五注射网
男生女生差差差差差很疼视频免费
老师带着跳D上课的感受
羞羞漫画入口页面在线登录
好儿子妈妈要快谢了
在哪可以看张津瑜9分
好大不可以坐不下去
让你尝尝我的尺寸
从镜子里看我怎么C你的作文
恋夜影院全部视频列表
WRITEAS军校
4虎的新地址是多少2022
晚上没人妈妈就是你的人
miya222
我的好儿子妈妈是你一个人的
亚洲一线产区二线产区精华液
打扑克剧烈运动全程不盖被子
xl先生未增删翻译免费樱花
朝俞坐着震动器写作业write
麻花豆传媒剧国产MV的特点
和孙子发生了不该发生的事情
迈开腿让你尝尝草莓是什么
137P大但人文艺术
洗屋先生樱花未增删带翻译英文
哎呀哎呀在线观看视频高清国语
空姐前规则高清观看在线
两大央企总经理调整
言教授要撞坏了笔趣阁
激烈的打扑克的视频
花火のエロドラえもん动漫
不收费的免费直播软件打扑克下载
为什么女生害怕海底捞月
深度开发1v3梁医生
天美果冻蜜桃精东传媒
原神ちゃんが腿法娴熟を视频
老子就是要上你在镜子面前
岳今晚让我玩个够肥水一体探岳
呼吸过度未增删
日产无人区二线三线乱码
皇上不可以(限)沈音
bbass巨大
撩到女生下面流句子
在裙子里面运动
精产国品一二三区别9977
妈妈的朋友8观完整有限中字木瓜
能播放的人与Zoom
中韩砖码砖专区2023
缘之空第4集开始开的车视频
女生吃鸡难道不恶心吗
女孩迈开腿喂男孩吃草莓膀胱
po18脸红心跳作茧官网
等不及了先做一次
张津瑜的9分58秒7段哪里可以看
情不自禁 百度影音
英语老师你的奶好软
yinseyinxiang
哈妮克孜被烧毛是真的吗
GAY空少被体育生开菊网站
小蓝视频基佬彩虹1086
法海终于把白素贞日服J
年轻的妈妈的中字巴巴鱼汤饭
班长哭着说不能再C了视频
日本韩无专砖码高清
GAY大陆年轻帅小伙2022
夏天校服太透了R头凸出来了
才一颗珠子就疼成这样
朋友换娶妻5中文版
同桌的手探到我的衣服里知乎免费
大尺寸的小黄说说推荐
夜里听到婆婆哼哼的叫声
怎么一边喘气一边说嗯的声音
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1