有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
三十种交口图片表
怎么玩自己隐私位置
好深再深一点动态图
老师没有带罩子让我练了一节课
日本ZLJZLJZLJ视频
老司机带带我高清版
父子骨科多R车
HJ54C1海角论坛
做暧暧视频大全1000部
公主殿下的LOVE全集播放
秘密教学82这次换我教你了土豪
女朋友会摇是什么体验
日本一卡二卡三新区
XRK1_3_0ARK在线观看人口
国外精产品W灬源码1688免费
8X8X网最新地址
高冷男受用钢笔玩自己图片
被七个男人绑着玩调教
中国青年GARY东北打桩
2021歪歪漫画画漫画
原神旅行者插雷电将军的游戏
把极品白丝校花啪到腿软
濡湿的车站未增删带翻译樱花翻译
亚洲乱码在线卡一卡二卡新区
中国VODAFONEWIFI粗
秘密教学93话恩爱久等了梦境
4hu44四虎www在线影院麻豆
红酒瓶塞住不准掉下来
搞机TIME恶心10分钟直接打开网页不要钱
19岁RAPPER潮水
含羞草传媒网站免费进入欢迎您黄页版
国色天香十七区品质怎么样
小兔兔被男生吃会发出什么声音
顶开妈妈的生命之门13
腿打开一点就能吃扇贝了
日漫动漫人物将机机插曲视频免费
吃鸡把是什么口感
七个人玩我一个
182TV在线播放地址
品色论坛最新地址
儿子要玩一次还要怎么办
写作业时被爹地玩
双胞胎姐妹齐上阵许多说许多
客厅大伦交侩H客厅设计要点
男在上女在下git动态图
像疯了一样要她
林晨钰爆奶门35张美图
亚洲无人区码一码二码三码区别
憋尿按压小腹肚子不让尿出来
s把m骂湿的句子怎么理解
老湿机免费体检三分钟十八岁
好儿子妈今天就是你的人
菠萝蜜国际一区麻豆
金瓶瓶之爱的性奴2
我的漂亮女教师2在线
澳门无人区码一码二码三码区别
歪歪漫画登录页面免费漫画入口韩漫
一浅二深三大叫
开车视频疼痛有声音
墨燃把楚晚宁按着c
两个人的视频全免费高清
啊接到一个30厘米长的客人
日本坐公交车弄了2个小时
语文老师塞着跳D讲课
小雪又胀又麻又酸又痒
斗转星移女明星合成
ZOOM人与ZOOMWIDS
4399看片免费观看大全
AI人脸替换脸杨幂在线播放
可以跟女主拔萝卜的游戏
秘密教学子豪51暗巷破解版
原来这才是春秋5
手从小腹一路开到丛林处
津渝视频完整版张
小小水蜜桃视频高清在线观看3
BGMBGM老太太毛
八重神子用身体补偿旅行者
芭乐鸭脖向日葵芭乐鸭脖旧版
看见你的棒棒就想吃的歌手是谁
狗狗猛涨精肉狗大壮增肥增食欲
遇到东北猛攻后一枚夹心饼干
玩滑梯吗越往下越疼那种视频
太鼓达人dx dlc
歪歪漫画漫画首页入
趴窗户上做给对面看
国产一线产区二线产区
拔萝卜又痛又叫黄
用你的指尖扰乱我吧2
娇妻荡女交换多P
日产中字乱码一二三
CHINAGARY篮球体育飞机
二指探洞好像要喷了一样的水
好看大但人文艺术
25岁的女高中生
公交车6人轮换做
史莱姆ドラえもんの胡桃免费
妈妈说带好套可以给我视频
2013年2月里番
一前一后三个人轮换的英文怎么写
GARY18一19帅气男孩
学校的公共公用便器
公交车上的诗请猛烈的输出阅读
最近最好的2019中文
云缨巡街救公孙离网站入口漫画
鲍鱼tv最新网名2021
我年轻漂亮的继坶bd
车文越详细越好
波多野结衣下载地址
随时随地都能干的学校教师有哪些
四个学长一起上我会坏掉的
爸爸比老公大两倍妈妈该怎么教育
黑人双人RAPPER美国大豆
一个人看的高清WWW哔哩哔哩
女儿的朋友8中汉字晋通话
上边一面亲下边一面膜的作用
性一交一无一伦一精一品
歪歪漫画登录页面免费漫画入口韩漫
2023国精产品一二三线
客厅大伦交侩H客厅设计要点
法国艳妇LARALATEXD
福利卡1卡2卡3精品推荐老狼
潘金莲扬思敏全集1一5集三级
顶开妈妈的生命之门13
宝宝腿抬高点坐下来自己动
叛逆儿子暴躁老妈怎么办
麻花豆传媒剧国产MV网站入口
一个男孩子顶哭另一个男孩
糖心vlog柚子猫内射频网站
B是不是越大越好
王者荣耀公孙离捅到流口水
原神当甘雨被空C出液体视频
公交车的小黄说说100篇
儿子你比你爸的都大
麻豆产精品一二三产区区
老阿姨BILIBILI视频
抱着边走边撞水流了一地的
99国精产品灬源码1688钻
国精产品一区一区三区有
王者荣耀瑶白色液体
网曝吃瓜黑料一区
51无人区码一码二码三码区别
我成了班级的发泄玩具的作文
缠着腰不让他退出
漂亮的保姆在完整5视频带翻译
YELLOW高清视频
YP193.COC永不失联免费
对象吃我的奶奶会变大吗
亚洲人一卡4卡5卡6卡7卡
最近免费韩国电影HD无吗
大长腿白丝被C到爽哭了
国精一二二产品无人区价格
为夫们等娘子好久啦
他的舌头含起了我的小豆豆
迈开腿尝尝你的草莓什么感觉
女教师的诱感5
三个人搞你一个可不可以
午夜dj在线观看高清
DVD碟片潘金莲
和孙子发生了不该发生的事情
妈妈的朋友2 女主角
163女性黄页
宝贝对着摄像头自己做忘羡
镜被捅了流口水流白色液体
成都1片P高清完整版HD免费
我被三门齐开了事后走不了路
废旧厂房里和流浪狗做
夜深了看点刺激的
免费B2B网站推广嘿嘿
VODAFONEWIFI巨大
男生和女生一起差差很痛APP大全熊猫
黄到能让你那里滴水的作文
他缓慢而有力的往里挺送细写文
50岁女人做起来很紧为什么
你们给老公含吗
是不是想夹死师傅
ati mobility radeon
打扑克牌男女剧烈运动原声音频
妇与子乱小说目录伦
哈妮克孜被烧毛是真的吗
野花视频韩国免费观看
OVERFLOW樱花风车动
嗯嗯宝宝大声点快
小泽玛利亚种子
妈妈的朋友5观完整有限中字木瓜
往下边塞水果后吸出来清欢
双乳被一左一右的吸着
帮妈妈通下水道
渣男渣女做不干净视频
迈开腿尝尝你的小森林小说
压在阳台玻璃上做给别人看
100位未成年RAPPER
枫牙 夏天的约定
带着小怪兽上班喷了
臭小子我是你岳...你不能
芭乐鸭脖向日葵芭乐鸭脖旧版
GARY大猛男GARY2023
蓝导航地址永久发布
嫦娥去掉衣服裤子
京东传媒精品jd009
三十种B哪个好图
南京交通职业技术学院刘梦亿
做错一题进去一次C
网站你懂我意思吧
怎么用一根棉签弄自己
20岁女rapper越南
女生迈开腿让男生吃草莓膀胱
朝俞R车WRITEAS震动器
电车之狼r秘籍
永远免费的品色论坛
老师洗澡让我吃她胸的视频
用指尖扰乱我吧打烊后第二季
Chinese体育生solo
Zoom美国另一类
声声奶酥1V办公室
我和岳一晚五次
一面亲上边一面一摸下边APP
丰年经的继拇中文3应用特色
网站你知道我的意思的www正能量
坐在学长硬硬的地方写作业
军舰上的女兵免费高清原声满天星
坐公交车弄了2个小时
三十六种阴阳技图片
为什么女生一被上就老实呢
韩国年轻的母亲5观整有限中字
如何玩自己的R头到腿软
99国精产品灬源码1688
黄金网站app日本免费
我和小堂妺的第一次
2015年4月里番
公I公在厨房要了我在线观看
将夜2第3集大尺视频
男人愿意亲吻你私下代表什么
9uu.cm有你有我
电车之狼r怎么玩
日本1卡2卡3卡
日韩天码砖区2021
打PG打到烂无挡住的视频
欧精国精产品一区
在车里被撞了八次高AO视频
公的浮之手中字5
公婆总是夜里恩爱声音大
兽兽门全套照片
怎么奖励自己的隐私位置不被发现
叫出来就给你 我想听
魏无羡哭着喊着让蓝湛退出去
不顾一切地进入
林浅浅被汆日常NP
女朋友的母亲5有限中字
楚晚宁张腿放棋子
过程1v2PO
大尺寸的小黄车说说公交
瘾欲欢愉半块小饼干霸
仙踪林19岁女RAPPER一百信息
迈开腿让我亲亲你的小草莓
想品尝小姑子的味道
免费拗女网站1300部
美红与王站长列车篇
体验区30秒试看五次
接电话插的说不出话
天海里红和橘和希
大妈山坡做皮肉生意
迈开腿让尝尝你的草莓是什么
扒开未发育的小泬视频
zztt黑暗传送门精彩片段
腿再分大点就可以吃到扇贝了
学长迈开腿尝尝你的草莓mv
动物胶配方视频高清大全
漂亮的丰年经的继拇了中
无人区一码二码三码区别在哪
高中班级玩具小诗嗯啊
火影忍者禁图h大全
爱情岛论坛亚洲品牌自拍速汇成
日本在线高清免费爱做网站
年轻的母亲最初中字7巴巴鱼汤饭
最近的2019中文字幕国语5
阿宾之房东太太
最近韩国动漫HD免费观看
麻豆传播媒体网站入口官网下载
我十二岁就做了不干净的事
小兔兔被男生咬着的图片
露娜用猴子的金箍棒玩
清纯校花被脔日常H
女朋友的妈妈4完整有翻译
疫情期间日老妈
丰裕纵满杨玉环
水都流了那么多还说不愿意喝
成品源码1688网站免费版
两阳夹一阴涨停双响炮的意思
tttzzz黑料不打烊痞幼照片
日本一卡二卡三卡四卡无卡高清视频下载
成长人雏鸟pro19幼儿版特色
国产色母和进口色母区别大吗
AAA国产大陸片
边做边爱3完整版
迷人保拇2高清在线播放手指动
老湿影院里面的视频免费观看
离婚回娘家满足爸
女生喊疼男生越往里寨的游戏
饭桌上故意张开腿让公H视频
看了让人想做的文章
美女杀手摧花狂
棒棒糖放屁眼里ss
你的舌头太厉害了
娇妻初尝粗大滋味借种韩国电影
生活大爆炸12
md0070沈娜娜苏清歌团圆火锅
中文字幕无线观看高清
女生发PYY什么意思
一根筷子怎么玩哭自己
vodafonewifi巨大黑有多好
精东传媒VS天美传媒电影
二人扑克剧烈运动视频
adc影库确认年龄18点此进入
英语老师打开扣子让我上
如何引导狗狗上自己春雨医生
网恋见面做H姜之鱼
男生无收费看污网站
WRITEAS吊带
厨房里的激战2海外版
无人视频免费观看免费直播视频
瘾欲欢愉作者半块小饼干
5g天天5g天天奭多人运动入口
妈妈的朋友5完整有限中字木瓜
怎么用卫生纸自W到高C
在公交车上被蹭流水了怎么办
妈妈姐姐的女儿
最近最新的2019中文字幕
C够了没有三根一起会坏掉骨科
免费无人区男男码卡二卡
md传媒免费观看在线
CAMPBUDDY大基基
迈开腿我可以尝尝你的小森林视频
拉开拉链它想你了给他好不好
打扑克直播软件app开发
天美传媒小甜豆完整视频在线观看
杨思敏1一5集国语版下载地址
逛街突然开了遥控器最大
女生说痛男生越扎的软件大全
在落地玻璃窗前插
仙踪林2021
早上起床抱紧我樱花
有车车的腐肉双男
K8S经典玛丽艳经典片
妇少水多17P密泬18P
japanese日本护士booloo
被两个老总前后夹击爽
女生最害怕的情侣玩具
羞羞首页登录无限阅币免费
心疼儿子给他一次可以吗
特别漂亮的媳妇和当官的朋友什么
最年轻的小峓子5中字巴巴鱼汤饭
538prom精品视频在线播放
小鲜肉GARY2023飞机小蓝
他把我批日出水了
粗大挺进闺蜜的幽深处网站
对着镜子看着我们的结合部
欧洲一卡二卡三卡视频
小东西几天没做水喷的到处都是
小SB就是欠C
你可以继续哭但我不会停下来
被绑在男厕所供人享用
萌白酱JK白丝喷水视频在线
波多野结衣系列在线观看GVG
群飞杨幂赵丽颖刘亦菲
你的好大我的手都握不了
打扑克牌的剧烈运动视频真实
学长教我做题错一题就放一支笔
什么是主题公园
人间中毒无减删播放
海角社区haijiao06
诱人小峓子5中字巴巴鱼汤饭
男人喜欢让你亲他私下代表什么呢
一面亲膜上边一面膜下边日本
男生把感叹号放进女生的括号作文
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1