有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
墨燃把楚晚宁按着干196章
求你别在阳台有人看见
yy6080高清影院理论
抵债的朋友麦子韩语
女性自卫慰方法
60分钟上大床
宝贝好紧好爽再搔一点试視頻
是美男啊之结伴同行
蝴蝶传媒视频无限观看三次
最近HD免费韩国电影
小雪的13又嫩又紧又多水书架
雪臀肉枪玩遍武林美妇
狗狗的东西好大图片
媲美欣刘老师56部密码
胸大的姑娘视频高清
百合车车描写文字
色吧有你 春暖花开
女生越说疼男生越往里寒
美女视频脱空一净二净
妈妈的朋友2在线中文字幕看免费完整版
雷电将军乳液voiux
夜倾情保姆的诱惑
插曲的痛的视频免费
seo短视频网页入口引流
差差差很疼视频无掩丰富
浓毛BGMBGMBGM
不知深浅PO1V2车
私人情侣网络站
喝了酒跟我家的狗狗做了
哔哩哔哩床吻戏大全
毛都没长就被开了包
啊学长我们换个地方
滑滑梯越往下越疼的那种图片
新版猫咪目前的地址入口
张津瑜的9分58秒7段哪里可以看
榴莲视频在线观看视频 1080P
坐在上面怎么晃教程
日本ZLJZLJZLJZLJ喷液
餐桌下手指噗呲噗呲
丰裕纵满2588
最近最新的字幕MV
夜趣第一福利官方导航专业
三叶草欧洲码和亚洲码
开心五月四房播播
国内Zoom人与Zoom
丰年经的继拇3的特色和机能
王者荣耀女英雄被捅到流口水
无限资源2018免费观看
在线观看2022GGY钙同网站
女生说痛了男生越里寨
小洞饿了想吃大香肠喝热牛奶是
牙医姐妹赤子板栗
帅气GARY体育生网站MV视频
甘雨拔萝卜图片高清壁纸
老公叫人一起换着玩的说说
穿越到随处做X的游戏世界
蜜桃成熟时3da
王者荣耀黄化网站免费
写的超细的多肉C过程
怎么揉小豆豆图解
亚洲尺码和欧洲尺码区别
迈开腿尝尝你的草莓声音
亚洲不卡在线2卡3卡4卡5卡
年轻的母亲4有线观
歪歪漫画在线阅读页面免费漫画入口页面秋蝉
谢俞贺朝第一次做肉车
奶奶外婆一起给我怀孩子
年轻的朋友6 韩国
四虎影库紧急大通知
国精产品W灬源码1688伊在
WRITE AS 尿液
IJGN禁止18岁以下下载软件
tokyo hot n0610
我的兔子好软水好多H15阅读
无翼乌邪恶全彩无挡遮
英语老师不戴罩子让我捏一节课的
软玉娇香多肉1V3
艳情短篇160章
一个人看片BD高清最新
女儿的朋友7完整有限中字木瓜
餐桌下手指噗呲噗呲
日本vtuber在b站的钱
51CG今日吃瓜热门大瓜
18款禁用网站进入
英语老师的兔子又大又软又好吃
跳D放在里面走路什么感觉
色网址大全导航
成品网站W灬源码16伊园最
大胸年轻的搜子
天美传媒剧国产剧情MV
精产国品一二三产区别手机
撞进妈妈的生命之门
toul-307
欧洲N00N兽交剧
欧亚专线欧洲S码WMY全部资讯
免费体验120秒视频
国产第一页浮力影院入口
孩交VODAFONEWIFI
s8视频在线播放
一边亲着一面膜下韩剧网
acome玫瑰
黑料网-独家猛料-曝光揭秘
《我的兔子好软水好多动漫》
故意让儿子上自己
污到你那里滴水不止的文章1000字
欧洲无人区卡一卡二卡三
教练在车里撞了我三次怎么办啊
麻花豆传媒免费MV在线观看
电车之狼怎么安装
春雨直播免费视频观看
免费观看桶机十分钟
黑牛影视传媒有限公司官网
安迷修被雷狮放振动器
宝宝我放进去就不疼了视频
师徒1v2金银花
无人区一码卡二卡三乱码
农场主三姐妹美国1976
5g影讯5g探花网址
哥布林洞窟樱花未增删带翻译
嗯嗯宝宝大声点快
公主殿下微臣馋了玉U势灵犀
桃花社区 在线播放
YSL水蜜桃86
最近中文字幕MV免费高清视频7
东莞技校门下载
一个奶下面一个鼎是什么字
欧洲经典成人片10部
乳色吐息樱花未增删翻译中文翻译
朋友换娶妻2韩剧
精品乱码卡一卡2卡三免费
儿媳妇夸我比他老公厉害怎么办呀
69无人区码一二三四区别
无限资源2018第1页在线观看
输了让同学玩全部位置的作文800字
我们没试过在阳台做呢
4虎的新地址是多少2022
我想用扇贝夹你的乌龟
男人碰到紧的会出来的很快吗
啊别插了视频高清在线观看
乱码一卡二卡新区永久入口
玛雅maya发信到
嗯宝贝叫的再浪一点
侯马市性侵事件视频
适合夫妻之间看的麦片
双人床上剧烈运动打扑克的视频
不小心进了岳坶的身体
学渣含着学霸几巴的写作业的肉
两个人在线观看高清哔哩哔哩视频
adc欢迎您的大驾光临
在车里缓慢而有力的撞着
家里没人我哥做了我
老公生日3Q的开始
免费BGMBGMBGM胖老太太东北
跳d放在里面上体育课500字
仙女棒坐着使用方法图片黄
优质JY灌溉系统游戏
女子日系裸妆视频
差差差的30分钟无掩盖电视剧
老公叫我和别人换着玩
原神申鹤开襟乳液狂飙
啊灬啊灬啊灬快灬片免费
宋慧乔爆肛门是怎么回事
腿张大点就可以吃扇贝了
VICTORYDAY老大妈
野花视频在线观看最新免费3
整篇都是车的百合推荐校园
男神插曲女生软件完整版免费
年轻的母亲1线观高清播放
国岳的前妻照片
张津瑜聊天记录截图
错一题学长就x我一次
19岁的RAPPER潮水
黑料不打烊最新地址入口
双指探洞要喷了I
腿再开一点就可以吃扇贝了
韩国床震无遮掩视频
他们一前一后的有力的攻击我
瑜伽老师让我C了一节课
黄版直播APP
野花视频免费高清观看
晚上爷爷总是压在妈妈肚子上
亚洲卡二卡三无线乱码新区
被男友咬小兔兔的感觉知乎
家有三个媳妇陈淑蓉结局是什么
最近最好的2019中文日本字幕
男生插曲女生视频完整
塞跳d开最大挡不能掉出来作文
被同学捡到遥控器折磨
人间小喷泉1V3HL
sis第一会所
男生爱吃初中女孩子的JIOJIO
亚瑟中文 在线
等不及在车里就要了老狼信息
中国新疆XXXXXL19学生申中国
叛逆儿子暴躁老妈
注射器打水放屁眼里视频处罚
日产精品一二三四区气温
独角兽高达06
日韩一卡二卡3卡四卡2022精品
狗狗东西在我里面突然变大了
皇上撞着太子妃沈音的小说叫什么
是不是想让我弄你了
邻居一晚让我高潮3次正常吗
东北大炕乱欲狂
不知火舞和三个坏小孩
开车视频有声音免费软件APP大全下载安装
黑料网独家爆料免费吃瓜
强烈推荐的多肉糙汉
进了老师的扇贝
痴汉电车3图片
原神黄化网站站
云缨去掉所有小内流口水图片
免费日产幕乱码2021
三一起C你的感受
男朋友咬小兔兔时怎么回应他
两个奶被揉得又硬又翘怎么办啊
爱情岛论坛亚洲免费路线一
满了...太满了...溢出来了
男生把坤坤放女生定眼里云开
国精产品W灬源码3
对象咬自己小兔兔的感受
narto henta
傻大壮长着驴一样的东西
旅游途中夫妻换着玩的说说
99国精产品品质溯源网
阿离掀开自己副乳的图片
插花弄玉曲径探幽不正经的意思
成熟交BGMBGMBGM在线看
我们去楼梯间做好不好
差差差30分钟视频轮滑
c两根一起会坏掉的
开车污的 女生越疼男生越来越快 段子动
野花视频在线观看最新高清
蜜桃成熟时33
亲胸揉摸下面刺激视频
14MAY1XXXXXL麻豆
小草在线观看免费视频播放
门卫老头吮她的花蒂的导演是谁
八重神子去掉小内趴在地上打扑克
蜜芽miya188.mon牢记无限观看
你越来越耐C了
狗狗射速好太可怕了sun
电车之狼游戏攻略
atlanticocean巨大
优质RB灌溉JY系统海棠初一
97dyycom
燕氏四个和尚播种
日本人是人吗最佳答案
日产一二三四乱码18
班长哭了能不能再抠
宝宝腿趴开一点就不会疼的原因
蜜桃成熟时1997qvod
GY2023小蓝视频
star-481
小家伙你喷的到处都是文字
第一次处破女14分钟
欧美无人区码卡二卡3卡4乱码
青梅被从小摸到大H补课1视频
甘雨去内布料开襟XMAN
男人又大又硬又粗图片
他的手指在里面转动的写作业呢
CHINESE东北体育生露脸飞机
BRANDILOVE超清在线
晴雅集免费观看在线观看
开车疼痛有声音 免费网站
交流1v3多肉软孕
老公叫人一起换着玩
一飞冲天动画片
幸福宝软件导航
WRITEAS道具
精品日产一卡2卡三卡4卡在线
原神胡桃享受流口水图片
宝宝我放进去就不疼了视频
早就想在学校要你
妈妈醉酒后误认为我是爸爸
小婷又软又嫩又紧水又多的软件
star-413
给女孩子疏通下水道
赵露思AI人工智能造梦
WRITE AS尿出来
19岁MACBOOKPRO高清
二指探洞HIGH到飞起什么过程
爆肝工程师的异世界狂想曲
喷泉H1V3HL
老赵抱着月月在厨房做欧美视频
宝宝把腿扒开大点就不疼了
棉签和冰块怎么玩哭自己
爱情岛论坛免费观看路线二
日本一姐RAPPER潮水仙踪林
小蓝彩虹男GARY1096
一边喘气一边叫做摸小兔兔推荐
与女神同行评价
小鲜肉gary2023男的音乐表现
交流1v3多肉软孕
YELLOW的视频播放
软糯小受灌满哭求饶BL道具养成
脱色摇床打扑克全身不盖被子
姬小满的乳液狂飙天堂W98
日产精品一卡2卡三卡四
疯狂厨房2双人3-5通关攻略
亚洲卡2卡三卡4卡2022老狼
帝王怀孕肚腹圆隆憋尿
萝li精品资源无码
炎炎消防队生肉1080P
a处处吻全程拉丝伸舌头拉丝
小东西看我是怎么C你
bgmbgmbgm老太太水太多
数学课代表趴下来让我桶免费网站
小东西慢慢感受我
填得很满是什么感觉
塞跳D开最大挡不能掉哦
肥胖BBMBBMBBMBBMC
星空无限传媒国产剧情游戏
人畜禽CORPORATION最新版本
歪歪漫画登录页面免费漫画网页在线阅读
妈妈的朋友5在线观看线观高清中文
皇帝往下边塞玉器见客
国精产品69永久中国有限
ZOOM和OKZOOM
电影桃姐在线观看
国色天香精品一卡2卡3卡老狼
爸爸的比老公的大好多
51精产国品一二三产区区
两个人的BD高清视频免费
公司办公桌C了我好几次
野花免费观看日本韩国
你把腰抬起来点不然我没法动
污到你那里滴水不止的文章1000字
黑料传送门tttzzz07du
腿张大点我就可以吃到扇贝了图片
天美传媒国产剧影视公司
XL上司第二季樱花未增删翻译
洗衣屋2樱花未增删带翻译樱花
手机调成震动夹在中间有感觉吗
ZOOM与人性ZOOMSK
红色一片www在线
姜汁撞奶POH之初
儿子一晚上要了我三回怎么办一
我跟你老公谁的大
潘金莲扬思敏全集1一5集
色达天藏砍尸过程
永久939W75W75W乳液
顶级肉质耐看小说言情2023
没有我的允许你一滴也别想尿出来
看着我是怎么吃你的水
做完放里面睡觉是什么感觉
一件一件的剥开我的衣服
一个男孩子顶哭另一个男孩子文案
国产9麻豆剧果冻传媒
WRITE AS医生
三门齐开女人疼苦吗
亚洲卡2卡三卡4卡2022老狼
免费夜间做还运动视频扑克软件
run away无删减全集
强奷漂亮的女邻居完整版
美国xaxwaswasfilm
腿再张大点就能吃到扇贝了
国产无人区码卡二卡三卡
漂亮的保姆韩国百度网盘资源
一不小心溜进了母亲的生命里
变成黑皮肤和朋友做了无删
XAXWASWAS17777777K9O75OXSL
嬢王 virgin
自W的步骤视频教学
01顾泽宇在天台被体育生
9分10张津瑜盘
一前一后的动了起来
每集都打扑克的美剧
把腰抬一下不然我没法动
国产一产二产三精华
大唐之妻妾成群
谁输了去谁家受罚小红和小明
宁荣荣把腿抬高我要进去
吧有你春暖花开
tudouwang
忘忧草实验室研究所网页入口
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1