有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
女朋友特别会摇是什么体验知乎
日产精品二线三线
无人区码二码三码四码区别
涨精装满肚子用塞子堵住照片
聂小雨黑皮衣5分多钟视频原版
你的棒棒可以桶桶我的下水道
国产MV在线天堂MV免费观看
二指探洞舒服吗
男朋友咬我的小兔子头会发炎吗
好紧好湿太硬了我太爽了文字
腿分大点就不疼了
把那个放在里面走路
日产2021一二三四免费
李宗瑞继母是谁
中国XXXXXL19
梁医生再往下一点吃肉视频
亚洲尺码和欧洲尺码区别
秋霞网在线伦理影片
多P混交群体交乱的安全保障
你看你流了这么多水还说不要
甘雨玩自己被旅行者发现
农妇肉体AABBWHBBW
渺渺上体育课当着全班人
蓝湛的肉车尺寸多大
67194免费手机观看
宝宝我们到卫生间里做动漫
王者荣耀貂蝉喝自己的液晶视频
洗衣屋2未增删带翻译樱花
舌头伸进去添能让高潮来的更早吗
中国XXXXXLMEDJYF视频网站
张核子弟弟发声
躺在我跨下的英语老师
小东西几天没做水又变多
张柏芝艳门照图片
WALLPAPER刻晴大战史莱姆
女人为啥进去就老实了
给你下水好多下水道
1377大但人文艺术演员表
仙踪林老狼贰佰信息网
没带套子让他C了一天怎么办
冷淡总裁受下属攻H
带闺蜜出来玩被她老公说怎么回她
yy6080高清影院理论
成品网站源码1288隐藏通道
三客优理论全新版
石头剪刀布输了弹小鸡视频
漂亮妈妈3高清中字在线播放
随着车的震动一晃一晃
芒果乱码一线二线三线新区
被C哭着爬走又被拉回来挺进H
欧美1卡二卡三卡四卡免费
卫生间疯狂打扑克
简隋英李玉肉车writeas
金银瓶1-5普通话
宝宝是我撞进入还是你自己坐下来
一个妈妈的女儿BD在线播放
冲动的惩罚动漫HD在线播放
伦理在手机观线
免费正能量不良网站推荐
r头怎么玩教程
你看你流了这么多水还说不要
男生的坤坤放到女生的坤里动漫
老旺的大肉蟒进进出出BD高清版
宏翔小蓝视频GY2023
1377大但人文艺术
亚洲和欧洲一码二码区别在哪儿啊
怎么把自己揉的全是水喷泉
日本精品一线二线三线区别在哪里啊
草莓丝瓜向日葵黄瓜榴莲污在线观看
JEALOUSVUE成熟50MA欢迎光临
老太太bgmbgmbgm1
隔着睡衣吃你的小尖尖作文姜灵
在体内横冲直撞就是不出来
白洁一夜挨十炮二十章节
无限观看视频在线观看免费
女生打扑克时疼不疼
长弓燧龙芭芭拉肉身解咒[中国语]
公交车车里疯狂的索要
男男车车好快的车车图C
粉嫩RAPPERDISSSUBS欢迎您
国内精品一线二线三线区别在哪
年轻的母亲4有线观
翁公半夜吃我下面
1v1肉从从肉到
成品网站W灬源码16伊园功能
办公室娇喘的白丝老师在线看
原神雷电将军被X出液体xman
挪威的森林打扑克又叫疼
校园纯开小黄车长300字
HBFAXIA
美国14岁女rapper
kk444kk
三十六式阴阳技巧口诀视频
大尺寸的小黄说字多肉健身房
黑料吃瓜反差婊爆料网
福林儿初试云雨情
亲爱的老师4韩国西瓜影音
51漫画免费页面看漫画弹窗
女生主动让男生看自己的坤坤
沈阳45岁老阿姨喷了好几次
师傅缓慢而有力的撞着视频
深田咏美在线视频无码
adc影院欢迎您大驾光临入口
交流1V3多肉梁医生
暮春堂最新地址
漂亮妈妈3高清中字在线播放
丁香花大型成人社区
春雨直播免费直播视频
2024钙GY钙站
最近2019免费中文字幕
上课跳D突然开到最大视频
疯狂欲望无删减 在线高清中字
滑滑梯越往下越疼的那种图片
幸福宝APP站长统计官方网站
江疏影2分28秒哪里有
鲸鱼夫妇120121
帮mm脱内衣小游戏
老卫和淑嫆第一次在船上
日产一二三四五六区
按着我的头给他吃
国精产品7363
给阿姨通下水道
太大了吧唧吧唧吧唧吧唧吧唧
十八岁大陆女RAPPER欢迎你
宝宝才三根手指就受不了
幸福宝软件导航
下面都湿透了还嘴硬疼咋回事呢
公交车多人运动
xl上司带翻译中文
丰年经的继拇中文3使用方法
无人区码卡二卡3卡4卡伊甸2卡
坏老师百度影音
交警用小XUE查酒驾H
弱点第21话只做一次够吗
晚上给我通下水道
仙踪林 老狼信息
坐公交车被别人c了的感觉
GaryWayne男男
在海棠看小说犯法吗
洗澡被公强奷60分钟
夫妻成长日记二
情侣插秧的100种方法
在英语课上插英语课代表
林予曦的代表作品MD0044图片
水蜜桃1997
中国vodafonewifi性
名侦探柯南剧场版9
你里面太温暖了我不出来
涨精装满肚子公交车
ZLJZLJ日本人水多多
啦啦啦韩国动漫在线观看
跟他做了1V2
不想疼就把腿分到最大到再打
10_10_汤唯七分二十秒视频
好先生在线观看免费完整版TV
吃赵露思的乳液好喝吗
国精产品无人区一码二码三蘑菇
抱着宝宝坐下太猛
杨思敏1一5集手机版
两个人一前一后一左一右
国色天香A区与B区
年轻的保姆5完整视频观看
东北那旮瘩母与子
穿了内衣却有一半乳晕没遮住
写的超细的开车文推荐
父母儿女一起做
前夫6天要了我25次
洋房里的小草莓1V3全文免费
国精产品呦呦仙踪林
新手如何自W到高C照片
完美小姐进化论日剧
和搜子同屋的日子2在线观看K8
娇妻两根一起进3p
麻花豆传媒剧国产MV出差
未成年的女RAPPER
埃及猫没有衣服跳舞视频
日漫动漫人物将机机插曲漫画软件
情侣插秧的100种方法
爷爷厕所照顾妈妈一直叫
最好玩的B是那种
都市激情校园春色
老师没带罩子让我吃了一节课
什么东西可以当自为棒
雷电将军与丘丘人繁衍后代
被两个男人绑着玩
优质JY灌溉系统
不小心缩小掉进女生的午饭里
芭乐鸭脖向日葵芭乐鸭脖
中文字日产幕码三区的做法步骤
被学长抱到没人的地方免费
按摩师用嘴亲我下面过程
清清成了班级的发泄玩具的作文
国色一卡2卡3卡4卡在线新区
蜜桃日本MV免费观看
爱情岛永久免费线路二
父亲的东西又长又黑的说说句子
错一题学长就在下面插一支笔作文
少妇BBB搡BBBB搡BBBB
俄罗斯13一14处出血视频
踩踏终点站文化馆
在车里被撞了八次高黄
老板一个月都要玩我几次
无人区一码二码三码是什么
18C MIC新地址
蜜芽资源高清在线观看
99无人区码一码二码三码...
四叔一次又一次索要
憋尿按压小腹肚子不让尿出来
C了语文课代表一节课
漾出overflow2未增删带翻译
家里什么东西可以代替小玩具
女性想被XR是什么意思
岳故意装睡让我挺进去观看
有孕1V2LH
巧干朋友娇妻小怡
欧洲最大但人文艺术1588
国产vodafonewifiapp
老人船上弄雨婷第12章
qianqiandianying
致青春百度影音高清
韩国女主播小青
人与畜禽共性关系的重要性
我的好妈妈5中文字幕土豆网
忘忧草日本社服务台的电话号码
粉色视频观看高清声音
岳女共夫张淑芬无删减韩剧版
同学带几个人来玩我的作文
抽的越快声音叫的越大
女士不遮阴内搭图片大全大图高清
蘑菇影视 我妈妈的职业
欢乐颂5高清免费
在床上拔萝卜又疼又叫什么病症
中国VODAFONEWIFI粗暴最新版
污到你那里滴水不止的长文
过来趴好自己选玩具震动
打扑克又疼又痛
塞跳d开最大挡不能掉出来作文
日本XXXXXLmeDjyf
小娇乳H边走边欢1V1视频国产
女头粉色部位上半身大胸头像
肉多到炸的古言描写
他顶撞的速度越来越快是什么意思
把腿再抬高一点就能吃到扇贝了
父母儿女一起做
女人网站你懂我意思吧
极品教师动漫在线观看免费完整版
仙踪林18岁RAPPER潮水偷轨
M必做自虐羞耻行为
嗯啊用力插我舔我的
水蜜桃文化传媒www
俄罗斯18give100
公交车缓慢而有力的C
两个人看的片BD高清
被压到落地玻璃窗前doi
彩虹男GARY视频2023
最近直播比较火的黄台免费
第一会所综合社区s001
炎炎消防队生肉1080P
711人体美鮑
欧洲洲一区二区精华液
我们站着再来一次好不
jm漫画战争与和平
好满射太多了装不下了软件
14女生扇贝图片大全
有孕1V2LH
埃及艳后 电影国语
写的超细的开车小黄车片段
塞跳D开最大挡不能掉哦
菊内留香金银花原文开车
帮老师通下水道
都生了宝宝了还那么紧
张津瑜视百度云
美空ayaka
健身私教弄了好几次
男生和女生一起差差差得很痛的轮滑
YELLOW片完整版高清百度网盘
xxxholic 春梦记
日产2021免费
段嘉许把手探进桑稚某处扩写篇
巨大荫蒂又大又长勃起
老阿姨才是最有味道
WRITE AS 含玉
一边伸舌头一边快速喘气小
善良的小峓子小火星
减去小舞的所有衣服
阿拉善8人大战视频
护士给病人做性功能康复治疗
我想触碰你的深处未增删樱花
最强gy平台小蓝视频ios下载
WRITEAS遥控器
迈开腿让尝尝你的CH宝宝
妈妈朋友齐上阵
啊别插了视频高清在线观看
冰块温水跳跳糖果冻是什么意思
后厨剧情分集介绍
腿再张大一点就可以吃到扇贝了
色降ii之万里驱魔
英语今天晚上让你桶个够的软件
696969大但人文艺术来源
几个领导要一起睡我
金田一少年事件簿r第二季
坤巴塞小洞里视频
狗狗的东西又硬又烫又臭怎么办
阿岘洞夫人国语
男孩输了让对方随便处理自己
国产日产欧产综合
大菠萝福建网站入口
7X7X7X任意槽2023进口
无人区乱码1区2区3区网站
正能量不良免费网站入口照片
男女差差差很痛带声音
斗罗大陆2大乱斗交大TXT漫画
在没人的地方被C
云缨救公孙离把自己搭进去
.把你里面填的满满的视频
侍卫把贵女怼树干PO
仙女棒坐着使用方法图片黄
9612黄桃亚洲品质
把她日出了水好紧太爽了
跳DAN是放在哪里的示意图
AI人脸替换迪丽热巴造梦
桃花洞口开香蕊落莓苔的意思
好妈妈9中汉字
上楼梯时故意一点一点
金银瓶1-5美国
打扑克全程不该盖被子
brt快速公交
我朋友把我C成了喷泉怎么办
儿子比老公大晚上故意到儿子
CHINA篮球体育飞机推特
51大豆行情网仙踪林
感受到我了吗大不大烫不烫
一同看亿同看GTV
一个人看BD高清在线观看
蜜芽188.Coo永不失联
可以c女性角色拔萝卜的游戏手游
林小水的荡生活H全文阅读
百合劲爆做运动视频教程免费网站
他日得我走不了路
荡秋千越往里越深
孤男寡女干柴烈火的比喻意思
自己惩罚自己必须跟隐私有关
美女视频黄屏大全
翁和梦莹三人同床的推荐理由
欧派浴室2樱花未增删带翻译
帅气体育生GARY网站小蓝
玉蒲团ii玉女心经
学长教我做题错一题就放一支笔
原神胡桃享受流口水图片
仙踪林直接入口欢迎你
家公吃我三年奶
啦啦啦中文日本免费高清完整版一
优质JING液收集器
宝宝怎么才两根就哭男男H
风韵诱人的岳欲仙欲死在线观看
斗罗大陆3大乱斗交大配TXT
BGMBGMBGM老妇
王者荣耀西施张嘴流眼泪图
好涨水快流出来了图片
两阳夹一阴的双响炮后续走势
137VT最大但人文艺术A豆瓣
4399高清完整版在线观看日本
谁输了谁就要任其摆置1000字
张小雨洞毛照片
国模欢欢销魂全过程
无收费看污网站完整
啊灬啊灬啊灬快灬深视频直播
墨燃把楚晚宁按着干188章
斗罗大陆2大乱斗交大第一
儿媳太美味苏暖的
黑龙江不雅视频
仙踪林 老狼信息
分手那天我们做了八次
黑人vodafonewifi巨大
日本漫画口番工全彩之时间停止
才几天没做你就叫成这样了
pinsetangluntan
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1