有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
公交车被弄得走不动路走不说说
不遮挡打扑克剧烈运动直播
女人永远是对的
韩国演艺圈悲惨qvod
深度开发1v3梁医生
嫩草研究所入口一二三四
家长让我坐在振动器上写作业
两边一起的话会坏掉的动漫
囗交大图片26交
宝宝我尿在子宫里了不准出来
鬼灭之刃は鬼の妊娠を甘露寺
用笔自W的视频
小东西你抖得好厉害
佛帐潮绣凸浮双龙耳帐
想吃你身上两个黑葡萄
插桶30分钟一卡二卡三卡四卡
小兔兔被男生咬着的图片
公与淑婷厨房猛烈进出视频
凌乱的公交车小镇
爱如潮水免费观看日本
深入浅出TXl金银花讲的什么
14MAY18_XXXXXL56ENDIANKINO
一层一层的剥开我的衣服啊
又大又长又租视频
没带罩子被校霸C了一节课作文
没带罩子让他C了一天怎么办
张筱雨《魅惑》-5
ぱらだいす天堂中文WWW最新版
野花日本HD免费完整版高清版6
火影忍者禁图h大全
坐在爸爸上面吃饭
怪物VODAFONEWIFI巨大
成为了全学校坐便器
宝宝我就在外面蹭一下爱情
被校长抱进办公室糟蹋
tttzzz学生
精东影业精一禾传媒观看
14岁学腿迈开腿打扑克正常吗
走一下就往里撞一下
欧洲无人区天空码头IV在哪在线
蜜芽国内精品视频在线观看
去阳台试一试好不好
一边膜上面一边下面膜韩国
宝宝腿抬得高一点就不疼了
父子骨科多R车
大尺寸小黄说说1000字多肉
国精产品一品二品国精品69XX
蜜芽忘忧草老狼二区大豆行情
哥布林洞窟 未增删免费观看
双指探洞感觉要喷了hi
双人床上一边喘气一边叫疼网站
c了瑜伽老师嗷嗷叫一节课视频
寂寞夜晚看免费视频
刺激妇乱子伦真实故事
男生讲讲自己第一次细节真实
对准了自己动不然不给你下一句
大陆一姐RAPPER潮水太多
二十四种阴性外貌形状
韩漫免费漫画入口官方
13岁B里能放几支笔
国际油价5日显著上涨
欧洲砖码砖区2022免费
亚洲一线产区二线产区区别在
蜜芽miya1173永不失联
对象给我看他的鸡
欧美三圾片在线观看
白雪公主被树干哭的故事是
他一次比一次撞的重
坐在老师的鸡叭上写作业
18岁末年禁止观看的网站免费
文轩塞跳D不能掉出来上学
父母和子女互换
怎么让女朋友变成小喷泉
两根硕大一起挤入小雪
抱着公主走一步撞一下
FLUFFINGADUCKKEVINMACLEOD
含羞草传媒app官方网站免费进入入口
对象吮自己小兔兔的感受知乎
美美哒免费高清影院在线观看7
免费B站视频推广网站2023
岳女共夫张淑芬无删减韩剧版
渴情昼夜 作者东寻问酒
吸小兔兔是什么感觉
女生越说疼男生越往里
最近2018中文最全一页
中文字日产幕码三区做法
走一步撞一下 湿透许安愉
国产卡二卡3卡4卡四卡
老婆说她想尝试多人怎么回复
ZHANGJINYU9分网盘
九分十秒张津瑜
2014年5月里番合集
ZOMBIE视频SUPREME
几个老爷弄一个丫头的说说心情
玩小雪跪趴把腿分到最大影视频
木乃伊1盗墓迷城
春暖花开有你cc
从厨房干到沙发再到卧室图片
男神插曲女生软件完整版免费
我想把我的乌龟蹭你的扇贝视频
昨晚太想要了就和我家泰迪
孤男寡女干柴烈火的比喻意思
自w到抖还要继续吗
WRITEAS木勺
冰块温水跳跳糖果冻是什么意思
亚洲无人区码一码二码三码的区
娘王 virgin
亚洲无砖码砖专区2023公司
鲍鱼最新地域网名2021查询
把棒棒糖放屁眼视频
给女孩子疏通下水道
我想用我的扇贝夹你的乌龟
疯狂厨房2双人3-5视频
车文超细过程作文
上课的时候突然把跳d开到最大
翁公和晓雯在厨房里猛烈进出
TOBU16TOBU18
刚开始一深一浅后来逐渐变大
放心我只在外面蹭一下
鲍鱼最新地域网名是什
ZLJZLJZLJ日本人
IJGN禁止18岁以下下载软件
小学生如何自己安慰自己新手
花季v3.0.2
13一14处出血
一个男生弄哭另外一个男生
acca少女网课视频
日本适合十八岁以上的护肤品
40部AI明星造梦
春色无边女儿国
开车视频小黄车视频免费下载
斗转星移合成图片
兔子好软水好多h15
哇他怎么这么猛啊
吃女朋友的扇贝的方法
公交车一摇一晃双指探洞视频
把手脚绑上拿刷子刷尿道孔
老公总是吃我的奶奶该怎么办
陌陌小华佗劲爆视频
日批发出来的声音录音
俄罗斯牧场VIDEOSK9
不遮阴小内搭走秀
陈淑芬的两腿中间又痒了
国精产品一区二区三区有限
去姥姥家进入妈妈身体的说说
5g天天奭多人运动
晚上爷爷总是压在妈妈肚子上
儿媳太美味苏暖的
边做饭一边躁狂怎么办
YELLOW日本官网
说说老公夜里顶你的
果冻服务是怎么进行的
环太平洋 迅雷
果冻传媒MV免费观看大全
如何自己玩自己全是水
国精产品自线六区
学长的双指探洞疼哭了
王者荣耀女生去掉小内 软件
描写地很细致的DOI过程
毛都没有就被开了苞在线电影
中国新疆XXXXXL19学生申中国
儿媳妇夸我比他老公大
波多野结衣下载地址
一个人在晚上偷偷看b站怎么办
美国十次啦怡春院
真人作爱视频免费视频大全
娇媚系统紧致h
4HU四虎永久在线观看
善良的的老师3
天美传媒国产电视推荐
哎呦我的宝贝真好喊爹什么曲
被学长抱到没人的地方怎么办
果冻传媒一二三区艾秋游戏
丰年轻的继坶3的特色和机能
他戴上小玩具调到10档
一个人夜里偷偷看b站怎么办
清纯校花系列h文
8x8x海外华为永久免费视频
看完让人下面有水的说说
电车之狼怎么玩
snis-774
练瑜伽时体育老师C了我一节课
公交车售票员用下面验票
王者荣耀瑶嘴巴里含着铁球
麻豆画精品传媒2021免费
麻花传媒剧国产MV网站
在C点用力把腿抬离地面时
相亲对象是未增删樱花有翻译
深田咏美HND-723在线观看手机
乱码一卡二卡新区永久入口
原神纳西妲身体被捅出乳液
捅了班主任一节课视频
宝宝趴开一点腿就不痛了
黑人啊灬啊灬啊灬快灬深
日文中字乱码一二三区别在哪
晚上吃你的小草莓是什么意思
两阳夹一阴后续走势
阿锵锵锵锵锵锵锵网站大全
他缓慢而有力的往里挺送细写文
一下又一下有力的撞进去
《上司部长出轨漂亮人妻》
国色天香一卡二卡三卡四卡视频
怎么把自己扣的全是水喷泉访页
xiao 776
动漫美女禁处受辱图
撕掉她的外衣和内衣
差差差很疼视频无掩丰富
超级大但人文艺术
阿宾之房东太太
妻3蜜中蜜动漫观看
李宗瑞的继母是谁
晚上一个人睡不着在线看
萌白酱弥漫甜味纯白旗袍
妈妈的朋友在观5完整有限中字
AI人脸替换白鹿喷水とらぶる
金银瓶1-5普通话
这几天没C你了是不是皮痒
麻豆传播媒体APP官网在线观看
成熟交BGMBGMBGM的价格
小莹客厅激情46章至50视频
黑人双人RAPPER美国大豆
少妇白 全 洁高义
解放的潘多拉qvod
老师成为班级的公共玩具视频
顶级大但人文艺术巫
中国RAPPERDISSSUBS老大妈
女人和公豬交交30
黑人巨茎大战白人女40CMO
中国vpswindows野外高清资源
在家不准穿衣服想做就做
美式忌保罗讳1
我可以触碰你深处的樱花吗
蜜源在线观看视频在线观看
触手tentaculata无尽
亚洲中文久久精品AV无码
14MAY18_XXXXXL56ENDIANMOGO
插曲的痛的视频漫画
羞羞漫画登录页面免费漫画入口网站
宝宝好会夹啊拉丝
小S货又想挨C了叫大声点小
怎样用一根棉签弄自己
人曾交互MOUSE农场K9
有孕1V2LH
前男友又大又长我忘不了了
班长哭着说不能再抠了游戏
妈妈的朋友2在完整有限中字
老师忽然渐渐放慢了进度视频
污到你那里滴水不止的说说细节长文
两个人一前一后攻击我讲述
男生的坤坤放到女生的坤里游戏
黎朔WRITEAS木马
无翼乌全彩漫画挤奶
C的里面太满了
重生之超级肉禽系统
パンストエロ中文
精品一卡2卡3卡四卡在线
上面一边亲下一边面膜是什么材质
金瓶瓶之爱的性奴2
刺激打扑克摇床又疼又叫原声
爸爸我可以吃你的棒棒糖
老师家里没人你用点力好好快软件
在公交车上破了两个六年级
迈开腿让尝尝你的森林动漫
鲍鱼tv最新网名2021
老师你的兔子好软水好多的图片
怎么一边喘气一边说嗯的声音
又有一批人开始高潮了
亚洲国产精华液网站W
野草乱码一区四区区别
GAY引诱服务生COM2O22
抖音成长人视频B站
henhenshe
享受和儿媳妇的快乐的句子简短
我一加速她就哭
无人区码一码二码W358CC
男生女生一起差差差的app下载大全熊猫
60分钟上大床
30cm坐上去感觉是怎么样的
肥大BBBWBBW小便
亚欧乱码卡一卡二卡新
小洞饿了要吃大香肠有声音
AI替换JENNIE喷水
夹心饼干前后夹击
WRITE AS 尿口
10种禁用的漫画软件
王者荣耀貂蝉喝自己液晶
艳娒1一6全集在线高清
宝贝儿感受到它在爱你吗
在家不准穿衣服想做就做
欧式春画图照片高清
怎么把自己扣的全是水访页
大象W灬源码1688
rh男1做0车车的车车视频网页
上自己妈妈是一种什么体验
404黄台软件免费下载大禁用APP游戏
权臣hlH十一月
一个人被3个人同时C了书
超速绯闻女主角
班长哭着说不能再C了视频
女人露p毛的图片
しぼっちうぞ我的电影网
可以随意触摸内部位的软件叫什么
18岁末年禁止网站
WRITE AS干蒙了
在破房子里和狗做
三个老汉一起弄我小说
WRITE AS 吸蒂器
台湾佬中文网娱乐网
中国新疆XXXXXL19学生申中国
电影潘金莲5集在线观看完整
ZLJZLJZLJ日本妈妈
高清MV无字幕视频素材
免费中国帅气体育生GARY
野花视频在线观看最新1
两个男生开车哭声声音视频
几天没C你是不是痒了好多水作文
云缨巡街北北北砂禁温漫天堂网址
被子里怎么无声自W
棒棒糖放屁眼里ss
大陆女人内谢69XXXORG
只有棉签怎么自罚
潘甜甜3段视频免费看
用点力就快出来啦
9i传媒有限公司
空姐前规则免费观看
坐公交车居然弄了2个小学生
痞幼黑料不打烊
CF孙尚香正能量图片
萌白酱17分钟视频
课后辅导(教室羞耻PLAY慎入)
AI换脸JENNIE向上射水
老狼卡二卡三卡四卡二
父母和子女互换
往下面一颗一颗塞珠子
小东西我们在水里做运动
回娘家让爹玩个够
一面亲膜上边一面膜下边日本
把女人弄特爽黄a大片
人文艺术视频是什么意思
德国VODAFONE精品
黑人尺寸太大怎么进去
朋友把我玩成喷泉了怎么办
妈妈的朋友2中语
嗯又粗又长插的好深太舒服了
才三个指头就撑不住了
丝瓜草莓秋葵污下载旧版网址免费
13岁PG可以塞下多少根棉签
男人的大鸟真实图片
老公叫人一起换着玩的说说图片
云缨新皮肤p掉衣服裸
上课班长突然开了遥控器
语文课代表的胸软软的作文
brt快速公交
情人的东西比老公大怎么办
抬起一条腿对正往里怼
精东传媒十三个女演员名字
如果抱过亲过吃过摸过算什么关系
黑白配HD高清
中国东方XXXXXLMEDJYF
adc欢迎您的大驾光临
12岁拔萝卜一边疼一边叫
幸福花园 bl
妈妈的朋友8中字电视剧
女友的妈妈6观整有限中字木瓜
老公亲我的小花园爱我吗怎么回答
同校生2中文版
甘雨拔萝卜视频素材
在线高清电影理论片4399
女性想被XR是什么意思
高清VPSWINDOWS的特点
JING液收集系统开车的水獭
男生把自己的QQ放进女生的QQ
你日的我走不了路了
写的超细肉汁水文
回娘家老是搞我
火辣辣app福引导大全内江市
国精产品蘑菇一区一区有限
女儿成为爸爸的玩具
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1