有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
老旺的大肉蟒进进出出BD高清版
王者荣耀女英雄流眼泪翻白眼流口水
软糯小受灌满哭求饶道具
好满射太多了装不下了短视频
仙踪林果冻传媒一区
漂亮的韩国家教
男人喜欢耐C还是不耐C的
zhangjinyu完整视频
精产国品一二三区别9977
男人激烈吃奶动态
终于你离开我的世界
亚洲一线产区二线产区的区别
他不让我断奶他要接着吃怎么办
受喜欢含着睡觉的文
小汽车被两大货车挤压致1死
外出佩戴小玩具的感受
在被子里怎么自己玩自己
小东西几天没做水这么多视频
凌晨三点看的片www动漫
家里没人儿子就C我了
搡BBBB搡BBBB搡BBBB
迈开腿尝尝你的草莓是什么意思
阿拉善英雄会7分28秒视频
双人床上做运动模拟器
公交车撞到最里面去了细节
my pico 女装少年
用玉器养大的公主么么
金艳花瓶之朱2蛋
帅小伙GARY
把姬小满C喷了最后爆掉了
三圾片有哪些好看
4399高清完整版在线观看日本
体育老师拉着我做了一节课作文
只有放在你的身体里才能解毒
上边一面亲下边一面膜的程序
往下边塞东西PLAY
女生把筷子放屁眼里不能掉图片
十九岁RAPPER潮水欢迎你
三年片大全在线观看免费观看大全
沙发上超薄足j在线观看
男男车车好快的车车流水视频
看娇妻被两朋友共用
仙踪林老狼贰佰信息网
日产一二三四十入岁区
浏览器正能量网站
王者荣耀女英雄去掉所有服装流口水
色达天藏图片砍尸视频
性成熟黑人双插美国1819
overflow2未增删带翻译樱花
野花免费观看高清在线观看6
他忘了蛇是有两根
八年级隐私能塞几支笔
两根硕大一起挤入小雪
领导在没人的地方要了我
妈妈刚开始拒绝后来配合孩子
BGMBGMBGM老太太70
吴梦梦到粉丝家里洗澡在线
用电动牙刷自W到高C
WRITE AS 黄瓜
女人半夜莲花开很难受怎么办
李z瑞事件图片
没有我的允许你一滴也别想尿出来
蜜桃文化传播有限公司招聘
输了去谁家受罚抽阴可处置
WRITEAS机器自动
可不可以韩国电影完整版
少汪几句番外2(6)肉
小妖精撞得你舒不舒服
老师的兔子好软水好多免费
acome玫瑰
千人千色T9T9T9的推荐机制
王者荣耀女英雄被捅的流眼泪翻白眼流口水
麻豆传播媒体网站入口官方
男朋友C我的时候我说什么
甘雨乳液VX网站入口
偷看各类wc女厕嘘嘘
人间小喷泉1V3HL
羞羞网页入口页面登陆
野花高清在线观看免费官网中文版
往下边塞水果后吸出来清欢
学霸C小混混到哭
超级肉禽系统的小说推荐
小娘惹剧情介绍
小东西这才3根手指而已视频
使劲抬东西突然腰猛然一疼
用注射器打水放屁眼里处罚视频
边做饭一边躁狂怎么办呢
自W到高C方法
隔着睡衣吃你的小尖尖作文季柠
女生最怕的情侣玩具
让我蹭一蹭宝宝
做的时候按肚子真的有形状吗
有谁跟自己的儿子做了
品色堂 永久免费
癫马女郎之一夜情
九一制作片场视频
日本是人类吗最佳答案
在没人的教学楼走廊里做
大腿中间一张嘴顺口溜
青梅竹马是消防员 无马
三千美男爱上我
斗罗大陆黄化人物网站免费
AI人脸替换迪丽热巴造梦
输了被罚让别人玩一个月
宝贝我想看你的喷泉了什么意思
我十二岁就做了不干净的事怎么办
两个人一前一后攻击我内容
乳液狂飙天堂W98
强壮的黑人RAPPER
腿张大点就不疼了
善良的老师5有限中字丿
夜蒲1国语版完整版百度影音
迈开腿让尝尝你的小草莓什么意思
男人又大又硬又粗图片
打扑克的剧烈运动没有马赛克
真人打扑克直播软件下载安装
被几个男的一起添好舒服
最大但人文艺术网站
满了太满了溢出来玩具
动漫打扑克牌的剧烈运动
迈开腿我可以尝尝你的草莓感觉
公交车上破了两个小学生的包
日产无人区一线二线三线视频
9612黄桃网站
半夜妺妺叫我满足她
魔弹之王与战姬漫画
欧洲无人区码头IV在哪
最近免费中文字幕大全高清10
撩到女生下面滴水的句子小说
放学被几个人拉到没人的
97超碰在线视频人人av
青青草国产视频免费线观看
搞机TIME恶心直接打开的网站不用嘉兴圈2023
电动牙刷怎么惩罚自己
夜间正能量网站
男人会亲你的小花园时代表什么
无颜之月怎么看不到了
卫生间6分34秒
把小舞的衣服P掉是什么样的
正能量网站www正能量网站
2024钙GY钙站
电车之狼怎么玩
小兔兔被男生吃什么感觉会疼吗
歪歪漫画首韩漫页免费
淑容四次上船张开腿
善良的小峓子2在钱 中文版
在裙子里做运动
女人巨大荫蒂勃起
女人被躁到高潮嗷嗷叫的歌词
Z0OZO0人善之交另类
152大但人文艺术欣赏
51精产国品一二三产区
温暖叶非墨车内做肉
鲍鱼网名区域2021
小苹果影院日本影院
房奴试爱中的运动
芒果乱码一线二线三线新区
中国日产乱码无线码
亚洲一二三无人区分别是哪
在无限游戏里花式挨CH视频
打扑克的剧烈运动摇床视频
农村人乱弄一区二区的处罚方式
糖心LOGO在线观看免费EYE
xfplay365每日稳定资源站姿
亚洲日本一线产区和二线产区对比
安迷修被雷狮强行掰腿图片
原神ちゃんが腿法娴熟を视频
女人吃男人精子图片
OVERLORD第四季在线播放
孟十朵玉女春光图
低头看我们结合的地方小说
双人床上打扑克又痛又叫软件
14may18_XXXXXL56e
朋友韩国线观高清2
脱mm内衣小游戏
永久939W79W99W乳液
插太深肚子凸起来了
相府千金1v3
小黄说说1000字
不收费的免费直播软件打扑克下载
主人我错了请把它关掉角色介绍
无人区码一码二码三码区别新月
2021亚洲1卡二卡3卡四卡
ipx-247
一边伸舌头一边快速喘气小
放在里面睡觉是一种什么样的感受
仙女棒坐着使用的图片
一浅二深三大叫
桃花社区视频在线观看免费完整版
黑料不打烊TTTZZZ入口2022
vide0sdesext姑娘HD
51fun吃瓜站
野花视频免费高清观看
被深顶得说不出话
囯产精品一区二区三区线
日本实施一卡三卡四卡无卡免费
女生输了给对方玩一个月的游戏
小sb是不是又想要了
今夜就让我狠狠地想你歌曲
把跳d放在里面坐公交车白月
欧亚专线欧洲WMY
腿抬起来靠墙上就不疼了视频
999精产国品一二三产区区
女生吃坤巴难道不恶心吗
怎么玩自己隐私位置
在线观看国产AV每日
人与畜禽共性关系阿梅
日本ZLJZLJZLJZLJ喷液
车文超细过程文章图片
被多个强壮黑人灌满精H
女生越说疼男生就愉快
久久精品卡二卡三卡四卡
秘密教学93话恩爱
公交车上破了两个小学生的包
车子一晃一晃正好掩盖我们什么
欧洲vodafonewifi侏儒
善良的小峓子小火星
哥两个人一起会坏掉的视频
我家狗狗弄了我4个多小时的尿片
最近最新手机中文大全4
为什么你越叫顶的越猛
老婆说她想尝试多人怎么回复她呢
张津瑜920落地窗视频叫啥
男女晚上做运动生宝宝好吗
简隋英李玉肉车writeas
B越小越过稳图片
GARY大猛男GARY2023
他缓慢而有力的撞着在车里
晚夜免费禁用十大亏亏
特种部队3全面反击
中国XXXXXLMEDJYF
蜜桃日本MV免费观看
仙踪林老狼 - 八零婚纱摄影工作室
最近的2019中文字幕国语5
男生和女生玩滑滑梯是什么意思?
体育老师拉着我做了一节课视频
麻豆天美 果冻 星空国产
秘密教学SVIP土豪免费
国产午睡沙发系列大全
宝贝你自己做给我看
xl上司带中文翻译
一二三四日本高清无吗
一支笔怎么C哭自己
叫大点声今晚家里没人冷教
为夫们等娘子好久啦
他戴上小玩具调到10档
女看了会流污水的段子网站
老农民老干棒的媳妇果儿是谁
海角HJ9DB5免费进入
在线bt天堂网.www最新版
0ADC大驾光临未满十八岁5G
108式春床图片欣赏
我想把我的乌龟蹭你的扇贝视频
西方447大但人文艺术
什么样的B型最好进
他们一路从厨房做到了卧室
姐姐说家里没人我们可以在一起吗
亚洲宅男天堂在线观看无病毒
公孙离といちゃつきたい的欢迎会
人ZOOM狗狗
甘雨哭着让刻晴停下来
怎么奖励自己的隐私位置
讲讲你们doi最舒服的一次
超速绯闻女主角
化学实验室学霸做哭学渣试管
客户的东西比老公的大
adc影院0adc在线
雨后小故事2动态图片
ZZOOOOOOOOOSHOISHOU
家长会上爸爸们C幼儿园老师
cosplay大乱斗
漂亮妈妈5韩国2019
一个男生弄哭另外一个男生
秘密教学子豪51暗巷破解版
巜班长哭着喊着不能再C了
一面膜上边一面吃下边免费看
欧洲码和亚洲码的尺码区别
大将军1v2lh怀孕的原因
晚上偷偷看B站免费视频软件投屏
免费b站推广网站入口202
你的棒棒可以通通我的下水道吗
荫蒂添的好舒服小说
狗狗射速好烫太怕了
女生输了给对方玩一个月
在公交车上撞出了水
JD京东影业传媒女儿国女演员
白俄罗斯RAPPER潮水
王多鱼和博雅被C
暖暖 视频 免费 高清 在线观看日本
不知火舞被三人围攻
英语班主任让我吃他的小兔兔
高清VPSWINDOWS69
迈开腿让尝尝你森林视频
老公总是吃我的奶奶但我很反感
一切从裸露开始
免费B站推广网站在线
98精产国品一二三产区区别
大唐之妻妾成群
JEALOUSVUE成熟
爱情岛论坛永久网址首页
国精一二二产品无人区
国精产品W灬源码3
刚开笣没多久的大一新生
欧亚精品卡一卡二卡三737
yw8827龙物永不失联九幺
漂亮的保姆在完整5视频带翻译
他把手探到我的衣服里作文
老板一个月都要玩我几次
四虎免费最新在线永久4HU
欧美无矿砖一线二线三显卡
极品教师动漫在线观看免费完整版
姐姐的小兔子又大又软作文
杀帝的闪婚恋人
2023钙GGY钙站入口
668.su黑料正能量入口密码
大龟慢慢挺进张娟征的休
放冰葡萄在里面做
小荡货夹得我又紧又爽
WRITEAS开会
那你蹲下来吃我的棒棒糖吧
蜜桃文化传播有限公司招聘
中国CHINAGARY武警网站
zhangjinyu视频网盘
舌と唇と唾液が浓厚
放里面不动是种什么样的感受
亲爱的老师韩国5看的电影
抖音故意走漏视频7028集百度云
十八岁大陆女RAPPER欢迎你
巴西BBABBABBABBA
日本水蜜桃身体乳的美白效果
欧洲无人区码一码二码三码区别
99精产国品一二三产区区别网站
当你拔出来的那一刻
swing out sisters
班长哭着说再c就坏掉了
宝宝的水喷得到处都是视频
痳麻让我挺进她的黑森林电子书
再插深点嗯好大好爽
疫情期间只能干老妈了
二人扑克剧烈运动打扑克视频
考试没考好成了全班的坐便器
将军每走一步就撞一下
电影院最后一排要了他
亚洲乱码在线卡一卡二卡新区
宝贝腿开大点我添添公交车
日本1卡2卡卡3卡乱码
大龟慢慢挺进张娟的体
桃花社区视频在线观看免费完整版
男神插曲女生完整免费
成人文学俱乐部
免费可以看污污污的网站
香蕉苹果草莓菠萝葡萄榴莲
刺客伍六七第二季免费观看
无人区卡一卡二卡三人伦
不伦纯爱百度影音
亚洲精品一卡2卡三卡4卡5卡
韩国乱码卡一卡二新区网站
香蕉菠萝黄瓜草莓樱桃榴莲茄子
亲爱的老师3韩国完整在线观看
傲天体是什么梗
扑克牌视频不盖被子
69麻豆天美精东蜜桃传媒潘甜甜
公主殿下微臣馋了玉U势灵犀
伊春园2023入口直达
王者荣耀瑶嘴巴里含着铁球流口水
宝宝腿抬起来就不疼了
狗狗射速好烫的视频
妇乱子伦真实故事
在C用力把桌腿A抬离地面时小说
被困住的我们韩剧
女人天堂在线a在线
国精一二二产品无人区价格
668.su黑料正能量入口密码
叫大声点今晚家里没人冷教授
又粗又硬又长受不了
小洞饿了想吃大香肠有限公司
生物老师上课亲自给我们展示自己
晚上剧烈运动打扑克的软件
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1