有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
W永久939W乳液66
将军们的共妻H
写得很细的开车秒湿
年轻的馊子8HD中文版
做错一到题就插一下的写小作文
三妻四妾完整版播放电影
40岁阿姨荒野大镖客
含着老师的棒写作业
控制全校女生听从自己
艳娒1一6全集在线高清
人与畜禽CROPROATION最新版
雷电将军被旅行者淦到哭
在公交车最后一排被多人
一码二码三码区别日本
顶开妈妈的生命之门 无弹窗
女士的小内搭没遮阴怎么办呢
雷电将军ちゃんが部下を图片
糖心VLOG产精国品免费老
成年电人电影免费网站
伦理片妈妈的朋友中文2
在街上他突然按了遥控器
便利店的少女未增删带翻译
成 人 色综合
一个妈妈的女儿4中文字幕
xiaav 这里因你而精彩
放里面睡觉是一种怎样的体验
大唐之妻妾成群
斗转星移合成图片
大胸年轻继拇HD无码
51漫画入口页面弹窗秋蝉
小蓝彩虹男GARY2023
腿再张开一点就能吃扇贝了
老师你的好软水好多的短视频
顶的人家水流的到处都是
棉签冰块放入PNG图片
啊用点力对就是那里视频
换个的方式做吧第一季
情侣的100种插秧方法
sbs演艺大赏2012
不知火舞之公园狂欢
野花视频直播免费观看7
国模全体超大尺度私拍
迈开腿我可以尝尝你的味道
灯草花尚 陈玉莲
原神八重神子被捅到流口水的游戏
国模冉冉私拍大r.5
彩虹男GARY视频2023
geyaocao
几个领导要一起睡我
热热色原网址20岁以下
一个好妈妈4中字头强华驿
b站免费建网站
拉开拉链它想你了给他好不
乐可车车的图片
国模欢欢高清炮交图片
日本在B站直播
肚子里面满满的都是JY日记
痞幼视频3分25秒黑料
星空无限传媒国产剧情
《帐中香》txl金银花
IG夺冠了就让草什么梗
做你的爱人4未删减版
美国Zoom人与Zoom
被开三门恶心死了
你们第一次是怎么弄的
你里面太温暖了我不出来
一边伸舌头一边快速喘气小
googlemap日本
suck cock
比赛谁输谁去谁家受罚随便玩
无翼乌全彩漫画和
善良的老师3中字巴巴鱼汤饭
文轩宋亚轩自己做扩张直播
夜里18款禁用b站
疯狂厨房2双人游戏3
漂亮老师1在线视频
147女人的阴性部图片
刻晴被盗宝团注射药物
开心五月四房播播
最近2018年手机中文字幕
韩国风俗媚娘吧
大蛇根C小兔子
电影潘金莲5集在线观看完整
妈妈的朋友 女主角
早上被C醒是一种怎样的体验
将皇后送去军营慰问三军
抬起阿离的腿就是C
自己玩r头给我看
Helen McCrory三级
护士献身取精图片
夜月直播视频免费
星野明日香种子
公交车最后一排被群C的细节
老头趴在我两腿之间
TMW07国产天美传媒
宿主的任务是收集jyH
晚上爷爷总是压在妈妈肚子上睡觉
叫大点声今晚家里没人冷
国外幼儿精品区
漂亮老师1在线视频
老阿姨儿子一二三区
亚洲日本一线产区和二线产
51吃瓜爆料黑料官网
儿媳妇夸我比他老公厉害怎么办
蜜桃成熟3全集高清
逆徒快把你的东西拔出来
嗯嗯宝宝怎么啦难受吗 疼
ZOOM人狗APP欢迎你
天美传媒小甜豆完整视频在线观看
男女性杂交内射女BBWXZ
菠萝蜜不正经视频
雷电将军狂飙图片高清壁纸大全
考试没考好当全班的便器
太捧了几天没C水就这么多吧
toul-307
宝贝感受到它在爱你吗
欲罢不能第三季打扑克名场面视频
用玉器养大的公主么么
青青草国产视频免费线观看
一二三四在线播放免费观看中文版视频
炎の孕ませ发育身体2
怎么吃到自己的小鸡教程
家里没人跟奶奶做
宝宝我们换个姿势楼梯口图片
CSGO暴躁小阿姨
夜恋秀场安卓支持uc
revenge第三季
2022GGY钙打椿机受
女神漫画登录页面免费漫画入口网页
WRITE AS 夹东西出门
丰裕纵满杨玉环
小龙女的紧致花径
原神女角色去掉所有服装小内无爱心图片
这一刻我们已水乳交融在一起
51成品网站W灬源码16章节
乱码卡1卡2卡3含羞草
我同意老公睡了我妈可以吗
去部队探亲一晚上很多次
原神申鹤去掉小内无爱心图片
青年大学第十一季第二
宝宝把腿开大一点就不疼了
邻居按摩人妻HD三级
doi先进去再戴套
1区1区3区4区产品乱码仙踪林
DH-NVR4116HS-HD
张铁泉死亡现场
丰年经继拇中文2特色介绍
四叔日常1V2
韩国风俗媚娘吧
晚上做运动打扑克声音
我睡过的横店女演员笔记
腿分大点就不疼了
宋慧乔爆肛门是怎么回事
中国人免费高清的视频大全
中国bgmbgmbgm老太太70在线
MD豆传媒一二三区进站口电影
好姑娘7免费高清观看
毛1卡2卡3卡4卡
老婆出轨时接听老公电话
我父亲的女保姆是我的首选评价
writeas2根性器异物肿
张津瑜聊天记录截图
国内精品自线在拍
日产2021乱码三区
丰年轻的继拇9M
带着跳D走路舒服吗
放里面睡觉是一种怎样的体验
9制片厂1制片传媒在线播放1
黑帮大佬与我的365天
老师没有带罩子让我练了一节课
和爸爸早餐的时候连在一起
蜜桃成熟3全集高清
乌鲁木齐XXXXXL免费
美女视频黄屏大全
新娘无悔的爱第二部
输了让同学玩全部位置的作文800字
把她日出了水好紧太爽了
引导儿子上自己
仙踪林进入地址老狼
高C了还可以继续吗
2021国产麻豆剧传媒一区
解脱mm内衣小游戏
家里没人跟妈妈做了怎么办
第一次DOI的感受详细写一下
两个人免费视频完整版
CHINESE体育生东北露脸SOLO
父亲的东西又长又黑怎么形容
C够了没有三根一起会坏掉骨科
学渣坐在学霸的鸡叭上写作业
我把英语课代表按在桌子上抄
塞跳D不能掉出来上学作文
精彩无人区一码二码三码四码
六人轮换C一个过程多少分钟
大尺寸的小黄说说
被自己家的狗上瘾了怎么办
无人区乱码二线三线
在学校想要了怎么办
我的好妈妈8日本电影免费观看
黑暗时代读书写字
世界脱衣舞大赛
在没人的教学楼里做老师什么感觉
桃花网视频在线观看
体育老师c了渺渺一节课作文
做运动打扑克免费视频大全
藏经阁福利导福航大全
最好玩的B是那种
亏亏的视频带疼痛声的免安装
用牙齿轻吸咬小豆
美国十次啦超级大导航
考的好妈妈就给我一次
动漫打扑克剧烈运动
多肉的糙汉1H
赵奕欢魏晨亲密照
日产乱码一二三四五
无颜之月是啥意思
晚上家里没人就让你弄
宝贝儿你看看它有多想爱你
艳阳门无删照片1400还有视频
迈开腿吃你小草莓是什么意思
宝宝好涨水快流出来免费视频软件
毛都没长就开被了包
炎の孕ませも身体测2
开车开到下面流污水
在线正能量网站地址链接免费
谁输了去谁家受罚抽阴可处置
最好的中文字幕视频
情侣的30种插秧法图片
小孩和妈妈拔萝卜生孩子视频
小黄多肉大尺寸说说
精品成品国色天香卡一卡二摄像头
腿再打开一点就能吃到扇贝了图片
免费夜间做还运动视频扑克软件
重生之填房桐娘
麻花豆传媒剧国产MV瑜伽垫上
二次元动漫人物桶动漫人物游戏
你男朋友都是怎么弄你
三叶草M码和欧洲码区别
今天晚上让你哭着喊停
亚洲专线S码和M码的区别
高校1v3po
40部AI明星造梦赵丽颖
坏老人与媳妇天的春天
多肉的糙汉b1H
娇妻在我面前被黑人撑爆
黎朔WRITEAS人鱼
夜车动漫在线观看免费观看完整版
王者荣耀嫦娥卧床流水
主人 跪好 知道错了吗
厨房里的激战2类型
男生把坤放女生定眼会怎样
主人把棉签放屁眼里不能掉视频
宝宝才三根手指就受不了
僧侣有肾不走心在线观看免费
被他从身后撞得浑身散
丰年轻的继拇2中文字幕
羞羞漫画登录页面免费漫画入口页面破解
久久精品一卡二卡三卡四卡
蜜桃成熟时1997qvod
会夹会摇怎么练
小龙女只感觉那只巨大的火龙枪1
漂亮人妻被维修工侵犯的后果
吃奶吸咪咪动态图
无收费看污网站完整
东莞技校门种子
最近直播比较火的黄台免费
通房11H云舒
小东西才一根就坚持不住视频
学长在学校无人的地方做
办公室沙发口爆12P
西施流眼泪翻白眼咬铁球图片
新任女教师剧场版
黑人缓慢而有力的往里挺
两个人一前一后进行攻击
男朋友进入的那一刻你的感受知
原神甘雨安慰部下CG插画
星空无限传媒免费看电视剧
次次到肉杠杆到底
做完放里面睡觉是什么感觉
将夜2第3集大尺视频
漂亮的丰年轻的继拇了5中文
温远温行之洗手台上做
没带罩子让他C了一节课怎么办
我把数学课代表捅哭了
男生把自己的手到女生的QQ里
宝贝我不想带小雨伞啦小说
贺朝在谢俞里面塞棒棒糖
我们结婚了世界版中字
男男车车好快的车车图C
韩漫漫画登录页面免费漫画入口免下载
男生把自己的QQ放入女生的QQ
荡公乱妇第1章方情95
快猫记录世界记录你
特别漂亮的媳妇和当官的朋友什么
漂亮的丰年轻的继拇3免费看
老板的办公桌BD
馋你了今晚想吃馒头
女生坐男生大腿男生有什么反应
浴室狂欢BD未删减
自己塞跳D不能掉出来上学
夸我比她老公大
小蓝彩虹男GARY2023
穿越时空恋上你
日本一卡二卡三卡四卡在线观看免费软件
你们对象怎样抠你们的
男男车的车车图
12岁女孩拔萝卜叫痛怎么办?
老子就是要上你在镜子面前
我把语文课代表做哭了网站
附近学生约100三小时
整篇都是车的文章
群臣在朝堂上c皇上
狗头萝呼啦圈视频26分钟低价 1080P
校花陈若雪被校长抱到办公室
欧美精产国品一二三产品特点
坐在学长的根茎上写句子
538prom精品视频在线播放
洗衣屋2樱花未增删带翻译樱花
宝宝怎么才两根就哭男男H
迈开腿我可以尝尝你的草莓感觉
24小时日本韩国免费看
日产精品一线二线三线
ZOOM与人性BOOD
入禽太深高清视频韩国
朋友的母亲在完整有限中字
RUN AWAY韩国动漫免费阅读完整版
伦理电线在2018
把那个放在里面走路
大沢佑香 浣肠
为什么女的做过以后满面红光
林妙妙被体育老师
冰块棉签夹子PP过程
JEALOUSVUE成熟五十
半夜家里没人妈妈就是你的人
日本卡一卡二新区
陌陌小华佗劲爆视频
迈开腿我可以尝尝你的小森林视频
上体育课课被捅了一天
在公交车上撞出了水
人物动物交互狗第1集
吃鸡rap小姐姐
2023国精产品一二三四区
乱码一卡二卡新区产品入口
chengrenwenxue
腰抬起来一点不然我不好做
男朋友问我要不要玩3个人的
夜里十大禁用软件APP
帅气体育生GARY网站视频
亚洲专线S码和M码的区别
亲爱的老师4 韩国高清
女士不遮阴小内搭BB
妈妈酒后误为我是爸爸怎么办
S货C货大声点叫
岳女共夫张淑芬
男按摩师舌头伸进去了
你们一个一个来我好痛
给我播放片高清MV清晰在线观看
宫锁心玉迅雷下载
相亲对象是未增删樱花有翻译
相亲对象是未增删樱花有翻译
白天躁晚上躁天天躁21
云缨救公孙离网址
晚上睡不着看B站
腿张大点就能吃扇贝了
学生自w到高c的16种方法图片
最美情侣高清免费视频播放大全
绯闻男友发长文力挺张靓颖
让学长干一次再写作业作文
男友咬我小兔子的感觉
120秒动态图试看
把英语课代表按在地上一顿C
原神雷电将军乳液狂飙视频在线观看
和闺蜜一起出门带电动玩具
英语老师的兔子又大又好吃
他缓慢而有力的撞着王爷
双龙进洞夹心饼干的制作工艺
优质rb灌溉jy系统
一朵莲花三个莲蓬
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1