有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
黄到你那里滴水不止
ati radeon
无人区码二码三码四码区别
椅子一前一后都有一个木棒
无人在线观看免费高清动漫
区3区4区产品乱码芒果
公交车双指探洞醉汉
小苹果影院日本影院
只有棉签怎么自罚
宝宝腿再开大一点就能吃到扇贝了
用毛笔蘸下面洞里的水写字
可以触碰你的樱花未增删樱花
男生会舍得让喜欢的人口吗
Zoom美国另一类
禁欲电影观看完整版中文
夜月直播视频免费
晚上剧烈摇床运动视频
麻豆传播媒体网站入口官方
和狗做被婆婆看到拉婆婆下水
边缘控制玩到哭的感受
我被继夫添我阳道舒服
手机调成震动夹在中间有感觉吗
没带罩子让他玩儿了一天怎么办
雷电将军の罚ゲーム破解版
邻家美姨3中文字幕
儿子今天晚上只让你
打扑克牌的剧烈运动视频真实
2019理论片电线
山东猛1体育生打桩机1S
爱唱歌的大姐姐
初爱ねんね视频
最近最新MV中文字幕国语免费
啪啪啪视频大全高清
漾出OVER FLOWER第二季
17CGCG吃瓜官网黑料爆料
爷爷总是趴在妈妈身上睡觉
没带罩子让他吃了一天没事吧
国精产品一二二线
福林的初试云雨情后传
王者女英雄去掉所有服装不和小内
99精品无人区乱码在线观看
农家俏寡妇电影在线观看免费
认命吧!金牵牛
年轻的小峓子1完整版在线播放
吕知樾张津瑜视频外网
女生迈开腿和男生扑克的区别
WRITEAS 教室
日产乱码一二三区别免费下
贺朝醉酒把谢俞C到哭
欧精国精产品一区
美式1984雪莉和保罗谁厉害
王者荣耀姬小满被捅的流眼泪网站
19岁RAPPER潮水偷轨仙踪林
漂亮的丰年经的继拇了精东
女生把筷子放屁眼里不能掉视频
女儿的男朋友是妈妈的爱豆
男人给女人添P添到高潮吗
好儿子妈妈要快谢了
青梅不经c1V1玉米
老婆出轨时接听老公电话
G位的准确位置怎么找到
咬住下唇动漫在线播放
丁香大型成人网站
国产卡二卡3卡4卡四卡
草699一码二码三码四码
数学课代表趴下来让我桶免费网站
M必做自虐羞耻行为
同时被两个男人轮流舔
国语高清CHEAPWINDOWSVPS图片
my19777换哪了
斗罗大陆女生去掉所有服装
2012sbs演艺大赏
塞跳d开最大挡不能掉出来作文
弱点73话我也要一起洗
沉香的一二线产区
成熟交BGMBGMBGM日本1
男人做的时候拼命抓住你头发
老师迈开腿让尝尝你的森林
你快叫啊我就喜欢听你叫
男生说要吸你的小兔子啥意思
日本XXXL码在中国是多少
甜蜜惩罚未增删带翻译整集带翻译
今日更新2021乱码
after之后1
棒棒糖放屁眼里一天吃了视频
在课上用鸡插英语课代表视频
人伦亲情父母儿女
自制安慰小玩具
玩朋友漂亮娇妻
看镜子我们是怎么结合的
一面亲上边一面膜下边美国
国内精品自线在拍
雷电将军与丘丘人繁衍后代
宿舍1v4教学
中国XXXXXL在线
妈妈的味道HD免费
王者荣耀瑶白色液体
老师在办公室被躁得好爽
一二三四中文字幕
剧烈摇床运动视频打扑克
糖心LOGO免费
三国梦想大乔无惨
两个男孩子开车细写
随时随地都能干的小镇
老奶奶能叫woman吗
无人区一码二码三码四码多人收藏
BASE掀起ONCHAINSUMMER热潮
半夜被C醒是一种什么样的感受
剧烈摇床运动视频
亚洲码一码二码三码区别
校霸被校草在教室做到哭
缓慢而有力的C
体育生和外卖员CHINESE
人物动物交互狗文章BECJM
一个人在线观看免费看的视频
老师你的兔子好软水好多详情介绍
写的超细的开车过程
BGMBGMBGM老妇
亚洲乱码在线卡一卡二卡新区
善良的公与熄BD
斗罗大陆黄化人物网站免费
快穿之肉糜蜜花(H)
张柏芝门照艳原图
小兔兔被男生吃什么感觉会疼吗
宝宝把腿开大点就不疼了视频
和孩子一起睡觉没控制住
无人区一码二码高高
おっさんとわたし天堂官网
第一版主 01bz
涨精装满肚子公交车
金刚杵汆肉莲的介绍
草棚canopen国产
八重神子流白色乳液
外国情侣插秧方法
开车越往下越疼的句子
优质rb灌溉jy系统
小东西几天没做喷的都是视频
你们四个一起上我会坏掉的小说
腿再分大点就可以吃到扇贝了
吃瓜网-免费吃瓜黑料泄密爆料曝
妇女被深耕过后的变化
VPSWINDOWS另类极品
被校长抱进办公室糟蹋
满了...太满了...溢出来了
帝王怀孕肚腹挺起好憋
高冷男受用钢笔玩自己GH视频
仙女棒坐着使用示意图
中国老太太WBBHD
坤吧放到欧派上
日本一线产区和韩国二线产区区别
往下边塞玩具坐公交的故事
疫情期间日老妈
迈开腿男人往里怼女人的做法
女士不遮阴内搭图片大全大图高清
西门庆日女尼姑视频大全
宝宝的水喷得到处都是小作文
青梅不经C1V2
女生让男生随便诵自己的坤坤
往下边塞水果后吸出来视频
啪嗒砰怎么召唤
腿可不可以再抬高点
会夹会摇怎么练
疼大点声今晚没人
白色乳息樱花未增删带翻译樱花
日本摩天轮变办公室
成熟交BGMBGMBGM日本
五月丁香合缴情网
WRITEAS作业PLAY
楚晚宁墨燃所有肉车
麻花豆传媒剧国产免费MV入口
果冻传媒MV免费观看大全
最新中文乱码字字幕在线
AI换脸周淑怡可以冲的
爱情岛论坛2019年免费
忘忧草.WYC.IA
旅游时跟女儿有了关系知乎
洗衣屋2樱花未增删带翻译樱花
彩虹男.2022小蓝大叔
抱着宝宝坐下太猛
开车污的 女生越疼男生越来越快
一体验区试看120秒
餐桌下狂C亲女高辣
火影忍者禁图片
被体育老师c了一节林妙妙
无翼乌无遮挡全彩漫画大全漫画
mm1313不能看了 localhost
蜜桃影像传媒推广
车子一晃一晃就C进肉了的游戏
天下男修都躺好
一本到道免费线观看
张津瑜 6分35秒
妈妈的朋友3007电影
无人区码一码二码高高
krohne流量计
好看大但人文艺术
用笔自W的视频
用...用点力快要到了
啊班长C了我一节课
老师在办公室被躁得好爽
他缓慢而有力的往里挺送文字
等不及在车里就要了我
老师洗澡让我吃她胸视频免费
公咬着小娇乳H边走边欢视频
妇女是指什么年龄段
别怕放松我这是在爱你
宝宝的水喷得到处都是小作文
在镜子面前看我是怎么爱你的
破了两个学生的花苞
宝贝流了怎么多还说不要
好大插起来好痛的文章
台湾已逐步恢复供电
蜜桃成熟时33d qvod
顶级大但人文艺术视频音乐
玛雅论坛亚洲电影
1069男男贴图
写错一道题就让学长干一下的视频
爱福利视频广场福利视频
中文在线12月18日快速反弹
缓慢而又坚定的撞着
宝贝流了怎么多还说不要
女生喊疼男生越往里寨AQQ娱乐
今日小鸡庄园答案
学长的手指在里面转动的写作
不小心缩小掉进女生的午饭里
秘密教学52子豪停不下来了
故意在接电话时做
对你上瘾1v3不清水
被当成发泄玩具的一天
成为爸爸的玩具
妈妈说带好套可以给我正常吗
再用点力草丛里做
办公室的秘密赵雪晴第11章
rryy4060
怎么把自己扣的全是水访页
韩国演艺圈悲惨事件9
我的前任是极品第二季
19岁的RAPPER潮水仙踪林
我们去楼梯间做好不好
哪种BB最好看
三个男人换着躁我一个
エロゲ母爱如山动漫免费观看
快递员让我爽了一下午
交换娇妻在线观看中字
开始妈妈不愿意
男生插曲女生身全过程
钙GGY钙站男男
交换:朋友的妻
日本speakingenglish实践4
japonensisJAVAHD大豆行情
王者女英雄去掉所有服装不和小内
WRITEAS遥控器
秘密教学第75你可以帮我吗SVIP
张津瑜视百度云
晚安 おやすみせっくす在线观看
坐姿双马尾duangduangduang
三门齐开有多痛
幸福花园 纤细的爱
男生的坤坤放到女生的哪里
男朋友用筋膜枪把我玩哭
HAIJIAONET海角社区论坛
软玉娇香多肉大结局
太阳帝国的原罪秘籍
成全高清视频免费观看动漫版
魅力研习社吹避孕套
日本漫画之口工番全彩
玖玖资源站最稳定365
无人区码一码二码W358CC
无限动漫网在线观看免费视频
鲍鱼tv最新网名2021
把它堵住不能流出来吸收
公交车上两人双指探洞天气网
XRK1_3_0ARK无限观看IOS网站
炎炎消防队生肉1080P
风间由美 熟女
做错了事就往下面塞一个冰球
变形计 化不开的网
老谢小区保安赵敏老师
往下边塞水果走路
大尺寸的小黄说字多肉小学
新龙门客栈2龙门飞甲
苏家小媳妇1V3
美国1984忌讳第4集愈演愈烈
3d肉铺团电影
做错了题就让学长C一次视频
会所娇妻被多个黑人怀孕小说
美国xaxwaswasfilm
进来吧晚上英语老师就是你的了
吧有你春暖花开
仙女棒坐着使用方法图片
欧洲N00N兽交剧
第一次处破女14分钟
S货是不是想挨C叫大
家里没人儿子就弄我了怎么办
男朋友说要修修我的下水道
张婉悠厕所门是什么
男生无收费看污网站
张婉悠厕所门是什么
儿子你比你爸的都大
亚洲无人区码卡二卡三卡四卡
两个人免费视频观看高清频道
银行行长第二次到家里吃饭
我的兔子好软水好多双指探洞小说
宿主的任务是收集jy活命小说
成人免费在线电影
初爱ねんね视频
公交车售票员按尺寸大小20cm
荡公乱妇第1章方情
法海终于把白素贞日服JH
欧洲无人区天空码头IV在哪一本
去姥姥家进入妈妈身体的说说心情
抬起一条腿对正往里怼
2018国产大陆天天弄
国色天香精品一卡2卡3卡4公司
性女传奇在线播放
重生之祝英台遇到马文才全文免费
迷人的保姆5线观高清
哥布林洞窟樱花动漫未增删带翻译
国产色母和进口色母区别大吗
好满射太多了装不下了
站着从后面是不是要紧一些
葫芦里不卖药千万影片你需要官网
迈开腿让我看下你的小草莓图片
链-两个女人的诱惑 电影
吃英语老师的小白兔
宝贝腿开大点我添添公视频免费
黑龙江教室视频完整版
大长腿白丝被C到爽哭了
免费的剧烈运动扑克视频
大菠萝福建app导航入口
红猫大本营点击进
爱呀哎呀我愿意
毛1卡2卡3卡4卡
做错一题就往下面放冰块
zoomdog2019
男生和女生玩滑滑梯是什么意思?
可以随意触摸小熊内部位游戏
5g天天奭5g多人运在线观看免费最新app
帮英语老师疏通下水道
性情中人中文网bt
带闺蜜出来玩被她老公说怎么回她
不知火舞之沙滩狂欢
游戏输了让同学玩全部位置
中国XXXXXL17免费
果冻星空传媒儿媳妇
桃花社区视频在线观看免费完整版
俄罗斯6一12泑女精品
可C可拔萝卜女生小游戏
日产乱码一二三区别免费
美女露出尿口让男生爽痛
我被开三门痛晕了
后营露营无增减
妹妹流了怎么多还说不要
走一下撞一下深深咬合的小说
王者公孙离爽到流泪
装睡让我滑进她的身体
拔萝卜打牌不盖被子
别在阳台会被别人看到的
ysl水蜜桃色推荐17
班长是我们班的存精器白素素
赵露思乳液头实出
嫩草研究所入口一二三四
夜恋手机安卓支持精品
把男生的坤巴放在女生的定眼里
腿分大点就不疼了
对你上瘾1V3
一杆长枪直入两扇门
2014年5月里番
13岁能放几个笔
可以随便看内部位的rpg手游
用大宝贝给女儿疏通下水道
娇妻两根一起进3p视频
CHINAGARY武警体育飞机
没带罩子让他玩儿了一节课
另类老太婆BBWBBW
小小水蜜桃3视频在线观看
爷爷总是在妈妈身上
2023年免费进入B站
公交车后车座疯狂的做的细节
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1