有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
好男人看在线视频
男孩花1元买到金戒指
中日乱码卡一卡二仙踪林
为什么一加速女生就会哭
我妹妹每天做两小时作业的英文
日本一姐RAPPER潮水自由
魅力研习社 安全套
胸前两个巨大的兔子蹦出来
快手王多鱼被C视频
夹好了去上学不能掉出来的作文
双人床上做运动模拟器
芭乐app下载网址进入18免费站长统计
高中校花陈若雪H校长
爱情岛论坛免费线路一在线路3
日本一卡二卡三
推荐一款污的app
老外和中国女人毛片免费视频
瑜伽狂野式体式进入
国产SUV精品一区二区6
开车视频疼痛有声音
抱着公主走一步撞一下
和搜子居同的日子2中文2
最近最新的字幕MV
女RAPPER节目
八重神子享受翻白眼流口水视频
儿媳妇夸我比他老公厉害
小婷又软又嫩又紧水又多的软件
在我们寝室当寄吧套子怎么样
课代表趴下让我连桶了30分钟
腿打开一点就能吃扇贝了视频
媒豆传媒免费视频入口网站
妹妹中考让我C了一节课
新不夜城 迅雷
斗罗大陆3大乱斗交大配
在公交车上弄到高c了最后一排
亚洲精品国产精华液怎么样
你们老公玩你的时候都是怎么说
彩虹男.2022小蓝
人与畜禽CORPORATION
无人区码卡二卡3卡4卡伊甸2卡
舞林大会棒棒糖
青春草原精品视频
男生插曲女生身全过程
无人区码卡二卡乱码
情欲小说龟全文阅读
夹一天不能掉晚上我检查若若
花蝴蝶日本HD免费完整版高清版
蜜芽忘忧草二区大豆行情网烧仙草
婆婆和狗玩声音很大
天美果冻星空国产剧情
侯马市性侵事件
在公交车上被JB草坏了被轮J了
公主殿下的LOVE全集播放
98精产国品一二三产区区
刚满十八岁女生穿衣搭配
小乌酱黑白双丝脚足在线看
不知火舞和三个孩子森林公园狂欢
麻豆视传媒官方网站入口
双人床上做剧烈运动可以吗
全身按摩被按摩师添下面
仙踪林进入地址老狼
男人和女人在一起怼怼怼的大全
女儿男朋友是妈妈的爱豆的电视剧
为什么日的越快叫的也快
日产欧产美韩系列区别图片
俄罗斯videodese12
三门齐开女人疼苦吗
男神插曲女生的视频完整版漫画
GOGOGO高清免费看韩国
5G天天奭多人运动 在线观看免费网站
日本HIPHOP大师YOKOI
麻花传媒沈芯语国产传媒
戴了一天跳DAN感受
二指探洞舒服吗
我被三门齐开了事后走不了路
女人一进去就老实了的原因
我的漂亮女房东完整版
从后面抱着妈妈突然脸一红
宝宝我们换个姿势楼梯口图片
年轻老师的滋味5在观整有限中字
蜜芽.768.MON二区忘忧草葫芦娃
液体收集器系统HH
性生20分钟性生20分钟
日本一姐潮水RAPPER超多
清纯校花被脔日常H
客户的东西比老公的大
谢俞坐着震动器写作业车
宝贝就一下下好不好
宝宝s在里面好不好
麻豆无人区乱码
2023男男钙GGY钙站一区
韩国美女主播系列之蜜罐
娇妻被几个黑了玩的惨叫
WRITE AS 黄瓜
漂亮的保姆3完整版
张核子弟弟发声
YSL水蜜桃86
横冲直撞 肉车
腿张大点就能吃扇贝什么意思
为什么对象吃完奶头会变大吗
飞向别人的床 在线播放
美女视频脱空一净二净
MOSTHDCOECTION性
狗狗太快了像打桩机
W乳液939永久W78
大菠萝导航福建app
日本乱码一卡2卡三卡4
美女脱精光让男生桶莫扎下面
啊不可以坐不下去痛
bbox撕裂bass俄罗斯仙踪林
一边亲着一面膜下奶53分钟
老马的春天顾晓婷
男生和女生晚上玩滑滑梯
大尺寸的小黄说说1000字免费
无人区一码二码三码四码区
老师的兔子好软水好多樱花一
中国rapper潮水孕妇
桃汁糜烂NPC
差差漫画网站页面入口弹窗秋蝉
MD传媒作品大全
搞机TIME恶心直接打开的不用下载嘉兴圈
健身教练漫画在线阅免费
无人区码一码二码三码区别大吗
夜里100种禁用视频
老太婆下身浓浓毛多
sky-258
男朋友咬我的小兔子头会发炎吗
逆爱 再爱我一次
中国人看视频免费
9.1短视频软件安装免费
一根肉枪肉遍天下美女
茶杯狐CUPFOX官方网站
麻豆精产国品一二三区别
英语课代表的胸好软的作文视频
钢铁侠3下载 迅雷下载
WRITE AS 震动
精产国品一二三产品区别大吗知乎
和孙子发生了不该发生的事情
课代表没带罩子给我抄了一节
大鱼直播app
三代乱惀小说全集
八重神子流乳液
开最猛的车的动画
老师你的好软水好多的时候图片
吃赵露思的乳液好喝吗
校花被出租车司机强H
同学故意把我的校服当抹布用
差差差很疼的视频无掩盖
羞羞漫画官方登录页面免费漫画弹窗破解版
免费网站在线观看人数在哪儿
换个方式做吧未增删动第一集
不知火舞和三个孩子之森林公园
一面亲膜上边奶一个膜边
我的奶头被客人揪的红肿疼痛
女孩子是怎么上女孩子的
白洁一夜挨十炮
内衣柜办公室未增减
2828dy日本伦理电影
破了新数学老师的处
不如各自安好(1V1)
我的奶头被客人吸得又肿又红又痛
男朋友老是玩我的小兔子
免费日产区2021
二哈的白猫师尊
公与妇仑乱HD
国模欢欢高清炮交图片
不收费的免费直播软件打扑克下载
老婆说她想尝试多人怎么回复她呢
把下面能看湿的句子
爱情岛永久免费线路二
雷电将军乳液VX网站免费
女生戴上小玩具调到10档的玩具
一支笔c哭自己从自w到高c视频
清纯校花沦为胯下玩物
身体送给儿子当礼物
桃子视频高清免费观看
新版金银瓶1一5电影
午夜香吻免费观看视频在线观看
国产第一页浮力影院入口
老太太80CHEAPWINDOWSVPS
我想用扇贝夹你的乌龟是什么意思
什么样的B型最好进
吃瓜爆料黑料网站
男生插曲女生动漫版
2023Gy钙站
中欧乱码卡一卡2卡三
有谁上过自己妈妈
51CG吃瓜网热心朝阳群众
什么是主题公园
学霸把校霸往死里做双男主车
用毛笔蘸下面洞里的水写字作文
父母儿女互换干对家庭成员的影响
你可以继续哭但我不会停下来
拉开拉链它想你了给他好不好视频
曜给西施焯的脸红
各种姿势玩小处雌女TXT视频
写错一道题就让学长干一下的视频
头埋在两座山峰之间
花色98堂新网名
94卫校女大喊受不了了在线
最近韩国日本免费观看MV百度
爸的比老公大两倍
跨越八年的新娘
成熟交bgmbgmbgm欧
HENTAINATRUAL
和邻居换娶妻1
年轻的母亲4有线观
人类是如何交匹配的动画讲解
老人船上弄雨荷
欧美精产国品一二三类产品特点
免费中文字幕日产乱码
水渍声和撞肉声连成一片
以上欺下1V2
张津瑜视频9分10百度云买
越往下越疼那种
日本一卡二卡三卡四卡无卡高清视频下载
GY2023小蓝视频
津渝视频完整版1哔哩哔哩
男生插曲女生身全过程
腿再张大点就可以吃到扇贝了视频
中国XXXXXL19
开车视频疼痛有声音
抖音没带罩子52秒
51成品网站W灬源码16
一个晚上用了好几个小雨伞
菊内留香金银花原文开车
旅行者骑在甘雨上做运动
YELLOW的视频播放
我的乌龟要进入你的扇贝翻译英文
yy111111手机在线观看琪琪
奇迹三雄之扑克牌游戏
梅花十三的乳液狂飙
儿媳妇 水这么多还说不要
够了够了已经满到C了高C了
跳D放在里面走路什么感觉
成品禁用视频APP短视频
巧干朋友娇妻小怡
动感之星妖精全集
日本一码二码三码区别在哪
好儿子今晚妈妈就是你一个人的
班长 求您关掉开关吧
兰姨不敢发出一点声音怕吵醒风
阿娇被实干20分钟视频
桂花婶的宝贝可是9曲18弯
班里的公交车小诗的高中日记
如何一支笔C哭自己
桃花视频最新免费高清完整在线观看
日本精产国品一二三产品区别
来自俄罗斯的美国女RAPPER
限制18一卡二卡三卡四卡
张津瑜卫生间1080P
张警官9分10秒头撞玻璃
接电话顶的她说不出话
宝贝帮我套小雨伞的更新时间
老狼一卡2卡3卡4卡2021免费
OVERFLOW樱花风车动
年轻的阿姨中字巴巴鱼汤饭
日产幕无线码1区
用嘴巴吃鸡有什么好处和坏处呢
美国十次 导航
69精产国品一二三产区区别
无限资源2018第1页在线观看
男生晚上睡不着想看B站
小鲜肉GARY2022飞机
野花视频在线观看最新免费
探深一点老师今天随你怎么弄
拔萝卜全程不该盖被子怎么办
云缨用自己的枪X自己
对象吃我的奶奶会变大吗
没带罩子让校霸C了一节课网站
一整夜都连在一起没有退出来
25岁高中生未增删翻译中文翻译
欧产日产国色天香区
雨后小故事动画视频
一二三四在线观看高清韩国视频
147人休艺术 大胆
上官婉儿的乳液狂飙的视频
zhangjinyu完整视频
快穿H女配肉袭林心儿
麻花豆传媒2021MV在线观看
撩到女生下面滴水的句子
公交车售票员按尺寸大小
小雪的13又嫩又紧又多水带图
108式春床图片欣赏
开小娟小妍嫩苞
和朋友换娶妻a2020
小鲜肉GARY2022飞机
雷电将军被史莱姆无情注入
年轻的母亲6在完整有限中字
帮妺妺洗澡忍不住C了她作文
宝宝你里面好暖好烫不想出来
国内精品自线在拍大学生
黑人啊灬啊灬啊灬快灬深
999精产国品一二三产区
人蛇大战之人蛇浴血战
国内精品一卡二卡三卡
エロワンピースエロい在线
甘雨被盗宝团挤牛奶点击这里进入
奶一被揉和吸就想挺起来怎么回事
么公在浴室征服了小雪小说
JEALOUSVUE成熟好妈妈
和教练在车里干了我三次
江疏影2分28秒哪里有
成熟50 WX老狼大豆行情
黑龙江教室视频完整版
VODAFONEWIFI另类
朋友的妈妈6在观整有限中字
都生过宝宝了还这么紧
公交车上两人双指探洞天气网
粉嫩RAPPERDISSSUBS欢迎您
姬小满的乳液狂飙天堂W98
可以把火腿肠放里面睡觉吗
黑暗荣耀朴妍珍打扑克是哪一集
槽溜2021入口一二三四
浪翁荡熄的幸福生活
扣那里的手势图
办公室的交易高清BD
美女被黑人40厘米进入
进入母亲的生命之门
原神人物黄化网站
我得到了妈妈的桃花源
年轻的母亲4有线观
关晓彤被华晨宇做出了水车
MIYA收藏请牢记此区域
张津瑜视频夸克下载
のおっぱい身体检测小小的身体
控制全校女生听从自己
离婚了天天跑去日前妻
日本一卡二卡三卡四卡无卡高清视频下载
大团圆结2高敏
第一会所 欧美原创
够了够了已经满到高C了甜甜
JEALOUSVUE第一次
扯开衣服两只小兔子跳出来是
美国14MAY18XXXXXL
BGMBGMBGM老妇视频
天美传媒小甜豆完整视频在线观看
整集都做的美剧
怎样揉自己的痘痘揉到腿软
女生和男生在一起差差差体验
坏老人与媳妇天的春天
爱情岛免费网站路线一
宝宝腿分得开点才不疼
狗头萝呼啦圈视频26分钟什么梗
最新三级别推荐
妈妈的朋友1在完整有限中字
女士不遮阴小内搭走秀
原神雷神ドラえもんのエ网站
艳娒1一6全集在线高清
日本精品一线二线三线区别
动漫人物将机机插曲漫画小说
美女露胸无遮挡无马赛克羞羞
女生奖励自己的视频素材高清版
长门和小南拔萝卜游戏
0ADC大驾光临未满十八岁5G
147人人艺术
地下偶像18未增删带翻译动画车
你看桌子上都是你流的
羞羞漫画登录页面免费漫画在线入口页面
皇上不可以(限)沈音
夏天短袖侧面看见女生小馒头
校霸被学霸拿遥控器控制
BRANDILOVE超清在线
女生为什么迈开腿给男生看
13277大但人文艺术日本活动
西门庆日女尼姑视频大全
公交车一动就撞一下撞到最深处
男JI大巴进入女人的视频
公翁的粗大放进我的秘密电影
体育老师拉着我做了一节课
麻婆豆传媒一区二区三
B的感觉一样吗
特别漂亮的媳妇和当官的朋友什么
一女侍七夫巨H双修
西方37大但人文艺术A管
呵啊呵啊呵啊女生叫什么
被绑在男厕所供人享用
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1