有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
最近的2019中文字幕MV
404黄台下载大全
今天晚上我控制不好速度
双乳被一左一右吃着的
缘之空第几集开的车几分几秒
简隋英哭着喊着让李玉退出去
男生都是怎么C你的
半夜发现外公趴在妈妈身上
宝贝这才几天没做水公交车
舌头伸进去添好爽高潮
求网站 你们懂的
女生输了给对方玩一个月的游戏
同学的妈妈5观整有限中字
ed2k柚木提娜
荒野大镖客2大妈一家
小泽玛利亚 种子
中国老奶奶vpswindows
各种姿势玩小处皱女
14may18XXXXXL女
BMGBMGBMG毛太多乱码
年轻的老师滋味在观整有限中字
会夹会摇怎么练
被公司领导C了好几次
黑帮少爷爱上我
CANOPEN最新网站
任你干在线精品视频网2
完美小姐进化论日剧
C死了啊哈宝宝腰好会扭CBL
原神女角色翻白眼流眼泪流口水
精东传媒vs天美传媒合作
无颜之月怎么看不到了
瘾欲欢愉半块小饼干霸
日本1卡2卡3卡区
不小心进了岳坶的身体
亚洲卡1卡2卡四卡乱码
DH-NVR4116HS-HD
宝宝这才几天没做水就这么多故事
王多鱼和博雅被C
迈开腿让我亲亲你的小森林
夜里用的18款禁用
51爆料网每日爆料黑料
小洞饿了想吃大香肠喝热牛奶是
日本ZLJZLJZLJZLJ喷
成品网站源码1288隐藏通道
又大又长又租高湖免费
一边吃饭一边和爸爸
水渍声和撞肉声连成一片
久别的草原在线影院日本
巨大荫蒂又大又长勃起
2021蜜芽美国无吗
亚洲一线二线三线品牌精华液
双指探洞感觉要喷了hi
啦啦啦德玛西亚6
对象吮自己小兔兔的感受知乎
坐在学霸的鸡上背单词
至尊宝用金箍棒桶紫霞
体育课被C了一节课
男男车车好快的车车真人免费网站
女生棒棒糖放屁眼里不能掉
乌克兰10一12x video
腿张大点就能吃扇贝什么意思
韩国妈妈的朋友6观整有限中字
绳子打结陷缝里让对方走过去
娇妻初尝粗大滋味借种韩国电影
张筱雨《魅惑2》图片
我一边做饭一边被躁了动漫
国产无人区二卡三卡四卡不见星空
女生小坤坤图片大全高清壁纸
冰块和棉签是用来干嘛的(黄)
数学老师叫我吃她的小兔兔
桃花社区免费观看在线观看
TPU色母与PA6色母互换
在车里剧烈运动
小东西这才2根而已
老师办公室狂肉校花H寝室视频
桃花韩国动漫免费官网
秘密教学10话我需要灭火
弄完作业是不是该给哥弄弄了
这几天没C你了是不是皮痒了
丰年经继拇中文2的功能介绍电影
97semeimei
儿子的比老公的大坚持不住
柳青青人体艺术
自我安抚的步骤图
夜里十大禁用软件APP
学生的妈妈双字9字
国色天香卡一卡2卡3卡4卡5
爱情论坛观看路线二
亚1州区2区3区域4
一面亲上边一面膜下边的日志
为什么放里面要动呢
中韩高清无专码区2021曰
认命吧!金牵牛
腿再打开一点就能吃扇贝了
一个家庭的一天(加强版)
国产瑜伽白皙一区二区
中国老奶奶vpswindows
妈妈的味道HD免费
柳青青人体艺术图片
体育生和外卖员CHINESE
WYC.IA忘忧草TV
去姥姥家进入妈妈身体的说说句子
狗头萝呼啦圈视频26分钟低价 1080P
原神ちゃんが部下を腿法娴熟
妈妈说家里没人我们就做那个
捅伽罗是什么东西
野花视频免费观看在线
东莞技校门种子
2021日产乱码网站直播
只要一顶嘴就会被主人扇巴掌作文
黄色软件下载3.0.3每天无限次VIVO版大全
美国巨肥garden60
涩涩屋草莓榴莲绿巨人秋葵的特点
英语老师的兔子好软水好多
女人荫蒂勃起后的视频大全
梅花十三的乳液狂飙
日本14MAY18XXXXXL
强宠 失宠皇后
国外精产品W灬源码
错一道题就往里面插一支笔作文
镜流口水流白色液体正常吗
MD豆传媒一二三区进站口在线
FULAO2在线官网观看
九一制片厂果冻传媒APP
原神雷电将军乳液狂飙视频在线观看
藏经阁福利导福航大全
无翼乌无彩无漫画
最近中文字幕在线MV10
麻豆网神马久久人鬼片
色花堂 永久 网站
6人轮换C一个过程
高树玛利亚作品
家里没人跟奶奶做
娘王virgin
看着我是怎么吃你的水
赵露思AI人工智能造梦
女生吃鸡难道不恶心吗
男孩花1元买到金戒指
男生晚上睡不着想看B站
施主就让贫僧C进去吧
晚上双人运动的正确姿势
MD豆传媒一二三区进站口
日本大但人文艺术 MBA
野花日本HD免费完整版高清版6
可以直接进网站观看的正能量
王者荣耀云缨咬着铁球流口水
从阳台c到卧室c到厨房
2D甄姬和两个小孩BBS
漂亮的小峓子中字HD电影
高铁上要了很多次
日本精品一线二线三线区别
吃老婆扇贝吃肿了
日出水了好深好涨
丰年经的继拇3的特色和机能
丁香大型成人网站
德国VODAFONE巨大
雷神ちゃんが部下を麻烦
香肠和扇贝插在一起翻译英文
免费B站推广网站在线
pinsetangmianfei
19岁macbookpro日本
姐姐的小兔子又大又软作文
我把美女日出了白将
西方艺术本体137
公交车后车座疯狂的做
被压在玻璃窗边C
亚洲一卡2卡三卡4卡 127
娇妻笫一次被多P
把英语老师按在黑板C
王熙凤的牡户一张一合
家教老师考100分能一整
2021高清VPSWINDOWS
中国国产免费毛卡片
用注射器打水放屁眼里的视频网站
2021无线乱码免费
老阿姨看到小鲜肉心动幽默说说
我们两个C得你舒服吗
姐家里没人用点力
日本一产二产三产
津渝视频完整版百度云
怎么自W到高C详细教程
你看你流了这么多水还说不要
张津瑜本人回应
男生说捅爆你的甜甜圈
ati mobility radeon hd
做错一题学长进去一次c黄的作文
破了英语课代表的处视频动漫
女朋友的母亲2语字追剧易
被一条蛇C到崩溃的
当蜜桃成熟时3
寂寞女人找男人
永远的品色论坛
宝宝的好大我都握不住了的说说
麻花传媒XK在线观看
一面亲上边一面膜下边的免费
啊灬啊灬啊灬快灬深视频直播
班级每人C了我半小时班长
两个人免费视频高清完整版
火辣导航APP福引导网站
FREEZEFRAME丰满老师
疯狂厨房2双人3-5通关攻略
J8又粗又硬又大又爽又网站
adc影库确认年龄18点此进入
开车视频疼痛有声音免费软件APP教育网
至尊宝用金箍棒桶紫霞
被几个人日的走不了路
97超碰在线视频人人av
小S货又想挨C了叫大声点视频
宝宝怎么才两根就哭男男
青梅被从小摸到大H补课1视频
女生和男生差差差带痛声
小兔兔被男生吃什么感觉会疼吗
无限在线观看完整版免费直播
晚上双人运动的正确姿势
两根一起进去疼拔出来就不疼了
后营露营第一季无增减
早上起床抱紧我第1集
老外和中国女人毛片免费视频
能让下面滴水到爆的说说
蜜源在线观看视频在线观看
北北北砂王者荣耀完整系列
王者荣耀黄化网站入口
14岁学腿迈开腿打扑克正常吗
为什么抽的越快就会叫
男生主动吃我腿中间那个东西
腿张大点就可以吃到扇贝免
温行之和温远洗手台做
魏无羡哭着喊着让蓝湛退出去
新堕落东京之奴隶
井川里予33秒
张小雨洞毛照片
漂亮的丰年轻的继坶3在线
糖心LOGO免费
别急晚上英语老师就是你的人了
yuanshayangli
太鼓达人dx dlc
李宗视频全集下载
无限免费观看在线直播
深田えいみ禁欲后被隔壁人妻
粉色视频网在线播放视频
班级每人C了我半小时班长
跪射是什么意思污
新疆女RAPPER老太RDFJFTTIK
暴躁老阿姨CSGO技巧
我的很大你要忍一下的视频
仙踪林入口欢迎你老狼
酒瓶塞住不准掉下来
成熟50 WX老狼大豆行情
迈开腿尝尝你的草莓意思
百合车车描写文字
妈妈的朋友8观完整有限中字木瓜
芒果乱码一线二线三线新区
把红酒倒入B里喝掉
迈开腿我们换个地方C视频
解放的潘多拉完整版
把跳D放在里面跑步不能掉作文
双人床上打扑克又痛又叫软件
花蝴蝶日本大全免费观看3高清版
嗯又粗又长插的好深太舒服了
2021歪歪漫画画漫画
用电动牙刷自W到高C作文
糖心VLOG精产国品免费老版
undertaleのエロ
highschool dxd
亚洲日本一线产区和二线产区对比
污到你那里滴水不止的描写方法
皇上撞着太子妃沈音的小说叫什么
国产DB624色谱柱88690
茶杯狐CUPFOX官网浏览器
宝宝下面湿透了还嘴硬疼的原因
弱点73话我也要一起洗
51吃瓜网黑料传送门今日更新
黑土ちゃんが腿法娴熟を视
喷泉辛浮H1V3H
水蜜桃1997
丰年经的继拇9M的寓意
黑帮少爷爱上我
黑寡妇v3pro和rogrx
没带罩子让校霸C了一节课小视频
被拉到学校没人地方C知乎
野花香社区论坛
汤加丽生殖大图147网站
白天躁晚上躁天天躁21
他的舌头探进蜜源毛毛虫说说
亚洲一卡2卡三卡
天美影视传媒有限公司
大将军1V2LH檀洙角色分析
英语老师打开扣子让我上
马是怎样交匹配的
VODAFONEWIFI粗暴
男朋友买玩具玩我
客厅大伦交侩H-MBA是什么
47最大但人文艺术摄影
国岳的前妻照片
羞羞首页登录无限阅币免费
无耻家庭凯伦和老爹的导演是谁
女生迈开腿打扑克又疼又痒
lululemon露露瑜伽服
我和黑大佬的365天完整版中文翻译小说
塞跳D不能掉出来上学作文
永久adc视频年龄确认
教室里英语课上插英语课代表
88369游戏
高雅人妻被迫沦为玩物电影BD
疯狂厨房2双人3-5视频
忘记擦黑板被老师C了一节课
老师你的兔子好软水好多动
小东西几天没做水这么多水作文
最近2018年中文字幕手机视频
雷电将军掀开衣服看副乳
WRITEAS自己玩
大武当之天地密码迅雷下载
老卫抱着淑蓉进房间
往下边塞水果后吸出来清欢
希儿乳液狂飙W天堂98
老公弄我的时候婆婆看到了就生气
51CG吃瓜网热心朝阳群众
父母儿女一起上!
男人最后一下为什么要叫
奶奶外婆一起给我怀孩子
韩国床震无遮掩视频
世界脱衣舞大赛
CLB3萝卜越勃越有劲萝卜视频
日本乱码无限2021芒果
大连护士门照片
国精产品一区二区三区糖心
班长没带罩子让捏了一节课怎么办
暗夜1v3疯狂
最好玩的B是那种
韩国绝伦推理片高分剧
精产国蘑菇品一二三产品区
接电话插的说不出话
小东西这才一根你能吃
厦门大学图书馆女厕
国色天香十七区品质怎么样
免费做运动扑克视频网站大全
爱情岛免费网站路线一
原神雷电将军乳液狂飙APP天堂
中国XXXXXL2023年
国色天香精品一卡2卡3卡
淑芬大腿中间又痒了L
桃花社区免费观看在线观看
亚洲精品国产精华液怎么样
KISKIBLUE
15岁macbookpro日本
小蓝视频基佬彩虹1086
可播放的steve hopper
日本ZOOM动物
侵犯小少爷(H)np
申鹤被淦出不明液体XMAN
国精产品一码二码三M
俄罗斯FREE性16
男朋友平时都是怎么上你的
办公室的交易 韩国电影
最强RAPPER女潮水仙踪林
够了够了已经满c了高c了
红豆视频免费高清在线看
soshow影城
随时随地都能干的学校教师有哪些
怎样玩隐私位置
犯错把冰块放屁眼里不能掉的作文
洗衣屋樱花2未增删带翻译
乖好好含着待会就给你
147女人的阴性部图片
金刚杵大战肉莲花是什么意思
父母儿女媳妇一起来玩
健身房几个私教弄了几次
开心四房色播网
精品卡一卡二乱码新区
最近中文字幕完整国语
在英语课上用J插英语课代表
S货叫大声点C烂你的SBXS
我的漂亮女房东完整版BD
男生吃兔兔女生该干嘛
美丽姑娘韩国在线观看免费
得到超级肉禽系统的小说作者
厨房强奷同学麻麻
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1