5月27日消息,摩爾線程、無問芯穹聯(lián)合宣布,雙方已經(jīng)正式完成MT-infini-3B 3B(30億參數(shù))規(guī)模大模型的實訓,基于摩爾線程國產(chǎn)全功能GPU MTT S4000組成的千卡集群,以及無問芯穹的AIStudio PaaS平臺。
本次實訓充分驗證了夸娥千卡智算集群在大模型訓練場景下的可靠性,同時也在行業(yè)內(nèi)率先開啟了國產(chǎn)大語言模型與國產(chǎn)GPU千卡智算集群深度合作的新范式。
據(jù)悉,這次的MT-infini-3B模型訓練總共用時13.2天,全程穩(wěn)定無中斷,集群訓練穩(wěn)定性達到100%,千卡訓練和單機相比擴展效率超過90%。
目前,實訓出來的MT-infini-3B性能在同規(guī)模模型中躋身前列,相比在國際主流硬件上(尤其是NVIDIA)訓練而成的其他模型,在C-Eval、MMLU、CMMLU等3個測試集上均實現(xiàn)性能領先。
無問芯穹正在打造“M種模型”和“N種芯片”之間的“M x N”中間層產(chǎn)品,實現(xiàn)多種大模型算法在多元芯片上的高效、統(tǒng)一部署,已與摩爾線程達成深度戰(zhàn)略合作。
摩爾線程是第一家接入無問芯穹并進行千卡級別大模型訓練的國產(chǎn)GPU公司,夸娥千卡集群已與無穹Infini-AI順利完成系統(tǒng)級融合適配,完成LLama2 700億參數(shù)大模型的訓練測試。
T-infini-3B的訓練,則是行業(yè)內(nèi)首次實現(xiàn)基于國產(chǎn)GPU芯片從0到1的端到端大模型實訓案例。
就在日前,基于摩爾線程的夸娥千卡集群,憨猴集團也成功完成了7B、34B、70B不同參數(shù)量級的大模型分布式訓練,雙方還達成戰(zhàn)略合作。
經(jīng)雙方共同嚴苛測試,兼容適配程度高,訓練效率達到預期,精度符合要求,整個訓練過程持續(xù)穩(wěn)定。
新化月報網(wǎng)報料熱線:886 2395@qq.com
相關文章
最近更新
- 摩爾線程國產(chǎn)GPU重大里程碑!千卡集群完成30億參數(shù)大模型實訓2024-05-30
- 國家發(fā)改委:5月29日國內(nèi)成品油價格不作調(diào)整2024-05-30
- 天津:進一步調(diào)整優(yōu)化差別化住房信貸政策2024-05-30
- 三部門發(fā)布信息化標準建設行動計劃2024-05-30
- 阿里影業(yè)發(fā)布2024財年業(yè)績:強勁增長,布局未來2024-05-30
- 越來越接地氣的奧樂齊,是如何下好“生鮮”這部棋?2024-05-29
- 一季度交易額超千億 恒友匯《指引》國產(chǎn)創(chuàng)新藥出海漸入佳境2024-05-29
- 探索成人玩具新天地:花心貓無人值守閃電倉引領潮流2024-05-29
- 多家上市銀行中期分紅議案獲股東大會通過2024-05-29
- 港股市場正回暖 上市儲備企業(yè)數(shù)量持續(xù)增加2024-05-29
- 推動房企高質(zhì)量發(fā)展 大名城穩(wěn)健經(jīng)營資產(chǎn)持續(xù)優(yōu)化2024-05-29
- 回應部分經(jīng)銷商“逼宮”風波 保時捷中國:希望與經(jīng)銷商共同面對挑戰(zhàn)2024-05-29
- 以便捷“收舊”推動積極“換新” 多地加快再生資源回收體系建設2024-05-29
- 國資委:推進國有企業(yè)整合重組、有序進退、提質(zhì)增效2024-05-29
- 蒙牛焦作工廠再獲殊榮,引領乳制品行業(yè)邁向高質(zhì)量發(fā)展新時代2024-05-29
- IMO認證記憶俱樂部首批名單公布!更多城市持續(xù)解鎖中2024-05-29
- 恩克巴雅爾(和平)作品《風云》(電視劇《風云2》主題曲——屠洪剛演唱)2024-05-29
- 一紙“軍令狀”見雄心,2024疆村購誓銷300萬件助力疆村振興2024-05-28
- 加強能源合作 助力"富礦精開"——2024中國貴州國際能源產(chǎn)業(yè)博覽交易會將于6月20日在貴陽盛大舉行2024-05-28
- “為愛前行,微笑騎行”碧然德攜手萬豪助力慈善活動2024-05-28
- 普融花:人工智能如何顛覆傳統(tǒng)產(chǎn)業(yè)2024-05-28
- 王俊凱的代言帝國再擴張,植物醫(yī)生成為新寵兒2024-05-28
- 第二十屆“文博會”收官,舒提啦旅行箱大放異彩再“出圈”2024-05-28
- 氣質(zhì)原生美學是什么?武漢美萊副院長賀建平為您解答2024-05-28
- 入華5年,奧樂齊再次提速本地化進程2024-05-28
- 全球標準全球車!釔為3正式進軍阿聯(lián)酋市場2024-05-28
- 緊抓機遇搶占市場 汽車零部件企業(yè)擴產(chǎn)忙2024-05-28
- 玩轉(zhuǎn)AI!西南大學人工智能學院科普課解鎖“神奇的人工智能”2024-05-28
- 3440億!大基金三期成立,或?qū)l(fā)力關鍵設備材料零部件投資2024-05-28
- 歌爾股份分拆歌爾微獨立上市告終止,“果鏈”銷售占比約50%2024-05-28