近日,中國(guó)信息通信研究院(以下簡(jiǎn)稱(chēng)“中國(guó)信通院”)完成可信AI《大模型推理平臺(tái)通用能力成熟度》首輪評(píng)估。
商湯大裝置萬(wàn)象大模型開(kāi)發(fā)平臺(tái),獲得當(dāng)前最高評(píng)級(jí)——4+級(jí),并成為國(guó)內(nèi)首家獲得最高評(píng)級(jí)的大模型推理平臺(tái)。
中國(guó)信通院依托人工智能關(guān)鍵技術(shù)和應(yīng)用評(píng)測(cè)工業(yè)和信息化部重點(diǎn)實(shí)驗(yàn)室、中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟AI Infra工作組,聯(lián)合七十余家單位共同編制了《大模型推理平臺(tái)技術(shù)要求》標(biāo)準(zhǔn),并依托該標(biāo)準(zhǔn)開(kāi)展可信AI大模型推理平臺(tái)首批評(píng)估,是國(guó)內(nèi)最具影響力和權(quán)威的大模型推理平臺(tái)評(píng)估之一。
該評(píng)估聚焦大模型推理平臺(tái)的功能、性能、穩(wěn)定性,關(guān)注部署、推理、服務(wù)與管理環(huán)節(jié),以實(shí)現(xiàn)低時(shí)延、高吞吐、可擴(kuò)展、高易用、低成本目標(biāo)。本次共評(píng)估88個(gè)能力項(xiàng),其中基本功能34項(xiàng),高級(jí)功能54項(xiàng)。
結(jié)果顯示,商湯大裝置的萬(wàn)象大模型開(kāi)發(fā)平臺(tái)在模型的部署、推理、服務(wù)環(huán)節(jié)均表現(xiàn)優(yōu)異,可為開(kāi)發(fā)者提供高性?xún)r(jià)比、靈活易用的服務(wù),配備前沿模型、算法、推理引擎、知識(shí)庫(kù)等套件,助力開(kāi)發(fā)者快速構(gòu)建行業(yè)模型及應(yīng)用編排。
商湯大裝置萬(wàn)象大模型開(kāi)發(fā)平臺(tái)提供從大模型開(kāi)發(fā)到應(yīng)用構(gòu)建的全鏈條開(kāi)發(fā)工具,為企業(yè)大模型落地提供一站式高效服務(wù)。萬(wàn)象可兼容GPU、NPU等異構(gòu)推理加速卡;其內(nèi)置自研高效推理引擎,降低推理成本50%以上;同時(shí),具備完整的安全機(jī)制,為企業(yè)大模型落地提供安全保障。
目前,商湯大裝置萬(wàn)象大模型開(kāi)發(fā)平臺(tái)已在交通、消費(fèi)、政務(wù)、自動(dòng)駕駛、智能家居、醫(yī)療等多個(gè)行業(yè)多種業(yè)務(wù)場(chǎng)景中落地。
交通領(lǐng)域,基于萬(wàn)象,我們?yōu)槟晨蛻?hù)構(gòu)建了工程勘察設(shè)計(jì)領(lǐng)域智能平臺(tái),可實(shí)現(xiàn)知識(shí)檢索、智能問(wèn)答、報(bào)告輔助生成等功能,有效解決了客戶(hù)在知識(shí)傳承困難、融合性差和應(yīng)用程度低等方面的痛點(diǎn)。
消費(fèi)領(lǐng)域,某企業(yè)希望為員工配備AI助理,改變依賴(lài)查閱文檔獲取知識(shí)的低效方式。通過(guò)萬(wàn)象平臺(tái)的調(diào)用大模型、檢索增強(qiáng)生成(RAG)技術(shù)、文檔插件及工程化優(yōu)化,提升了知識(shí)獲取效率。
政務(wù)領(lǐng)域,某政府機(jī)構(gòu)計(jì)劃打造小型AI創(chuàng)新平臺(tái),基于萬(wàn)象模型開(kāi)發(fā)平臺(tái)及其配套的模型優(yōu)化、API調(diào)用、部署和監(jiān)控服務(wù),大大簡(jiǎn)化了復(fù)雜的部署工程,實(shí)現(xiàn)了企業(yè)開(kāi)箱即用。
日前,國(guó)際數(shù)據(jù)公司(IDC)發(fā)布《中國(guó)模型即服務(wù)(MaaS)及AI大模型解決方案市場(chǎng)追蹤(2024H2)》,報(bào)告顯示,商湯大裝置萬(wàn)象平臺(tái)憑借13%的市場(chǎng)份額穩(wěn)居國(guó)內(nèi)AI大模型解決方案市場(chǎng)第二位,再次領(lǐng)跑行業(yè)第一梯隊(duì)。未來(lái),商湯大裝置將繼續(xù)依托AI原生技術(shù)棧和行業(yè)級(jí)解決方案,結(jié)合專(zhuān)家服務(wù)體系,持續(xù)致力企業(yè)突破大模型落地“最后一公里”,驅(qū)動(dòng)企業(yè)智能化轉(zhuǎn)型與創(chuàng)新增長(zhǎng)。