編輯：發(fā)布時(shí)間：2025-06-11瀏覽次數(shù)：141
江蘇潤(rùn)和軟件股份有限公司（以下簡(jiǎn)稱(chēng)“潤(rùn)和軟件”）自主研發(fā)的StackRUNS異構(gòu)分布式推理框架已在實(shí)際場(chǎng)景中取得顯著成效，成功應(yīng)用于大型園區(qū)多模態(tài)模型演練及高校滿(mǎn)血版DeepSeek-MoE 671B的運(yùn)行，有效推動(dòng)了大模型技術(shù)的快速落地。
案例一：大型園區(qū)多模態(tài)模型演練
由于建設(shè)分期不同及承建單位多樣，該智慧園區(qū)的AI基礎(chǔ)設(shè)施呈現(xiàn)出高度異構(gòu)特征，包括NVIDIA T4、NVIDIA 3090、Atlas 300I DUO等多種AI加速設(shè)備，并在不同場(chǎng)景下協(xié)同運(yùn)行。這些設(shè)備承擔(dān)著包括人流密度監(jiān)測(cè)、人臉識(shí)別、車(chē)牌抓拍等計(jì)算機(jī)視覺(jué)任務(wù)，系統(tǒng)負(fù)載、資源調(diào)度與運(yùn)維策略已形成穩(wěn)定運(yùn)行機(jī)制。
近期，該園區(qū)在安防升級(jí)過(guò)程中面臨一項(xiàng)臨時(shí)但復(fù)雜的智能分析挑戰(zhàn)：在突發(fā)事件響應(yīng)、演練預(yù)警或夜間非業(yè)務(wù)時(shí)段，需臨時(shí)部署并運(yùn)行多模態(tài)大模型，實(shí)現(xiàn)圖文聯(lián)合理解、行為鏈條分析、場(chǎng)景異常檢測(cè)等復(fù)雜推理任務(wù)。該需求需在不增加硬件投入、不影響現(xiàn)有業(yè)務(wù)運(yùn)行的前提下完成。
為應(yīng)對(duì)這一挑戰(zhàn)，潤(rùn)和軟件自研的StackRUNS異構(gòu)分布式推理框架成為關(guān)鍵解決方案。該框架具備以下核心能力：
1. 異構(gòu)算力識(shí)別與建模：自動(dòng)識(shí)別各設(shè)備的計(jì)算能力、顯存規(guī)格與精度支持能力，為模型切片和任務(wù)分配提供實(shí)時(shí)依據(jù)；
2. 模型智能切分與并行執(zhí)行：支持基于專(zhuān)家路由與自動(dòng)切分策略，將超大模型按需劃分為多個(gè)計(jì)算子任務(wù)，分布式調(diào)度到可用節(jié)點(diǎn)；
3. 輕量級(jí)調(diào)度與動(dòng)態(tài)推理通路編排：在不干擾現(xiàn)有CV業(yè)務(wù)的前提下，構(gòu)建獨(dú)立推理通路，臨時(shí)占用空閑資源執(zhí)行推理任務(wù)，任務(wù)完成后自動(dòng)回收；
4. 混合精度與量化模型支持：支持INT8、INT4等低精度模型快速加載，提升內(nèi)存利用率與執(zhí)行效率；
5. 統(tǒng)一通信與高效協(xié)同機(jī)制：通過(guò)通信適配層封裝多協(xié)議通信接口，實(shí)現(xiàn)多設(shè)備間高效數(shù)據(jù)傳輸與協(xié)同執(zhí)行。
StackRUNS多模態(tài)模型場(chǎng)景圖
StackRUNS幫助超大模型在資源受限、基礎(chǔ)設(shè)施異構(gòu)的環(huán)境中，實(shí)現(xiàn)“即需即調(diào)、彈性運(yùn)行、無(wú)感部署”的能力，顯著提升園區(qū)對(duì)突發(fā)安防場(chǎng)景的智能響應(yīng)水平，為大模型在城市級(jí)AI基礎(chǔ)設(shè)施中的靈活應(yīng)用提供了可復(fù)制范式。
案例二：高校運(yùn)行滿(mǎn)血版DeepSeek-MoE 671B
某高校在人工智能教學(xué)與科研實(shí)踐中，面臨運(yùn)行超大規(guī)模模型的現(xiàn)實(shí)挑戰(zhàn)。一方面，教學(xué)樓、實(shí)驗(yàn)樓與計(jì)算中心分布著多種異構(gòu)計(jì)算資源，包括GPU、NPU設(shè)備及部分高性能CPU節(jié)點(diǎn)；另一方面，受限于經(jīng)費(fèi)與硬件條件，難以通過(guò)集中式部署滿(mǎn)足超大模型推理需求。
為此，該高校引入潤(rùn)和軟件自研的StackRUNS異構(gòu)分布式推理框架，成功在現(xiàn)有資源基礎(chǔ)上部署并運(yùn)行了DeepSeek-MoE 671B級(jí)別的多模態(tài)大模型。
1. 通信開(kāi)銷(xiāo)高，跨設(shè)備、節(jié)點(diǎn)推理效率受限：傳統(tǒng)通信架構(gòu)難以適配異構(gòu)環(huán)境，頻繁阻塞；
2. 模型規(guī)模大、結(jié)構(gòu)復(fù)雜度高：單個(gè)子模型或路由后激活路徑仍需百GB級(jí)顯存支撐，傳統(tǒng)GPU、NPU單卡難以支撐模型加載與中間態(tài)存儲(chǔ)；
3. 切片并行策略自動(dòng)生成難：模型需劃分為跨卡跨節(jié)點(diǎn)子圖，兼顧通信代價(jià)、算子依賴(lài)與硬件負(fù)載能力，自動(dòng)化策略生成復(fù)雜；
4. 模型運(yùn)行狀態(tài)監(jiān)控與可視化困難：推理過(guò)程中需監(jiān)控路由結(jié)果、設(shè)備負(fù)載、通信代價(jià)、緩存命中率等。
通過(guò)StackRUNS部署滿(mǎn)血版DeepSeek示例圖
借助StackRUNS，高校成功打通了異構(gòu)設(shè)備之間的算力協(xié)同壁壘，實(shí)現(xiàn)了超大模型的低門(mén)檻部署與高效推理，廣泛應(yīng)用于圖文語(yǔ)義理解、跨模態(tài)知識(shí)挖掘、學(xué)生AI實(shí)驗(yàn)等場(chǎng)景。該方案不僅顯著提升了設(shè)備利用率與推理任務(wù)執(zhí)行效率，也加速了人工智能專(zhuān)業(yè)課程與科研課題向真實(shí)算力環(huán)境的落地驗(yàn)證，真正實(shí)現(xiàn)了“在資源有限條件下，用分布式智能拼出超級(jí)算力”，為高校人工智能教學(xué)與科研提供了強(qiáng)有力的技術(shù)支撐。
往期回顧
