一圖讀懂潤和軟件openEuler業(yè)務(wù)
熱點(diǎn)新聞
視頻中心
潤和軟件構(gòu)建基于“昇騰+openEuler+OpenHarmony+DeepSeek”的全場景云-邊-端智能生態(tài)體系
編輯：發(fā)布時(shí)間：2025-02-13瀏覽次數(shù)：2480
目前，數(shù)字化與智能化的深度融合正重塑千行萬業(yè)的競爭格局。江蘇潤和軟件股份有限公司（以下簡稱“潤和軟件”）以昇騰AI算力為引擎、openEuler開源系統(tǒng)為基石、OpenHarmony全場景連接為脈絡(luò)，結(jié)合DeepSeek行業(yè)大模型，正式推出覆蓋云-邊-端的智能生態(tài)體系，實(shí)現(xiàn)了“云端智能決策、邊緣實(shí)時(shí)響應(yīng)、終端無縫交互”的全鏈協(xié)同，通過開源技術(shù)與自主創(chuàng)新能力的深度耦合，開啟“軟硬一體、生態(tài)無界”的新范式。
潤和軟件全場景云-邊-端智能生態(tài)體系
AI時(shí)代中，企業(yè)不僅需要前瞻性的技術(shù)布局，更需破解“算力成本高、端側(cè)部署困難、場景碎片化”的核心痛點(diǎn)，潤和軟件以全棧自主可控為根基，以軟硬協(xié)同、場景驅(qū)動、生態(tài)開放為支點(diǎn)，實(shí)現(xiàn)5大技術(shù)突破，為企業(yè)構(gòu)筑從模型開發(fā)到落地部署的“零摩擦”智能升級路徑。
云邊協(xié)同智能
通過“昇騰910芯片+openEuler開源操作系統(tǒng)+DeepSeek模型”，潤和軟件打造了云端訓(xùn)練平臺，實(shí)現(xiàn)大規(guī)模數(shù)據(jù)并行處理與高精度模型優(yōu)化；依托“昇騰310芯片+OpenHarmony開源操作系統(tǒng)+DeepSeek模型”構(gòu)建了邊端推理系統(tǒng)，實(shí)現(xiàn)實(shí)時(shí)低延時(shí)智能推理。二者協(xié)同融合，形成了從云端訓(xùn)練到邊端推理的全鏈路閉環(huán)系統(tǒng)，為行業(yè)提供了全場景、高效、穩(wěn)定的智能計(jì)算解決方案。
-
云端：潤和軟件基于openEuler開源操作系統(tǒng)發(fā)行的HopeOS AI版本，實(shí)現(xiàn)了昇騰910芯片與操作系統(tǒng)內(nèi)核的無損兼容，基于HopeOS AI版的NUMA親和性調(diào)度以及容器化編排，可以支持多卡集群分布式訓(xùn)練。
-
邊端：在昇騰310芯片上，潤和軟件基于OpenHarmony開源操作系統(tǒng)的分布式軟總線、統(tǒng)一數(shù)據(jù)管理能力與DeepSeek輕量化模型相結(jié)合，支持邊緣設(shè)備間低時(shí)延通信與協(xié)同推理。
云邊協(xié)同訓(xùn)練推理示意圖
統(tǒng)一推理引擎hoperun_llm，南北向兼容
-
南向：通過硬件抽象層（HAL）適配多類芯片（昇騰910、昇騰310、RKNPU等），屏蔽底層差異，實(shí)現(xiàn)“一次開發(fā)，多端部署”。
-
北向：支持PyTorch、TensorFlow、MindSpore等主流框架模型格式轉(zhuǎn)換，涵蓋各類開源模型（DeepSeek、Qwen、ChatGLM等），提供統(tǒng)一API接口，同時(shí)保證在各操作系統(tǒng)上的穩(wěn)定運(yùn)行，降低開發(fā)者多模型適配成本，定制輕量化AI運(yùn)行時(shí)。
hoperun_llm 引擎在OpenHarmony上推理DeepSeek 1.5B大模型
量化過程中的質(zhì)量評估，保證量化精度
量化技術(shù)不僅大幅降低了模型的存儲和計(jì)算開銷，使其更適合部署在資源受限的邊端設(shè)備上，同時(shí)通過嚴(yán)格的量化精度保證，使模型在高效運(yùn)行時(shí)保持準(zhǔn)確的推理能力和穩(wěn)定的應(yīng)用效果。
-
分層動態(tài)量化：針對大模型不同層級的敏感性差異（如Attention層對量化誤差容忍度低），采用混合精度策略——關(guān)鍵層保留FP16精度，非關(guān)鍵層壓縮至INT8/INT4甚至更低，兼顧精度與壓縮率。
-
量化質(zhì)量評估：引入感知量化損失評估，在模型壓縮過程中實(shí)時(shí)監(jiān)測輸出偏差，評估精度損失對模型性能的影響。結(jié)合行業(yè)場景的閾值要求，動態(tài)調(diào)整量化參數(shù)，優(yōu)化模型在邊端設(shè)備上的精度與效率平衡。
原生DeepSeek和1.58bit量化版本了在部分?jǐn)?shù)據(jù)集上的評測對比
能效感知的軟硬協(xié)同全域調(diào)優(yōu)技術(shù)
潤和軟件充分發(fā)揮在AI方向上的能力優(yōu)勢，通過硬件加速與軟件優(yōu)化能力，全方位性能提升芯片及操作系統(tǒng)性能。
-
硬件加速優(yōu)化：針對昇騰、瑞芯微等邊端芯片特性，定制算子加速庫加速算法執(zhí)行，根據(jù)訓(xùn)練推理負(fù)載實(shí)時(shí)調(diào)整芯片的電壓與頻率。
-
軟件加速優(yōu)化：進(jìn)一步加強(qiáng)AI場景下的openEuler、OpenHarmony開源操作系統(tǒng)的深度調(diào)優(yōu)。
-
軟硬協(xié)同：基于潤和軟件在openEuler和OpenHarmony開源操作系統(tǒng)上定制的性能分析工具，以及強(qiáng)化學(xué)習(xí)算法，自動搜索芯片頻率、內(nèi)存帶寬、任務(wù)并行度的最優(yōu)組合。
DeepSeek1.5B大模型在RK3588上推理
行業(yè)模型微調(diào)使能
潤和軟件基于DeepSeek大模型，深度融合行業(yè)know-how與全棧AI技術(shù)實(shí)現(xiàn)從通用智能到行業(yè)專屬智能的精準(zhǔn)躍遷。
-
行業(yè)數(shù)據(jù)定制化：針對不同行業(yè)的特定需求，潤和軟件對各行業(yè)的特有數(shù)據(jù)進(jìn)行深度分析和定制化處理，確保模型深入學(xué)習(xí)行業(yè)特征，提升模型在行業(yè)應(yīng)用中的準(zhǔn)確性和魯棒性。
-
領(lǐng)域知識嵌入：結(jié)合行業(yè)專家的知識與經(jīng)驗(yàn)，潤和軟件通過“知識蒸餾”技術(shù)，將領(lǐng)域知識嵌入模型中，幫助模型快速學(xué)習(xí)行業(yè)規(guī)則，減少訓(xùn)練數(shù)據(jù)需求，提高模型對行業(yè)需求的適應(yīng)性。
-
任務(wù)特化微調(diào)：針對垂直行業(yè)的具體任務(wù)，潤和軟件在DeepSeek的基礎(chǔ)上進(jìn)行微調(diào)，優(yōu)化模型的結(jié)構(gòu)與算法，確保模型在行業(yè)應(yīng)用中具有更高的準(zhǔn)確度和推理速度。
經(jīng)過數(shù)據(jù)監(jiān)督微調(diào)后，模型在邊端設(shè)備部署后的能力增強(qiáng)
未來，潤和軟件將以客戶需求為指引，持續(xù)優(yōu)化AI軟硬件協(xié)同能力，深化與DeepSeek系列模型的融合，面向千行萬業(yè)提供定制化智能決策與全場景數(shù)據(jù)洞察服務(wù)，提升企業(yè)競爭力，共同邁向數(shù)智未來。