當(dāng)下，大模型與工業(yè)物聯(lián)網(wǎng)的融合正成為推動行業(yè)創(chuàng)新變革的關(guān)鍵力量。江行智能董事長劉江川院士作為專家學(xué)者，受邀出席中國計算機(jī)大會CNCC2024“第二屆大模型時代的智能物聯(lián)網(wǎng)研究前沿論壇”并發(fā)表主旨演講，深入探討大模型在工業(yè)物聯(lián)網(wǎng)場景落地的潛力與挑戰(zhàn)。
劉江川院士表示，在實際應(yīng)用中，人工智能已在多個垂直行業(yè)展現(xiàn)出巨大的潛力價值。以國家電網(wǎng)超高壓輸電線路監(jiān)測為例，物聯(lián)網(wǎng)設(shè)備將從2020年的5.4億攀升至2030年的30億。這些遍布電網(wǎng)的智能設(shè)備，結(jié)合物聯(lián)網(wǎng)、大數(shù)據(jù)等技術(shù)，實現(xiàn)對輸電線路的全方位監(jiān)測，精準(zhǔn)識別并預(yù)警潛在安全隱患，在保障電力傳輸安全穩(wěn)定的同時，大幅降低人工巡檢成本。
然而，大模型與工業(yè)物聯(lián)網(wǎng)的融合之路并非一片坦途。在技術(shù)部署的實踐中，邊緣設(shè)備處理能力、連接穩(wěn)定性、對專家依賴程度等問題成為限制發(fā)展的關(guān)鍵因素。針對這些問題，劉院士分享了一系列創(chuàng)新解決方案。
邊云協(xié)同通過將部分計算任務(wù)分配給邊緣設(shè)備，實現(xiàn)邊緣計算與云計算之間的協(xié)同與互補(bǔ)。以輸電線路監(jiān)測為例，邊緣設(shè)備能夠迅速處理原始數(shù)據(jù)，并將關(guān)鍵信息上傳至云端進(jìn)行深度分析處理。這種方式可發(fā)揮邊緣設(shè)備在處理速度上的優(yōu)勢，減輕云端計算壓力，降低數(shù)據(jù)傳輸延遲，提升系統(tǒng)效能和響應(yīng)速度。
同時，AutoEdge的引入也為人工智能與工業(yè)專家之間的協(xié)作提供了新的視角與思路。這一框架下，人工智能專家專注模型優(yōu)化迭代，領(lǐng)域?qū)＜覄t聚焦業(yè)務(wù)應(yīng)用，將專業(yè)知識與實際需求相結(jié)合。通過合理的任務(wù)分配，有效緩解對專業(yè)人才的過度依賴，提高系統(tǒng)效率及靈活性。
面對大語言模型查詢成本和延遲、真實性和可信度等問題，會上，劉院士也介紹了大模型語義緩存技術(shù)、檢索增強(qiáng)生成（RAG）技術(shù)等研究成果和應(yīng)對策略。
語義緩存技術(shù)
通過利用現(xiàn)實場景中人與大語言模型對話的語義分析來優(yōu)化緩存設(shè)計問題，并基于MOSS和LMSYS數(shù)據(jù)集進(jìn)行大量對話數(shù)據(jù)分析，挖掘查詢模式和語義關(guān)聯(lián)，提出一種新型緩存架構(gòu)SCALM。SCALM引入全面層次語義聚類（CO-HSC）和選擇性層次語義聚類（SE-HSC），細(xì)化查詢模式的處理，可有效解決LLM智能問答中的緩存系統(tǒng)設(shè)計效率低和成本高等核心問題。
檢索增強(qiáng)生成（RAG）技術(shù)
采用邊緣輔助和協(xié)作的RAG，結(jié)合自適應(yīng)知識更新機(jī)制，能夠增強(qiáng)模型對實時數(shù)據(jù)的理解和利用能力，在保證準(zhǔn)確性的同時，降低成本和延遲，為大語言模型在工業(yè)物聯(lián)網(wǎng)中的可靠應(yīng)用提供保障。
在劉江川院士的帶領(lǐng)下，江行智能一直以邊緣智能賦能電力能源行業(yè)為愿景，積極探索大語言模型在電力行業(yè)的落地應(yīng)用，提高實用性及可靠性。接下來，江行智能將繼續(xù)秉持創(chuàng)新驅(qū)動的發(fā)展理念，深度挖掘大模型與工業(yè)物聯(lián)網(wǎng)融合發(fā)展?jié)摿?，為行業(yè)發(fā)展提供切實可行的解決方案和創(chuàng)新思路。
關(guān)于大會
10月24-26日，以“發(fā)展新質(zhì)生產(chǎn)力，計算引領(lǐng)未來”為主題的第二十一屆中國計算機(jī)大會（CNCC2024）在橫店隆重召開。中國計算機(jī)大會是全國計算機(jī)領(lǐng)域規(guī)模最大、規(guī)格最高的學(xué)術(shù)、技術(shù)、產(chǎn)業(yè)交流互動大會。本屆大會由中國計算機(jī)學(xué)會主辦，設(shè)18場特邀報告、3場大會論壇、138場專題論壇等活動，覆蓋AI、網(wǎng)絡(luò)安全、基礎(chǔ)軟件、教育、芯片等34個領(lǐng)域方向。17位國內(nèi)院士，800余位國內(nèi)外頂尖學(xué)者、企業(yè)技術(shù)精英齊聚橫店，共同探討計算機(jī)科學(xué)技術(shù)的最新進(jìn)展、未來趨勢和行業(yè)應(yīng)用。
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！
