5.17 世界電信日之際，高通公司分享終端側 AI 如何賦能千行百業發展新機遇。
在國際電信聯盟成立 160 周年之際，中國通信學會主辦的 "2025 世界電信與信息社會日系列活動 " 于 5 月 16 日 -17 日期間在江西南昌召開。今日，以 "AI 大模型賦能千行百業 " 為主題的系列活動之一，"AI 與行業大模型應用專題研討 " 召開。此次專題研討聚焦 " 運營商 AI 與行業大模型布局 " 和 " 行業大模型實踐與應用 " 兩大板塊，匯聚政府機構、科研院所及行業領軍企業，共同解讀了全球 AI 趨勢與治理方向，探討了 AI 大模型的技術前沿與行業實踐。
以下是演講內容全文：
各位嘉賓大家下午好！我是高通公司姜波。非常榮幸能夠在國際電信聯盟成立 160 周年之際，與大家相聚在南昌，共同探討終端側 AI 推理創新如何推動智能產業迎來全新發展機遇，并加速各行業對 AI 的規模化集成及用戶體驗的重塑。
今年年初，DeepSeek 的推出引發了對 AI 模型訓練方式的顛覆變革和重新評估，驗證了 AI 即將從大規模訓練向大規模推理轉變的趨勢，這將形成全新的終端側推理計算的創新和升級周期。雖然模型訓練仍將在云端進行，但模型推理將向終端側轉移。
AI 模型訓練成本的降低與開源合作相結合，使得更多開發者和組織能夠開發高質量模型，并且小模型正逐漸接近前沿大模型的質量。盡管有人認為模型規模縮小會導致質量下降，但實際上，2024 年來推出的眾多先進的 AI 小模型已經具有卓越性能，能夠達到甚至超越一年前推出的僅能在云端運行的更大模型。許多主流模型系列，如 DeepSeek R1、Meta Llama、IBM Granite 和 Mistral Ministral，均已推出小模型版本，并在特定任務的性能和基準測試中表現出色。
蒸餾技術是開發高效小模型的關鍵，它能夠在保持準確性的同時實現知識的轉移。這一技術的應用推動了小型基礎模型的激增，其中包括許多針對特定任務優化的模型。以 DeepSeek 為例，在其發布的一周內，就出現了多種新的蒸餾模型，如通義千問和 Llama 蒸餾模型。經過蒸餾的 Llama 模型性能顯著提升，而 DeepSeek 的 Qwen-7B 蒸餾模型的性能已與去年最先進的 GPT-4 云端模型相當。
根據 Epoch AI 的數據，2024 年發布的大規模 AI 模型中，超過 75% 的模型參數在千億規模以下。量化、壓縮和剪枝等技術有助于縮小模型規模，量化能降低功耗并在不明顯影響準確性的情況下加速運算，剪枝則消除不必要的參數。將大型基礎模型縮減為更小、更高效的版本，不僅能實現更快的推理速度、更少的內存占用和更低的功耗，同時可以保持較高的性能水平，從而使此類模型適合在智能手機、PC 和汽車等終端上部署。
得益于高質量小模型數量的持續增加，如今，邊緣及終端側 AI 開發者在開發應用和 AI 智能體方面有著非常多樣化的模型選擇。從全球范圍來看，我們既有 Llama、Mistral、Phi 這樣的開源模型，還有百川、Gemini Nano、通義千問等閉源模型，這當中有一些模型也正在不斷擁抱開源社區。此外，不同地區也在積極發展各自的 AI 模型，推出了各具特色的新型模型。與此同時，傳統的計算機視覺和物體檢測等領域所使用的模型，在特定應用場景下依然發揮著不可替代的作用。
隨著當前模型的發展，我們觀察到不同設備，包括手機、汽車、PC、XR 和工業物聯網設備等，在支持的模型參數規模方面展現出不同的能力。結合 AI 模型自身質量的不斷提升，終端側 AI 將具備更豐富的功能，如支持更長的上下文、提供個性化體驗、實現多模態交互和處理并發模型等，這些都將極大地推動終端側 AI 應用的創新與繁榮。
根據預測，2025 年中國新一代 AI 手機市場出貨量將達到 1.18 億臺，占整個市場的 40.7%。 [ 1 ] 同時， 2025 年中國 AI PC 市場出貨占比預計將從 2024 年的 13% 大幅上升至 37%。 [ 2 ]
作為終端側 AI 的領導者，高通在人工智能領域有著超過 15 年的投入，擁有行業領先硬件和軟件解決方案覆蓋廣泛終端，并且擁有跨 NPU、CPU 和 GPU 的卓越異構計算能力、領先的軟件優化、以及能效。此外，我們還在全球范圍內擁有領先的終端側布局和高達數十億的用戶設備數量，覆蓋智能手機、PC、汽車、XR、邊緣網絡設備等等。同時，我們也與眾多生態合作伙伴共同推動 AI 技術的創新和應用。
2024 年，高通與騰訊混元合作，基于驍龍 8 至尊版移動平臺，共同推動騰訊混元大模型 7B 和 3B 版本的終端側部署。這有助于騰訊混元大模型為廣泛的業務場景提供技術支持，通過利用終端側 AI 加速產品創新，并有效降低運營成本。
在硬件方面，高通長期致力于開發定制 CPU、NPU、GPU 和低功耗子系統，同時擁有封裝技術和熱設計的技術專長，這構成了我們行業領先的系統級芯片（SoC）產品的基礎。通過異構計算系統，高通幫助開發者通過上層軟件調用硬件核心組件進行 AI 加速，包括 CPU、GPU、NPU 和高通傳感器中樞。其中，Oryon CPU 面向即時性要求高的任務，Adreno GPU 擅長圖像和視頻處理，Hexagon NPU 適用于持續和泛在型任務，如計算攝影和大模型應用。而高通傳感器中樞則針對那些對功耗敏感且需要始終保持在線的應用場景。
在軟件工具支持方面，我們推出了高通 AI 軟件棧，可以讓模型在終端上完成端到端的部署和優化工作。高通 AI 軟件棧支持所有開發者常用的 AI 框架、runtime、開發工具和操作系統。例如，我們支持 ONNX、TensorFlow、PyTorch 等主流 AI 框架，以及 ONNX Runtime、Direct ML 和 TFLite 等常用 runtime，我們也給開發者提供了高通自己開發的 runtime ——高通 AI 引擎 Direct，以供開發者調用前面介紹的各種硬件模塊，對 AI 用例進行加速。此外，為了更好地支持開發者，我們去年推出了高通 AI Hub，它能夠幫助開發者選擇相應平臺和開發模型、編寫應用，最后在不同類型的移動終端上進行部署。
除了高通 AI 軟件棧和 AI Hub，我們還推出了高通智能體 AI 規劃器。高通智能體 AI 規劃器作為高通 AI 軟件棧的重要組成部分，位于應用和 AI 框架及 runtime 之間，為終端側所有的 AI 功能提供所需的協調規劃，是賦能下一代智能體 AI 體驗的關鍵所在。
簡而言之，這是一個用于意圖理解、意圖分發和域服務調動的端到端解決方案，涵蓋了從最初的自然語言理解階段，包括自動語音識別（ASR）和文本到語音轉換（TTS）模塊，到通過端側智能體進行的意圖理解和任務編排過程。在任務編排階段，規劃器能夠調用端側的各種工具，并利用端側的個性化知識圖譜和本地數據，從而讓任務規劃更為精確和高效。此外，在完成任務規劃之后，規劃器還支持多種后續的域服務，如音樂播放、天氣查詢、導航和訂餐等功能。
隨著 AI 在終端側無處不在地運行，以應用為中心的體驗正在改變。通過自然語言、圖像、視頻與手勢的交互方式，AI 智能體能夠簡化技術使用方法，預測用戶需求，并在終端和應用內主動執行復雜的工作流程、進行決策和管理任務。也就是說，AI 正在成為新的 UI（用戶界面），用戶將不再需要打開特定的應用程序， AI 智能體將作為新的交互方式服務于用戶的所有計算終端。這不僅將改變單個應用，還將影響零售、餐飲等行業的客戶體驗邏輯，成為變革商業版圖的新生力量。
今年，高通公司迎來成立 40 周年、深耕中國市場 30 年的重要里程碑。過去 30 年來，高通一直與中國的移動生態系統企業保持緊密合作。目前，我們正在攜手更廣泛的合作伙伴，充分利用端側 AI 在性能、效率、響應速度和隱私保護方面的優勢，共同把握產業發展機遇。
在智能手機方面，包括小米、榮耀、OPPO、vivo 在內的廠商均已發布了搭載驍龍 8 至尊版移動平臺的旗艦手機產品，支持豐富的生成式 AI 用例。在 PC 方面，預計到 2026 年將有超過 100 款搭載驍龍 X 系列計算平臺的 PC 發布或正在開發中，覆蓋華碩、宏碁、戴爾、HP、聯想和榮耀等領先廠商。同時，我們持續與騰訊會議、有道、愛奇藝、字節跳動等 ISV 合作伙伴協作，為開發者提供工具和支持，把握 AI PC 的行業發展新機遇。在汽車領域，高通過去在多個場合展示了基于驍龍數字底盤解決方案運行的汽車端大模型和生成式 AI 用例。如今，理想、小鵬等中國車廠已基于高通第四代驍龍座艙平臺發布了其車端的大模型功能。
站在新的起點上，高通將持續加強在可擴展硬件和軟件方面的投入，并通過與模型廠商的緊密合作，賦能開發者在終端側加速采用 AI 智能體和應用，讓 AI 應用更加觸手可及，推動 AI 技術在千行百業的應用。
IDC：2025 年中國智能手機市場十大洞察 ↑
Canalys：預計大中華區 AI PC 滲透率 2024 年達 13%，2025 年達 37% ↑
