作者|宋思杭
編輯|苗正卿
頭圖|視覺中國
5 月前后,DeepSeek 的動作倒是頻繁,卻都不是大家期待的 R2。不過,一系列前菜已經給 R2 做足了鋪墊。
5 月 14 日,一篇 DeepSeek V3 論文,揭示了梁文峰是如何做到 " 極致降本 " 的。這篇論文也讓業界得以一窺這家以技術立身的公司,其 " 內功 " 究竟修煉到了何種火候。
與此前發布的 V3 技術報告不同,這篇論文詳細闡述了 DeepSeek 如何做到在硬件資源的的 " 緊箍咒 " 下,通過精妙的 " 軟硬一體 " 協同設計,將成本效益這筆賬算到極致。(虎嗅注:DeepSeek-V3 僅使用了 2048 塊英偉達 H800 GPU)
在 AI 大模型這條燒錢的賽道上,算力即權力,但也可能是壓垮駱駝的最后一根稻草。DeepSeek V3 論文的核心,恰恰點出了一個行業痛點:如何讓大模型不再是少數巨頭的專屬游戲?
論文中,DeepSeek 毫不吝嗇地分享了其 " 降本增效 " 的幾大秘籍,這些技術細節,字里行間都透露出對現有硬件潛能的極致壓榨,也預示著未來 DeepSeek 系列模型在性能與效率上的野心:
其一,是給模型的 " 記憶系統 " 瘦身。AI 處理長文本、多輪對話時,需要記住海量的上下文信息,這部分 " 記憶 "(即 KV Cache)對顯存的消耗極為驚人。DeepSeek V3 祭出了 " 多頭隱注意力機制 "(MLA),好比給模型的記憶裝上了一個高效壓縮軟件,能將冗長的信息濃縮成精華,大幅降低顯存占用。這意味著,即便是處理越來越長的上下文,模型也能更加從容不迫,這對于解鎖更多復雜應用場景至關重要。
其二,是打造 " 專家各司其職 " 的團隊。面對大模型天文數字般的參數量,傳統的 " 一人生萬物 " 模式難免力不從心。DeepSeek V3 沿用并優化了 " 混合專家模型 "(MoE)架構。想象一下,一個龐大的項目被分解給一群各有所長的專家,遇到具體問題時,系統會自動 " 搖人 ",只激活最相關的幾位專家協同作戰。這樣一來,不僅運算效率提升,模型的 " 有效規模 " 也能在控制之下,避免了不必要的資源浪費。DeepSeek 的優化,讓這些 " 專家 " 間的溝通更順暢,協作成本更低。
其三,是大膽擁抱 " 差不多就行 " 的數字精度。在 AI 訓練中,數字的精確度并非越高越好。FP8,一種低精度數字格式,就像我們日常生活中算賬,有時精確到 " 角 " 甚至 " 元 " 就已足夠,不必非要到 " 分 "。DeepSeek V3 在訓練中引入 FP8 混合精度,在對精度不那么敏感的環節 " 粗略 " 計算,直接效果就是計算量和內存占用大幅下降,訓練速度更快、更省電。關鍵在于,論文證明了這種 " 偷懶 " 并不會明顯犧牲模型的最終性能。
其四,是鋪設更暢通的 " 信息高速公路 "。大規模訓練離不開 GPU 集群的協同作戰,GPU 之間的數據交換效率,直接決定了訓練的整體速度。DeepSeek V3 采用了 " 多平面網絡拓撲結構 ",優化了集群內部的數據傳輸路徑,減少了擁堵和瓶頸,確保信息流轉如絲般順滑。
可以說,DeepSeek V3 的最新論文,更像是一次技術自信的展示。它傳遞出一個清晰的信號:即便沒有最頂級的硬件配置,通過極致的工程優化和算法創新,依然可以打造出具備行業領先潛力的大模型。這無疑為那些在算力焦慮中掙扎的追趕者們,提供了一條更具可行性的攀登路徑。
實際上,4 月 30 日,DeepSeek 還上了另一道 " 前菜 "。
當時,DeepSeek Prover V2 以 671B 的參數重磅亮相,要知道,DeepSeek 上一次發布 V2 模型的時候僅有 7B。對于 DeepSeek Prover V2,行業觀察者們普遍認為,這是 AI 在輔助科學發現,特別是挑戰人類智力極限的數學領域邁出的重要一步。
而 DeepSeek 近期的系列動作,放置于當前 AI 大模型產業的宏觀背景下,更耐人尋味。
一方面,我們看到的是頭部廠商在模型參數、多模態能力、應用生態上的全方位 " 內卷 ",技術迭代的速度令人目不暇接,資本的熱情也持續高漲。但另一方面,算力成本的持續攀升、商業化路徑的尚不清晰、以及 " 智能涌現 " 之后如何實現真正的價值創造,這些都是懸在所有從業者頭頂的達摩克利斯之劍。
在這樣的背景下,DeepSeek V3 論文所強調的 " 成本效益 " 和 " 軟硬件協同 ",以及 Prover V2 所代表的在特定高壁壘領域的深耕,似乎在傳遞一種不同的信號:在追求更大、更強的同時,對效率的極致追求和對特定價值場景的深度挖掘,可能成為 AI 下半場競爭的關鍵變量。
當 " 大力出奇跡 " 的邊際效應開始遞減,當市場開始從對技術本身的狂熱轉向對實際應用價值的考量,那些能夠更聰明地利用現有資源、更精準地切入真實需求、更深入地理解并解決復雜問題的玩家,或許才能在喧囂過后,笑到最后。
DeepSeek 的這些 " 前菜 ",無疑吊足了市場的胃口。人們期待的,不僅僅是一個性能更強的 R2 模型,更是一個能夠為行業帶來新思路、新變量的 DeepSeek。在 AI 的牌桌上,這家以技術為底色的公司,顯然還想打出更多意想不到的牌。