編者按本文由 AI 每日精選自動整理編譯內容基于 2026 年 8 月的公開英文技術資料翻譯與二次加工供國內開發者快速了解前沿進展。文末附有原始信息來源歡迎在評論區交流。MiniMax M3 深度解讀用「稀疏注意力」把百萬上下文的算力成本打到 1/20目錄MiniMax M3 深度解讀用「稀疏注意力」把百萬上下文的算力成本打到 1/20一、為什么這條新聞值得關注二、核心規格速覽三、稀疏注意力MSA到底解決了什么問題3.1 標準注意力的老毛病O(n2)3.2 MSA 的關鍵思路把「看哪些 KV」和「怎么算注意力」拆開3.3 工程上的收益四、和其他主流模型的定位差異五、對國內開發者的幾點實操啟示六、小結參考資料 / 信息來源一、為什么這條新聞值得關注2026 年上半年是大模型極其熱鬧的半年Anthropic 發布 Claude Sonnet 5、Google 在 I/O 上推出 Gemini 3.5、xAI 的 Grok 4.3 登頂 LMArena 排行榜、OpenAI 也罕見地開源了 GPT-oss 系列權重。但在這一堆「參數更大、榜單更高」的常規敘事里真正讓工程師眼前一亮的是來自上海的MiniMax M3。它的看點不在于「又刷了一個榜」而在于架構層面的改動M3 用自研的MiniMax Sparse AttentionMSA稀疏注意力替換掉了標準 Transformer 那套 O(n2) 復雜度的注意力把處理百萬 token 長上下文的每 token 計算成本壓到了傳統方案的約1/20同時保持了前沿水平的編程與推理能力。對做長文檔、代碼庫級理解、以及 Agent 工作流的同學來說這是一個「成本結構」層面的變化值得認真拆解。二、核心規格速覽維度MiniMax M3模型類型混合專家MoE 稀疏注意力總參數量約 4280 億428B每 token 激活參數約 230 億23B上下文窗口最高 100 萬1Mtoken注意力機制MiniMax Sparse AttentionMSA塊稀疏 Lightning Indexer多模態原生多模態M3-VL 版本搭配 CLIP 風格視覺塔定位前沿編程能力、超長上下文、Agent 工作流注以上數字來自 MiniMax 官方博客及 Hugging Face 模型卡等公開資料翻譯時保留了原始口徑。一句話概括這套配置的精髓總參數很大保證能力上限但每個 token 實際只激活約 23B保證推理便宜再疊加稀疏注意力保證長上下文不爆炸。三招疊加才有了「前沿性能 極低成本」的組合拳。三、稀疏注意力MSA到底解決了什么問題3.1 標準注意力的老毛病O(n2)標準 Transformer 的自注意力需要讓序列里每個 token 都和其他所有 token 兩兩算一遍相關性。序列長度是 n計算量和顯存占用就隨 n2 增長。上下文從 4K 拉到 1M是 250 倍的長度但注意力的開銷大致是6 萬倍級別的膨脹。這正是「長上下文很貴、很慢」的根本原因。MiniMax 更早的 MiniMax-Text-014560 億參數、每 token 激活 45.9B就已經在用混合的線性注意力Lightning Attention思路來對抗這個問題M3 則把它進一步演進成了MSA。3.2 MSA 的關鍵思路把「看哪些 KV」和「怎么算注意力」拆開按照社區對 M3 架構圖的解讀MSA 最核心的一步是把注意力拆成兩個動作先篩選Lightning Indexer / 預過濾階段用一個輕量的「索引器」分支快速判斷——對當前 token 來說歷史里的哪些 Key/Value 塊是真正值得看的。再計算塊稀疏注意力只對被選中的那一小部分 KV 塊做完整的注意力計算其余直接跳過。換句話說模型不再「無腦地」對全序列做稠密注意力而是先用便宜的方式定位重點再把寶貴的算力花在刀刃上。3.3 工程上的收益根據 NVIDIA 的部署博客MSA 用一個預過濾階段替換了傳統的二次方注意力帶來的實測收益包括連續 KV cache 訪問速度提升 4 倍以上每 token 計算成本約為原來的 1/20能夠高效支撐100 萬 token級別的上下文窗口。此外M3 的層結構是混合的前幾層用「稠密注意力 稠密 MLP」保證基礎表達能力后續大部分層則采用「稀疏注意力 MoE」來省算力。MoE 部分用的是 Sigmoid 路由帶有路由偏置校正并配有一個共享專家shared expert。四、和其他主流模型的定位差異2026 年這一批新模型大致可以分成兩條路線路線一把中端模型做到接近旗艦。典型是 Anthropic 的Claude Sonnet 52026 年 6 月 30 日發布。它把原本只有 Opus 級大模型才有的自主 Agent、工具調用、瀏覽器操作能力下放到更便宜的 Sonnet 檔標配 100 萬 token 上下文SWE-bench Verified 達到 72.7%在 Terminal-Bench 2.1 上甚至以 80.4% 反超旗艦 Opus 4.8 的 74.6%。它解決的是「性價比曲線」問題。路線二從架構層面改寫成本結構。這正是MiniMax M3的路子。它不滿足于「同樣的 Transformer、把參數調便宜」而是直接換掉注意力機制本身。對于長上下文、代碼庫理解、Agent 長鏈路這類場景這種改動的邊際收益會隨著上下文變長而不斷放大。兩條路線并不沖突但對做工程落地的人來說信號很清晰當上下文越來越長、Agent 鏈路越來越深時架構級的效率優化而非單純堆參數會越來越重要。五、對國內開發者的幾點實操啟示長上下文不再是「土豪專屬」。如果你之前因為 O(n2) 的成本而不敢把整個代碼倉庫、整本手冊塞進上下文稀疏注意力類模型給了你重新評估的理由。可以針對自己的 RAG / 長文檔場景做一次成本對比測試。關注「每 token 激活參數」而不只是總參數。MoE 模型的總參數決定能力上限但推理成本主要由激活參數決定。M3 的 428B 總參 / 23B 激活是理解其成本優勢的關鍵。部署生態正在跟上。vLLM、TensorRT-LLM、NVIDIA NeMo 等主流推理框架均已支持 MiniMax-M3這意味著自建推理服務的門檻在下降可以納入選型評估。多模態是默認項不是附加項。M3-VL 原生支持視覺輸入對需要「文檔 截圖 代碼」混合理解的 Agent 場景很友好。六、小結MiniMax M3 這條新聞的真正價值不在于又一個「大參數、高榜單」的模型誕生而在于它把**「長上下文很貴」這個行業默認假設**給動搖了。用「先篩選、再計算」的稀疏注意力把百萬上下文的每 token 成本壓到 1/20這是一次從架構底層出發的效率革命。在「堆參數」逐漸邊際遞減的當下這類架構級創新可能才是接下來最值得國內工程師持續跟蹤的方向。參考資料 / 信息來源MiniMax 官方博客MiniMax M3: Frontier Coding, 1M Context, Native MultimodalityHugging Face 模型卡MiniMaxAI/MiniMax-M3 READMENVIDIA 開發者博客Deploy Long-Context Reasoning and Agentic Workflows with MiniMax M3社區架構解讀Decoding M3’s Attention from a Single DiagramMiniMax-01 開源倉庫MiniMax-AI/MiniMax-01 (GitHub)行業動態匯總LLM News Today (August 2026)Claude Sonnet 5 參考Claude Sonnet 5 Benchmarks Explained (Vellum)本文為編譯整理技術細節以官方文檔為準。如有翻譯或理解偏差歡迎在評論區指正交流。轉載請注明來源。#大模型#MiniMax#稀疏注意力#長上下文#MoE#AI工程化 【AI】MiniMax M3 深度解讀：用「稀疏注意力」把百萬上下文的算力成本打到 1/20
編者按本文由 AI 每日精選自動整理編譯內容基于 2026 年 8 月的公開英文技術資料翻譯與二次加工供國內開發者快速了解前沿進展。文末附有原始信息來源歡迎在評論區交流。MiniMax M3 深度解讀用「稀疏注意力」把百萬上下文的算力成本打到 1/20目錄MiniMax M3 深度解讀用「稀疏注意力」把百萬上下文的算力成本打到 1/20一、為什么這條新聞值得關注二、核心規格速覽三、稀疏注意力MSA到底解決了什么問題3.1 標準注意力的老毛病O(n2)3.2 MSA 的關鍵思路把「看哪些 KV」和「怎么算注意力」拆開3.3 工程上的收益四、和其他主流模型的定位差異五、對國內開發者的幾點實操啟示六、小結參考資料 / 信息來源一、為什么這條新聞值得關注2026 年上半年是大模型極其熱鬧的半年Anthropic 發布 Claude Sonnet 5、Google 在 I/O 上推出 Gemini 3.5、xAI 的 Grok 4.3 登頂 LMArena 排行榜、OpenAI 也罕見地開源了 GPT-oss 系列權重。但在這一堆「參數更大、榜單更高」的常規敘事里真正讓工程師眼前一亮的是來自上海的MiniMax M3。它的看點不在于「又刷了一個榜」而在于架構層面的改動M3 用自研的MiniMax Sparse AttentionMSA稀疏注意力替換掉了標準 Transformer 那套 O(n2) 復雜度的注意力把處理百萬 token 長上下文的每 token 計算成本壓到了傳統方案的約1/20同時保持了前沿水平的編程與推理能力。對做長文檔、代碼庫級理解、以及 Agent 工作流的同學來說這是一個「成本結構」層面的變化值得認真拆解。二、核心規格速覽維度MiniMax M3模型類型混合專家MoE 稀疏注意力總參數量約 4280 億428B每 token 激活參數約 230 億23B上下文窗口最高 100 萬1Mtoken注意力機制MiniMax Sparse AttentionMSA塊稀疏 Lightning Indexer多模態原生多模態M3-VL 版本搭配 CLIP 風格視覺塔定位前沿編程能力、超長上下文、Agent 工作流注以上數字來自 MiniMax 官方博客及 Hugging Face 模型卡等公開資料翻譯時保留了原始口徑。一句話概括這套配置的精髓總參數很大保證能力上限但每個 token 實際只激活約 23B保證推理便宜再疊加稀疏注意力保證長上下文不爆炸。三招疊加才有了「前沿性能 極低成本」的組合拳。三、稀疏注意力MSA到底解決了什么問題3.1 標準注意力的老毛病O(n2)標準 Transformer 的自注意力需要讓序列里每個 token 都和其他所有 token 兩兩算一遍相關性。序列長度是 n計算量和顯存占用就隨 n2 增長。上下文從 4K 拉到 1M是 250 倍的長度但注意力的開銷大致是6 萬倍級別的膨脹。這正是「長上下文很貴、很慢」的根本原因。MiniMax 更早的 MiniMax-Text-014560 億參數、每 token 激活 45.9B就已經在用混合的線性注意力Lightning Attention思路來對抗這個問題M3 則把它進一步演進成了MSA。3.2 MSA 的關鍵思路把「看哪些 KV」和「怎么算注意力」拆開按照社區對 M3 架構圖的解讀MSA 最核心的一步是把注意力拆成兩個動作先篩選Lightning Indexer / 預過濾階段用一個輕量的「索引器」分支快速判斷——對當前 token 來說歷史里的哪些 Key/Value 塊是真正值得看的。再計算塊稀疏注意力只對被選中的那一小部分 KV 塊做完整的注意力計算其余直接跳過。換句話說模型不再「無腦地」對全序列做稠密注意力而是先用便宜的方式定位重點再把寶貴的算力花在刀刃上。3.3 工程上的收益根據 NVIDIA 的部署博客MSA 用一個預過濾階段替換了傳統的二次方注意力帶來的實測收益包括連續 KV cache 訪問速度提升 4 倍以上每 token 計算成本約為原來的 1/20能夠高效支撐100 萬 token級別的上下文窗口。此外M3 的層結構是混合的前幾層用「稠密注意力 稠密 MLP」保證基礎表達能力后續大部分層則采用「稀疏注意力 MoE」來省算力。MoE 部分用的是 Sigmoid 路由帶有路由偏置校正并配有一個共享專家shared expert。四、和其他主流模型的定位差異2026 年這一批新模型大致可以分成兩條路線路線一把中端模型做到接近旗艦。典型是 Anthropic 的Claude Sonnet 52026 年 6 月 30 日發布。它把原本只有 Opus 級大模型才有的自主 Agent、工具調用、瀏覽器操作能力下放到更便宜的 Sonnet 檔標配 100 萬 token 上下文SWE-bench Verified 達到 72.7%在 Terminal-Bench 2.1 上甚至以 80.4% 反超旗艦 Opus 4.8 的 74.6%。它解決的是「性價比曲線」問題。路線二從架構層面改寫成本結構。這正是MiniMax M3的路子。它不滿足于「同樣的 Transformer、把參數調便宜」而是直接換掉注意力機制本身。對于長上下文、代碼庫理解、Agent 長鏈路這類場景這種改動的邊際收益會隨著上下文變長而不斷放大。兩條路線并不沖突但對做工程落地的人來說信號很清晰當上下文越來越長、Agent 鏈路越來越深時架構級的效率優化而非單純堆參數會越來越重要。五、對國內開發者的幾點實操啟示長上下文不再是「土豪專屬」。如果你之前因為 O(n2) 的成本而不敢把整個代碼倉庫、整本手冊塞進上下文稀疏注意力類模型給了你重新評估的理由。可以針對自己的 RAG / 長文檔場景做一次成本對比測試。關注「每 token 激活參數」而不只是總參數。MoE 模型的總參數決定能力上限但推理成本主要由激活參數決定。M3 的 428B 總參 / 23B 激活是理解其成本優勢的關鍵。部署生態正在跟上。vLLM、TensorRT-LLM、NVIDIA NeMo 等主流推理框架均已支持 MiniMax-M3這意味著自建推理服務的門檻在下降可以納入選型評估。多模態是默認項不是附加項。M3-VL 原生支持視覺輸入對需要「文檔 截圖 代碼」混合理解的 Agent 場景很友好。六、小結MiniMax M3 這條新聞的真正價值不在于又一個「大參數、高榜單」的模型誕生而在于它把**「長上下文很貴」這個行業默認假設**給動搖了。用「先篩選、再計算」的稀疏注意力把百萬上下文的每 token 成本壓到 1/20這是一次從架構底層出發的效率革命。在「堆參數」逐漸邊際遞減的當下這類架構級創新可能才是接下來最值得國內工程師持續跟蹤的方向。參考資料 / 信息來源MiniMax 官方博客MiniMax M3: Frontier Coding, 1M Context, Native MultimodalityHugging Face 模型卡MiniMaxAI/MiniMax-M3 READMENVIDIA 開發者博客Deploy Long-Context Reasoning and Agentic Workflows with MiniMax M3社區架構解讀Decoding M3’s Attention from a Single DiagramMiniMax-01 開源倉庫MiniMax-AI/MiniMax-01 (GitHub)行業動態匯總LLM News Today (August 2026)Claude Sonnet 5 參考Claude Sonnet 5 Benchmarks Explained (Vellum)本文為編譯整理技術細節以官方文檔為準。如有翻譯或理解偏差歡迎在評論區指正交流。轉載請注明來源。#大模型#MiniMax#稀疏注意力#長上下文#MoE#AI工程化