個人主頁Cx330??個人專欄《C語言》《LeetCode刷題集》《數(shù)據(jù)結構-初階》《C知識分享》《優(yōu)選算法指南-必刷經(jīng)典100題》《Linux操作系統(tǒng)》:從入門到入魔《Git深度解析》:版本管理實戰(zhàn)全解 《Qt 極境架構》MySQL 核心技術與實戰(zhàn)心向往之行必能Cx330的簡介目錄前言一、 從傳統(tǒng)數(shù)學函數(shù)到“超級加工廠”徹底搞懂什么是模型1.1 模型的本質從數(shù)據(jù)中學習規(guī)律的數(shù)學函數(shù)1.2 傳統(tǒng)小模型的三個關鍵特點二、 深度拆解大語言模型LLM從“自動補全”到“認知涌現(xiàn)”2.1 什么是大語言模型1神經(jīng)網(wǎng)絡模仿人腦的復雜決策流水線2自監(jiān)督學習“完形填空” 超級大師3半監(jiān)督學習“師父領進門修行在個人”4語言模型“超級自動補全系統(tǒng)”2.2 LLM 的四大核心能力維度2.3 主流 LLM 與演進脈絡主流大模型代表技術演進時間線2017 - 2026三、LLM 的四大核心能力重新定義人機交互3.1 語言大師自然語言理解與創(chuàng)造的革命3.2 知識巨人可對話的全互聯(lián)網(wǎng)知識庫3.3 邏輯與代碼巫師從思維到實現(xiàn)的跨越3.4 多模態(tài)先知開啟 “全感知” AI 時代四、 提示詞工程Prompt Engineering釋放 LLM 潛能的魔法4.1 CO-STAR 結構化框架4.2 少樣本提示用示例教會 LLM 你的需求4.3 思維鏈提示CoT讓模型學會 “思考”4.4 零樣本思維鏈一句魔法短語提升推理準確率4.5 自我批判與迭代讓模型自己優(yōu)化輸出五、 LLM 的原生接入方式與生產(chǎn)落地方案5.1 API 遠程調(diào)用最主流便捷的接入方式5.2 SDK 接入API 調(diào)用的封裝與簡化5.3 開源模型本地部署私有化 LLM 能力的最佳方案5.4 原生接入的瓶頸與 LangChain 的誕生六、 語義世界的橋梁嵌入模型Embedding Model與向量化6.1 嵌入模型的本質把人類語言翻譯成計算機的數(shù)學語言6.3 嵌入模型的四大核心應用場景1語義搜索2檢索增強生成RAG3推薦系統(tǒng)4異常檢測6.4 嵌入模型接入實戰(zhàn)七、LangChain連接 LLM 與業(yè)務應用的核心橋梁結語前言近兩年來以 ChatGPT、DeepSeek 為代表的大語言模型LLM掀起了新一輪的技術革命。作為一名傳統(tǒng) C/后端開發(fā)者面對 AI 浪潮的席卷我們不僅要學會“如何使用 AI 工具”更需要從底層原理上理解大模型是如何學習與推理的以及如何在工程中高效接入與掌控大模型。本文將立足于工程實踐與底層邏輯結合圖解與代碼示例帶大家從零建立完整的大模型知識體系一、 從傳統(tǒng)數(shù)學函數(shù)到“超級加工廠”徹底搞懂什么是模型在深入 LLM 之前我們首先需要回歸 AI 的本質什么是模型Model1.1 模型的本質從數(shù)據(jù)中學習規(guī)律的數(shù)學函數(shù)在計算機科學中模型本質上就是一個通過數(shù)據(jù)訓練得出的復雜數(shù)學函數(shù)f(x)或者說是一套經(jīng)過特殊訓練后掌握的“程序規(guī)則”。模型的學習與推理過程可概括為[原始數(shù)據(jù)] ── [預處理] ── 數(shù)據(jù)輸入 x ── 迭代優(yōu)化 [ f(x) ] ── 預測結果 / 生成內(nèi)容 y我們可以將模型想象成一個“超級加工廠”訓練階段訓練師給工廠展示海量的輸入與輸出范例數(shù)據(jù)工廠通過迭代優(yōu)化調(diào)整內(nèi)部參數(shù)摸索出輸入與輸出之間的內(nèi)在數(shù)學規(guī)律。預測階段輸入未見過的數(shù)據(jù) x工廠根據(jù)學到的規(guī)律計算出相應的輸出 y。最簡單的推導比喻范例 1輸入 [1, 2, 3] 輸出 2范例 2輸入 [5, 10, 15] 輸出 10總結規(guī)律輸出始終為輸入序列的中間數(shù)值。推理應用當再次輸入 [8, 9, 10] 時模型就能準確預測出輸出為 9。1.2 傳統(tǒng)小模型的三個關鍵特點在 LLM 出現(xiàn)之前傳統(tǒng)機器學習/深度學習模型通常具備以下特點單一特定任務Task-Specific一個模型往往只做一件事如專門識別圖片中是否有貓、專門預測天氣變化、或專門做評論的情感分類。高度依賴強標注數(shù)據(jù)Labeled Data訓練需要海量的“標準答案”如成千上萬張人工標注了“貓/非貓”的圖片。參數(shù)量小Small Parameter Size模型的內(nèi)部“知識要點”參數(shù)規(guī)模相對較小模型的復雜度和表達能力有限。二、 深度拆解大語言模型LLM從“自動補全”到“認知涌現(xiàn)”2.1 什么是大語言模型大語言模型Large Language Model, LLM是指基于大規(guī)模神經(jīng)網(wǎng)絡參數(shù)規(guī)模通常達數(shù)十億至萬億級別例如 GPT-3 包含了 1750 億個參數(shù)通過自監(jiān)督或半監(jiān)督方式在海量無標注文本上訓練而成的語言模型。為徹底理解 LLM我們需要拆解四個核心概念┌── 1. 神經(jīng)網(wǎng)絡復雜的條件反射流水線 ├── 2. 自監(jiān)督學習海量“完形填空”自學 大語言模型LLM核心四大基石 ┼── 3. 半監(jiān)督學習少量名師指導 海量自學 └── 4. 語言模型計算“接下來最可能說什么”1神經(jīng)網(wǎng)絡模仿人腦的復雜決策流水線神經(jīng)網(wǎng)絡可以理解為一個極其高效的團隊工作流程或條件反射鏈它完全模仿人腦神經(jīng)元的工作模式就像教小朋友識別貓我們不會只給一條 “有胡子就是貓” 的規(guī)則而是讓他看海量貓的圖片大腦里的神經(jīng)元會分工協(xié)作有的識別尖耳朵、有的識別胡須、有的識別毛茸茸的尾巴最終綜合所有信息判斷 “這是貓”。神經(jīng)網(wǎng)絡就是由大量虛擬 “神經(jīng)元”即參數(shù)和連接組成的多層結構前一層的輸出作為后一層的輸入。通過海量數(shù)據(jù)訓練網(wǎng)絡會自主調(diào)整每個神經(jīng)元的權重參數(shù)值最終形成一套復雜的決策系統(tǒng)。參數(shù)就是 LLM 的 “腦細胞”參數(shù)規(guī)模越大模型的思考復雜度和全面性就越強。2自監(jiān)督學習“完形填空” 超級大師自監(jiān)督學習是 LLM 最核心的訓練方式本質上是讓模型自己給自己當老師從無標注的原始文本中自主學習規(guī)律。我們可以用學外語的場景類比沒有老師出題和批改我們就拿一本外語小說玩 “完形填空”隨機蓋住一個詞根據(jù)上下文猜測這個詞是什么。經(jīng)過億萬次練習我們就能徹底掌握這門語言的語法、詞匯搭配和上下文邏輯。LLM 的自監(jiān)督學習正是這個過程面對互聯(lián)網(wǎng)上海量的無標注文本它隨機遮住一句話中的某個詞嘗試根據(jù)上下文預測被遮住的內(nèi)容。通過這種方式它無需人工標注就能高效學習到整個語言世界的底層規(guī)律。3半監(jiān)督學習“師父領進門修行在個人”半監(jiān)督學習是自監(jiān)督學習的補充核心是少量標注數(shù)據(jù)入門 海量無標注數(shù)據(jù)自學的結合模式。就像學做菜師傅先教你幾道招牌菜少量帶標注的數(shù)據(jù)讓你掌握基本功再讓你嘗遍天下美食自己研究其中的門道海量無標注數(shù)據(jù)最終你不僅能復刻招牌菜還能創(chuàng)新出新菜式。這種方式能讓模型在有限的標注數(shù)據(jù)下快速提升通用能力。4語言模型“超級自動補全系統(tǒng)”語言模型的核心本質是一個語言預測器它的核心任務就是 “根據(jù)前文預測下一個最合理的詞”。我們手機輸入法的聯(lián)想功能就是一個微型語言模型輸入 “今天天氣真”它會自動提示 “好”“冷”“不錯” 等后續(xù)詞匯。而強大的 LLM能通過逐詞預測生成一整段通順的話、一篇完整的文章甚至是復雜的代碼。基于以上核心概念我們可以把 LLM 翻譯成大白話它是用大規(guī)模神經(jīng)網(wǎng)絡搭建的、擁有數(shù)百億甚至上萬億參數(shù)的超級自動補全系統(tǒng)通過海量完形填空式的自監(jiān)督學習從互聯(lián)網(wǎng)全量文本中學會了語言的底層規(guī)律最終具備了跨任務的通用能力。2.2 LLM 的四大核心能力維度LLM 的能力早已突破了簡單的“關鍵詞匹配”展現(xiàn)出驚人的“通用認知涌現(xiàn)”能力維度核心本質代表場景1. 語言大師深度理解上下文、情感與潛訂邏輯高質量創(chuàng)作撰寫論文引言、自動生成禮貌且堅決的投訴郵件2. 知識巨人壓縮并可交互的“全互聯(lián)網(wǎng)知識庫”結合角動量守恒解釋“貓翻正反射”對比古希臘哲學與春秋戰(zhàn)國百家爭鳴3. 邏輯與代碼巫師跨越文本界限理解嚴格邏輯與編程語法自動編寫 Python 爬蟲腳本求解復雜微分方程4. 多模態(tài)先知連接視覺、聽覺與文本實現(xiàn)全感知交互根據(jù)父母照片預測 AI 嬰兒形態(tài)基于描述生成 3D 人偶與 Blender 渲染場景2.3 主流 LLM 與演進脈絡主流大模型代表GPT-5 (OpenAI)支持 400k 上下文窗口128k 最大輸出 Token復雜多輪推理與創(chuàng)意寫作的標桿。DeepSeek R1 (深度求索)開源高性能推理模型專注于邏輯推理與數(shù)學求解支持 128k 上下文及多語言20 種。Qwen2.5-72B-Instruct (阿里巴巴)通義千問開源主力擅長代碼生成、結構化數(shù)據(jù)JSON處理與角色扮演支持 29 種語言。Gemini 2.5 Pro (Google)多模態(tài)融合標桿原生支持圖像、代碼、文本混合輸入。技術演進時間線2017 - 20262017: Transformer (Attention Is All You Need) 奠定奠基 ├── 2018: BERT (雙向 Transformer) GPT-1 ├── 2020: GPT-3 (1750億參數(shù), Few-Shot 突破) ├── 2022: InstructGPT (RLHF 對齊) ChatGPT 爆發(fā) ├── 2023: GPT-4 CoT (思維鏈) / ReAct 框架普及 ├── 2024: OpenAI o1 (思考模式) MCP 接口協(xié)議 Agent 生態(tài)崛起 └── 2025-2026: DeepSeek R1 / OpenAI o3 / Manus / A2A (Agent間通信)三、LLM 的四大核心能力重新定義人機交互LLM 之所以能引發(fā)生產(chǎn)力革命核心在于它具備了四大跨越性的能力徹底打破了機器與人類的溝通壁壘。3.1 語言大師自然語言理解與創(chuàng)造的革命LLM 真正實現(xiàn)了對人類語言的深度理解它不僅能識別字面意思還能讀懂上下文、情感傾向甚至潛臺詞完成高質量的語言創(chuàng)作。學生可以讓它生成論文引言段落快速搭建寫作框架職場人可以讓它撰寫禮貌又堅決的投訴郵件、商務函件稍作修改即可使用創(chuàng)作者可以讓它生成故事腳本、詩歌文案提供無限的創(chuàng)作靈感3.2 知識巨人可對話的全互聯(lián)網(wǎng)知識庫LLM 通過學習海量的公開數(shù)據(jù)構建了一個立體的、可對話的知識網(wǎng)絡覆蓋了物理、化學、哲學、歷史等幾乎所有學科領域。你可以問它 “用物理學原理解釋為什么貓咪總能四腳著地”它會從角動量守恒的角度一步步給你講清 “貓的正反射” 原理你也可以讓它 “對比古希臘哲學和春秋戰(zhàn)國百家爭鳴的異同”它能從歷史背景、思想內(nèi)核、發(fā)展脈絡等維度給出完整的對比分析3.3 邏輯與代碼巫師從思維到實現(xiàn)的跨越LLM 的能力早已突破 “文科” 范疇進入了需要極致精準的邏輯推理和編程領域。程序員可以用自然語言描述需求比如 “寫一個 Python 函數(shù)自動爬取網(wǎng)頁最新標題并保存到 Excel”模型能瞬間生成可直接運行的代碼學生可以把復雜的微分方程、數(shù)學題丟給它它不僅能給出答案還能一步步展示完整的解題過程成為一對一的私人家教3.4 多模態(tài)先知開啟 “全感知” AI 時代主流 LLM 已經(jīng)打破了純文本的邊界實現(xiàn)了文本、圖像、音頻、視頻的多模態(tài)融合讓 AI 更接近人類的感知方式。上傳一張照片搭配文字描述就能完成創(chuàng)意修圖、3D 建模、場景渲染等工作可以基于父母的照片生成融合雙方特征的嬰兒預測圖像可以解析技術圖紙、PDF 文檔、手寫筆記完成信息提取和深度分析四、 提示詞工程Prompt Engineering釋放 LLM 潛能的魔法想要讓 LLM 輸出高質量的結果核心在于編寫合理有效的提示詞Prompt。好的提示詞能精準限定需求范圍讓模型完全理解你的意圖輸出效果會有質的提升。下面是經(jīng)過工業(yè)界驗證的五大核心提示詞技巧覆蓋了絕大多數(shù)開發(fā)和應用場景。編寫高效提示詞的關鍵在于限定范圍明確上下文、角色、任務與約束。4.1 CO-STAR 結構化框架由新加坡政府技術局GovTech開發(fā)的CO-STAR 框架是構建高質量提示詞的最佳實踐模塊核心說明示例Context任務背景與上下文“你是電商客服需解答用戶關于 iPhone 17 的咨詢知識庫包含最新價格和庫存”O(jiān)bjective核心目標“準確回答價格、發(fā)貨時間推薦適配配件”Steps執(zhí)行步驟“1. 識別用戶問題類型2. 檢索知識庫3. 用親切語氣整理回復”Tone語言風格“口語化避免專業(yè)術語使用‘親’‘呢’等語氣詞”Audience目標用戶“20-35 歲年輕消費者對價格敏感關注性價比”Response輸出格式“價格XXX 元 \n 庫存XXX 件 \n 推薦配件XXX”我們用一個實際案例看優(yōu)化效果優(yōu)化前模糊低效我該怎么吃才能更健康?優(yōu)化后清晰有效【Context】你是一個基于科學證據(jù)的 AI 營養(yǎng)顧問。免責聲明你提供的建議僅供通用參考不能替代專業(yè)醫(yī)療診斷。 【Objective】基于用戶的身體數(shù)據(jù)提供個性化的每日飲食原則建議。 【Audience】30歲男性目標減脂增肌辦公室久坐每周 3 次力量訓練。 【Tone】專業(yè)、嚴謹且富有鼓勵性。 【Steps】 1. 輸出免責聲明 2. 圍繞“控制總熱量保證高蛋白”制定核心原則 3. 分別提供早餐、午餐、晚餐及訓練加餐建議 4. 推薦 2 種健康零食 5. 嚴禁推薦任何藥物或特定保健品。 【Response】按如下 Markdown 格式輸出 【免責聲明】... 【核心原則】... 【分餐建議】... 【健康零食推薦】...4.2 少樣本提示用示例教會 LLM 你的需求少樣本提示的核心思想是給模型提供 1-3 個輸入 - 輸出的示例讓它 “照葫蘆畫瓢”精準學習你需要的格式、風格和邏輯比單純用文字描述規(guī)則高效得多。適用場景格式固定、風格獨特、邏輯復雜的任務比如風格仿寫、數(shù)據(jù)提取、復雜格式生成。實際案例客戶反饋信息提取優(yōu)化前零樣本提示請分析以下客戶反饋提取產(chǎn)品名稱、情感傾向和具體問題。 反饋:我剛買的耳機才用了一周左邊就沒聲音了太讓人失望了。優(yōu)化后少樣本提示請根據(jù)以下示例分析后續(xù)的客戶反饋并提取產(chǎn)品名稱、情感傾向和具體問題。 示例1: 反饋:筆記本的電池續(xù)航太差了完全達不到宣傳的10小時最多就4小時。 分析: ? 產(chǎn)品名稱:筆記本電池 ? 情感傾向:負面 ? 具體問題:續(xù)航遠低于宣傳 示例2: 反饋:客服響應很快非常專業(yè)地幫我解決了軟件激活問題點贊! 分析: ? 產(chǎn)品名稱:客服服務 ? 情感傾向:正面 ? 具體問題:無 現(xiàn)在請分析這個: ? 反饋:我剛買的耳機才用了一周左邊就沒聲音了太讓人失望了。4.3 思維鏈提示CoT讓模型學會 “思考”思維鏈提示Chain of Thought, CoT核心是要求模型在給出答案前先展示完整的推導過程模仿人類解決問題的思考方式能大幅提升模型在復雜推理任務上的準確率。適用場景數(shù)學題、邏輯推理、復雜決策、需要解釋過程的任務。實際案例示例1: Q:羅杰有五個網(wǎng)球他又買了兩盒網(wǎng)球每盒有3個網(wǎng)球請問他現(xiàn)在總共有多少個網(wǎng)球? A:羅杰起初有五個網(wǎng)球又買了兩盒網(wǎng)球每盒3個所以他總共買了 2×36 個網(wǎng)球將起始的數(shù)量和購買的數(shù)量相加可以得到他現(xiàn)在總共的網(wǎng)球數(shù)量: 5611 所以羅杰現(xiàn)在總共有11個網(wǎng)球 問:食堂總共有23個蘋果如果他們用掉20個蘋果然后又買了6個蘋果請問現(xiàn)在食堂總共有多少個蘋果?模型會模仿示例中的思維鏈一步步完成計算大幅降低計算錯誤的概率。4.4 零樣本思維鏈一句魔法短語提升推理準確率零樣本思維鏈是少樣本思維鏈的簡化版無需編寫示例只需在提示詞末尾加上一句 “請一步步進行推理并得出結論”就能強制模型先完成內(nèi)部推理再給出最終答案。這是成本最低、適用范圍最廣的推理提升技巧尤其適合你也不清楚具體推理步驟的場景。比如經(jīng)典的邏輯題一個雜耍者可以雜耍16個球。其中一半的球是高爾夫球其中一半的高爾夫球是藍色的。請問總共有多少個藍色高爾夫球?請一步步進行推理并得出結論。不加這句提示時模型很容易直接給出錯誤答案 “8”加上之后模型會先拆解計算步驟最終得出正確答案 “4”。4.5 自我批判與迭代讓模型自己優(yōu)化輸出自我批判與迭代的核心是將 “生成” 和 “評審” 兩個步驟分離讓模型從特定角度對自己的輸出進行審查和優(yōu)化能顯著提升內(nèi)容的嚴謹性和質量。適用場景代碼審查、文案優(yōu)化、論證強化、安全檢查。實際案例Python 代碼編寫與優(yōu)化請執(zhí)行以下兩個步驟: 步驟一:編寫代碼 寫一個Python函數(shù) find_max 用于計算一個數(shù)字列表中的最大值。 步驟二:自我審查與優(yōu)化 現(xiàn)在請從代碼健壯性和可讀性的角度審查你上面編寫的代碼。 請回答: 1. 如果輸入是空列表函數(shù)會怎樣?如何改進? 2. 變量命名和代碼結構是否清晰?能否讓它更易于理解? 3. 請根據(jù)你的審查給出一個優(yōu)化后的最終版本。實戰(zhàn)提示在企業(yè)級開發(fā)中以上技巧通常會組合使用比如先用 CO-STAR 框架設定基礎結構和角色在執(zhí)行步驟中融入思維鏈指令對復雜格式補充少樣本示例最后要求模型完成自我審查能實現(xiàn)最佳的輸出效果。Cursor 官方提示詞提示詞五、 LLM 的原生接入方式與生產(chǎn)落地方案想要自己開發(fā) AI 應用就必須通過代碼接入 LLM 的原生能力。目前業(yè)界主流的原生接入方式有三種API 遠程調(diào)用、開源模型本地部署、官方 SDK 接入下面我們結合代碼逐一拆解。AI 應用接入 LLM 的三種原生方式: ┌───────────────────┬───────────────────────────┬────────────────────────┐ │ 1. API 遠程調(diào)用 │ 2. 開源模型本地部署 │ 3. 官方 SDK 接入 │ │ (云端 RESTful API)│ (Ollama / vLLM / TGI) │ (Python / Node.js SDK) │ └───────────────────┴───────────────────────────┴────────────────────────┘5.1 API 遠程調(diào)用最主流便捷的接入方式API 遠程調(diào)用是目前最主流的接入方式通過 HTTP 請求直接調(diào)用模型廠商部署在云端的模型服務無需管理任何硬件資源適合快速開發(fā)、應用集成場景。核心流程注冊賬號并獲取 API Key在模型廠商平臺注冊獲取用于身份驗證的密鑰查閱 API 文檔了解請求端點、參數(shù)規(guī)范和返回數(shù)據(jù)格式構建 HTTP 請求使用 HTTP 客戶端庫構建包含 API Key 和請求體的請求發(fā)送請求并處理響應解析返回的 JSON 數(shù)據(jù)提取模型生成的內(nèi)容實戰(zhàn)代碼curl 調(diào)用 OpenAI API# OpenAI 對話API調(diào)用示例 curl https://api.openai.com/v1/responses \ # 設置請求體格式為JSON -H Content-Type: application/json \ # 攜帶API Key完成身份認證$OPENAI_API_KEY為環(huán)境變量存儲的密鑰 -H Authorization: Bearer $OPENAI_API_KEY \ # 請求體指定模型和用戶輸入 -d { model: gpt-5, input: Write a one-sentence bedtime story about a unicorn. }響應結果核心字段解析API 會返回 JSON 格式的響應核心字段如下{ id: resp_xxxxxx, // 本次請求的唯一ID用于問題排查 status: completed, // 請求狀態(tài)completed成功/incomplete失敗 model: gpt-4o-mini-2024-07-18, // 實際響應的模型 output: [ { type: message, role: assistant, // 角色assistant模型輸出/user用戶輸入 content: [ { type: output_text, text: 你好!我是一個人工智能助手... // 模型生成的核心文本 } ] } ], usage: { input_tokens: 11, // 輸入提示詞消耗的token數(shù) output_tokens: 27, // 輸出內(nèi)容消耗的token數(shù) total_tokens: 38 // 本次請求總消耗token數(shù)用于計費 } }5.2 SDK 接入API 調(diào)用的封裝與簡化SDK 接入并非獨立的接入方式而是對原生 API 調(diào)用的封裝和簡化。模型廠商會發(fā)布對應編程語言的官方 SDK封裝底層 HTTP 請求細節(jié)提供更符合編程習慣的函數(shù)庫讓代碼更簡潔、易讀、易維護。實戰(zhàn)代碼OpenAI Python SDK 接入第一步安裝 SDKpip install openai第二步核心代碼與逐行解析# 1. 導入OpenAI SDK的核心客戶端類 from openai import OpenAI # 2. 初始化客戶端傳入API Key完成身份認證 client OpenAI(api_keyyour-api-key) # 3. 調(diào)用模型接口發(fā)起生成請求 response client.responses.create( modelgpt-5, # 指定要調(diào)用的模型名稱 input介紹一下你自己。 # 用戶輸入的提示詞內(nèi)容 ) # 4. 提取并打印模型生成的文本 print(response.output_text)相比原生 HTTP 請求SDK 已經(jīng)幫我們完成了請求頭封裝、JSON 序列化、響應解析等工作開發(fā)者只需關注核心業(yè)務邏輯大幅降低開發(fā)成本。5.3 開源模型本地部署私有化 LLM 能力的最佳方案本地部署就是將開源大語言模型如 DeepSeek-R1、Llama、Qwen 等部署在自己的硬件環(huán)境中完全掌控模型能力適合數(shù)據(jù)敏感、有私有化合規(guī)要求的場景。我們以業(yè)界最易用的本地部署工具 Ollama 為例完成完整的部署和接入實戰(zhàn)。步驟 1下載安裝 OllamaOllama 是一款專為本地 LLM 部署設計的開源工具一鍵支持 macOS、Linux、Windows 系統(tǒng)無需復雜的環(huán)境配置。官網(wǎng)下載https://ollama.ai安裝完成后打開終端輸入以下命令驗證安裝ollama --version # 輸出示例ollama version is 0.9.3即安裝成功步驟 2模型拉取與配置Ollama 支持修改模型存儲路徑避免默認占用 C 盤空間有兩種配置方式配置系統(tǒng)環(huán)境變量新增變量名OLLAMA\_MODELS變量值為自定義的模型存儲路徑圖形化設置打開 Ollama 設置界面在Model location中修改存儲路徑配置完成后重啟 Ollama 即可生效使用以下命令拉取模型# 拉取DeepSeek-R1 1.5B版本適合入門級設備 ollama run deepseek-r1:1.5b模型選型說明模型名稱中的b是Billion十億的縮寫代表參數(shù)量級。參數(shù)量越大模型能力越強硬件要求越高1.5B/7B 版本適合普通 PC8GB 內(nèi)存即可流暢運行14B/32B 版本需要 16GB 顯存的 GPU70B/671B 版本需要專業(yè)級服務器 GPU步驟 3命令行交互測試模型拉取完成后終端會自動進入對話界面可直接輸入內(nèi)容與模型交互 你好 你好!很高興見到你有什么我可以幫忙的嗎? 你是誰 您好!我是由中國的深度求索(DeepSeek)公司開發(fā)的智能助手DeepSeek-R1。如您有任何問題我會盡我所能為您提供幫助。步驟 4本地 API 接口調(diào)用Ollama 啟動后會默認開啟本地 API 服務地址為http://127\.0\.0\.1:11434可通過 HTTP 請求調(diào)用與云端 API 使用方式完全一致。實戰(zhàn)代碼curl 調(diào)用本地模型 API# Ollama 本地對話API調(diào)用 curl http://127.0.0.1:11434/api/chat \ -d { model: deepseek-r1:1.5b, # 本地已拉取的模型名稱 messages: [ {role: user, content: 夸夸我} # 對話上下文 ], stream: false # 關閉流式輸出一次性返回結果 }5.4 原生接入的瓶頸與 LangChain 的誕生雖然原生接入很直接但在構建企業(yè)級應用時存在四大痛點輸入長度限制所有 LLM 都有固定的上下文窗口如 4K、128K、400K Token無法直接將整本幾百頁的 PDF、整個公司知識庫傳入模型缺乏私有知識模型的訓練數(shù)據(jù)有固定截止日期且不包含企業(yè)內(nèi)部文檔、個人私有數(shù)據(jù)無法精準回答相關問題極易產(chǎn)生 “幻覺”復雜任務處理能力弱原生 API 本質是 “一問一答” 的接口對于需要多步驟的復雜任務如分析財報→總結要點→生成 PPT 大綱需要開發(fā)者手動編寫復雜邏輯拆解任務、管理中間狀態(tài)輸出格式不可控僅靠提示詞無法 100% 保證輸出格式合規(guī)極易出現(xiàn) JSON 格式錯誤、內(nèi)容溢出等問題需要額外編寫大量后處理代碼校驗和清洗而LangChain 框架正是為了系統(tǒng)性解決這些問題而誕生的它就像一座堅固的橋梁讓開發(fā)者無需淌水過河就能輕松將 LLM 能力落地到實際應用中。六、 語義世界的橋梁嵌入模型Embedding Model與向量化計算機無法直接“理解”文字或圖片的語義但極其擅長計算數(shù)字。Embedding 的核心思想是將人類的符號詞匯、句子、文檔、圖片映射到一個高維連續(xù)向量空間使得語義相似的內(nèi)容在向量空間中的距離如余弦相似度盡可能貼近。6.1 嵌入模型的本質把人類語言翻譯成計算機的數(shù)學語言嵌入模型Embedding Model和 LLM 有本質區(qū)別LLM 是生成式模型核心目標是理解輸入并生成新的文本嵌入模型是表示型模型核心目標是為輸入的文本創(chuàng)建富含語義的數(shù)值表示高維向量嵌入的核心思想是將人類語言的符號單詞、句子、段落轉換為計算機能夠理解的數(shù)值向量并且這種轉換能完整保留原始文本的語義和關系。通俗來說嵌入模型就是一個 “翻譯官”把人類語言翻譯成計算機的 “數(shù)學語言”。翻譯完成后我們就能用數(shù)學方法度量文本之間的語義相似度業(yè)界最常用的是余弦相似度在向量空間中向量的方向代表語義含義向量的長度代表文本長度余弦相似度只關注向量方向的差異不受文本長度影響完美適配語義匹配場景兩個向量的余弦相似度越高代表它們的語義越接近┌─────────────────────────────────────────────────────────────────┐ │ 嵌入模型 (Embedding) 核心應用 │ ├───────────────┬─────────────────┬────────────────┬──────────────┤ │ 1. 語義搜索 │ 2. 檢索增強生成 │ 3. 智能推薦 │ 4. 異常檢測 │ │ (Semantic) │ (RAG) │ (Recommender) │ (Anomaly) │ └───────────────┴─────────────────┴────────────────┴──────────────┘6.3 嵌入模型的四大核心應用場景1語義搜索傳統(tǒng)搜索依賴關鍵詞精確匹配搜 “蘋果” 只能找到包含 “蘋果” 這個詞的文檔而語義搜索通過向量相似度匹配即使文檔中沒有精確關鍵詞只要語義相關就能被檢索到。比如用戶搜 “電池電量不增加”語義搜索能精準找到 “如何解決筆記本電腦無法充電的問題” 的相關文檔這是傳統(tǒng)搜索無法實現(xiàn)的。2檢索增強生成RAG這是當前 LLM 企業(yè)級應用的核心模式也是解決 LLM 私有知識缺失、幻覺問題的最佳方案。核心流程當用戶向 LLM 提問時系統(tǒng)首先用嵌入模型在私有知識庫中做語義搜索找到最相關的內(nèi)容再把這些內(nèi)容和用戶問題一起交給 LLM讓模型基于精準的私有知識生成答案而非僅憑訓練數(shù)據(jù)泛泛而談。比如企業(yè)內(nèi)部客服機器人員工問 “今年新增的帶薪育兒假政策是怎樣的”系統(tǒng)會先從人事制度文檔中檢索到相關條款再交給 LLM 生成精準回答完全避免過時信息和幻覺。3推薦系統(tǒng)將用戶的歷史行為、偏好和商品、內(nèi)容的特征都轉換為向量喜歡相似物品的用戶向量會高度接近相似的物品向量也會聚集。通過計算用戶和物品的向量相似度就能實現(xiàn)精準的個性化推薦。4異常檢測正常業(yè)務數(shù)據(jù)的向量會在空間中形成固定的聚集區(qū)當一個新數(shù)據(jù)的向量遠離這個聚集區(qū)時就大概率是異常點。這個能力被廣泛應用于垃圾郵件識別、信用卡交易反欺詐、工業(yè)設備故障預警等場景。6.4 嵌入模型接入實戰(zhàn)主流嵌入模型模型名稱廠商核心參數(shù)text?embedding?3?largeOpenAI默認維度 3072支持降維輸入令牌長度 8192多語言能力優(yōu)異Qwen3?Embedding?8B阿里巴巴開源模型支持 100 語言上下文長度 32k最高維度 4096支持自定義輸出維度gemini?embedding?001Google支持 100 語言默認維度 3072支持降維多語言檢索表現(xiàn)突出實戰(zhàn)代碼OpenAI 嵌入模型 Python SDK 接入第一步安裝 SDK已安裝可跳過pip install openai第二步核心代碼與逐行解析# 1. 導入OpenAI SDK客戶端類 from openai import OpenAI # 2. 初始化客戶端傳入API Key完成身份認證 client OpenAI(api_keyyour-api-key) # 3. 準備需要向量化的輸入文本 text 這是一段需要轉換為向量的文本。 # 4. 調(diào)用嵌入模型API生成語義向量 response client.embeddings.create( modeltext-embedding-3-large, # 指定使用的嵌入模型 inputtext, # 待向量化的輸入文本 dimensions1024 # 可選自定義輸出向量維度可從3072維降到1024維 ) # 5. 從響應結果中提取嵌入向量 embedding response.data[0].embedding # 6. 打印向量維度和內(nèi)容 print(f向量維度:{len(embedding)}) print(embedding)代碼運行后會輸出 1024 維的浮點數(shù)向量這個向量就完整保留了輸入文本的語義信息可直接用于語義檢索、聚類、RAG 等場景。像我們之前的LLM還有API接入和本地接入這個也有七、LangChain連接 LLM 與業(yè)務應用的核心橋梁回到最開始的比喻直接調(diào)用原生 LLM 接口就像淌水過河會遇到上下文限制、私有知識缺失、復雜任務拆解難等各種問題而 LangChain就是為我們搭建的一座堅固、全面的橋梁。LangChain 是一個開源的大語言模型應用開發(fā)框架它封裝了 LLM 接入、嵌入模型、向量數(shù)據(jù)庫、任務拆解、工具調(diào)用、Agent 編排等全鏈路能力系統(tǒng)性解決了原生 LLM 的所有核心局限。它的核心價值體現(xiàn)在統(tǒng)一的接口抽象適配所有主流 LLM 和嵌入模型一套代碼可無縫切換不同廠商的模型無需大量重復開發(fā)內(nèi)置 RAG 全鏈路能力提供了文檔加載、文本分塊、嵌入、檢索、重排、生成的全流程組件幾行代碼就能搭建企業(yè)級 RAG 系統(tǒng)智能 Agent 與任務編排內(nèi)置 ReAct、CoT 等推理框架能讓 LLM 自主拆解復雜任務調(diào)用外部工具完成多步驟操作實現(xiàn)真正的智能體應用強格式輸出管控內(nèi)置多種輸出解析器能 100% 保證 JSON、XML、Pydantic 等格式的輸出合規(guī)無需額外后處理豐富的生態(tài)集成對接了數(shù)百種第三方工具、數(shù)據(jù)庫、文檔加載器開箱即用大幅降低 AI 應用的開發(fā)門檻結語從基礎的數(shù)學函數(shù) f(x) 到具備涌現(xiàn)能力的 LLM再到將萬物數(shù)值化的 Embedding 向量大模型技術正在徹底重構軟件開發(fā)的范式。作為開發(fā)者理解 Prompt 工程能幫助我們更好地“指揮”AI而掌握本地部署、API 接入及 Embedding 機制則是我們通往 AI Agent 與 RAG 系統(tǒng)開發(fā)的必經(jīng)之路。