Knowledge Sphere：將一櫃文件，變成一個識答問題嘅知識庫
每一個研究團隊、每一間專業機構，都坐擁大量文件——報告、論文、手冊、合約。但知識一旦寫入 PDF，就好似封存咗：要搵一個答案，往往要逐份揭、逐頁找，靠記憶同關鍵字撞彩。
Knowledge Sphere 就是為解決呢個問題而生——一個 AI 驅動嘅文件智能平台（Document Intelligence Platform）。使用者上載文件，用自然語言發問，AI 助手會喺文件內容之上作答，並為每一句回應附上可追溯嘅原文出處。它把「一櫃靜態文件」轉化成「一個可以對話嘅知識庫」。
牧羊人科技負責呢個平台由架構到落地嘅全端開發。以下拆解它七個核心能力，以及背後嘅工程取捨。
一、AI 對話與行內引用：可信，因為可追溯
平台核心係一個理解你文件嘅 AI 助手：
- 自然語言問答：使用者可以就上載內容提出複雜問題，AI 即時由文件中抽取並組織相關資訊作答。
- 對話記憶：AI 記得同一段對話入面之前嘅問題，維持上下文連貫，支援追問。
- 行內原文引用（Inline Citations）：每一句回應旁邊都附上引用標記，指向文件中嘅具體段落。這是整個產品可信度嘅基石——AI 嘅答案唔係「黑箱輸出」，而係每一句都可以即場驗證返去原文。
設計取態：賦能而非取代。系統負責喺浩瀚文件中標出答案同證據鏈，最終判斷仍然交回專業人員——而可點擊嘅引用，就是讓人「信得過」嘅關鍵。
二、智能理解與摘要：先給你全局，再讓你深入
- 自動摘要：每份文件上載後自動生成多層次摘要——快速概覽、詳細摘要、章節摘要——使用者唔使睇完成份文件就可以掌握全貌。
- 跨文件分析：AI 可以同時跨多份文件綜合資訊作答，而唔係局限於單一文件。
- 上下文感知：AI 考量問題嘅完整語境同意圖，而非單純字面匹配。
- 問題自我修正：當初步檢索結果不足以回答時，AI 會自動調整檢索策略、再搜一次，務求俾到更完整嘅答案。
三、文件處理流水線：大檔案、掃描件，都食得下
要做到準確問答，第一步係把文件「讀」得乾淨、結構化。平台建構咗一條企業級嘅文件處理流水線：
- 高品質 OCR：以企業級 OCR 引擎處理掃描版 PDF，連影印、掃描嘅文件都能高準確度辨識文字。
- 版面理解：系統辨識標題、段落、表格等文件結構，保留內容邏輯，而唔係把成頁文字壓成一片。
- 結構化 OCR 上下文：OCR 結果經結構化處理後，附帶到 AI 嘅引用中，加深 AI 對文件嘅理解。
- 非同步背景處理：大檔案處理交由可重試嘅背景任務執行，避免阻塞前端；使用者上載完即可繼續操作，並透過即時進度追蹤掌握每份文件嘅處理狀態。
- 批量上載：一次過匯入並處理多份文件；多頁文件嘅處理速度與穩定性經專門優化。
四、互動式 PDF：由「睇答案」到「跳去原文」
呢個係 Knowledge Sphere 最能體現「可信」嘅一環——一條由問題到原文嘅完整可追溯鏈路。
第一步：問問題，得到附引用嘅答案。使用者用自然語言發問，AI 助手作答，並喺每一句相關回應旁邊附上引用標記（例如 📄 2），指明呢句嘢出自邊份文件、邊一段。
第二步：點擊引用，一鍵跳到原文並高亮。當使用者點擊引用標記（或對應嘅頁碼按鈕），系統會自動翻到 PDF 中對應嘅頁面，並選中、高亮該段落——由「答案」到「原文」之間幾乎零落差，使用者即場就驗證得到 AI 講嘅嘢喺原文邊度。
- 文字區塊高亮：根據文字抽取嘅信心程度，以顏色標示 OCR 區塊，使用者一眼睇到邊度辨識得穩陣。
- 直接複製：可由高亮區塊直接複製原文，配合行內動作選單（複製 / 搜尋 / 解釋 / 翻譯 / 追問）。
- 頁碼導覽：可由頁碼列或段落清單直接跳到文件任何位置。
五、智能搜尋：語義 + 關鍵字，混合檢索
- 語義搜尋：基於查詢嘅意義同意圖檢索，而非單純字面比對——即使用詞唔同，只要意思相近都搵得到。
- 全文搜尋：保留傳統關鍵字精確匹配。
- 混合檢索（Hybrid Search）：同時運用語義向量與全文搜尋，並以 Reciprocal Rank Fusion (RRF) 演算法合併兩者排名，取得最全面嘅結果。
- 範圍過濾：可指定喺特定文件或文件集（Space）內搜尋，並即時隨輸入更新結果。
六、團隊協作與權限：知識共享，但守得住界線
- 共享空間（Spaces）：把文件按主題分組到協作工作區，供團隊共享知識。
- 角色權限：Owner 與 Viewer 分級存取。
- 邀請制：以邀請碼安全地加入成員，只有受邀者先可以進入工作區。
- 文件級權限與活動追蹤：對文件存取作細緻控制，並可追蹤邊個存取過邊份文件。
七、帳戶與安全：企業級資料保護
- 完整帳戶系統：電郵驗證註冊登入、密碼安全重設、閒置自動登出、個人資料管理。
- 多層存取控制：使用者、空間、文件三層權限。
- 資料隔離：使用者資料完全分離；密碼以 Argon2 加密儲存。
技術架構：一次把延遲由 20 秒降到 3 秒嘅重構
Knowledge Sphere 嘅工程深度，最能體現喺 AI agent 一次關鍵重構上。
平台早期採用固定流程嘅狀態機（七步固定流水線）——流程可控，但回應延遲高達 15–25 秒，而且只能做「假串流」（等全部算完先一次過顯示）。
我哋將佢重構成一個基於自主工具調用（tool calling）嘅 AI agent：
- Agent 自主決定何時調用檢索工具（段落搜尋 / 摘要搜尋），prompt 只提供策略指引而唔強制固定順序——簡單問題唔使行足七步，複雜問題可以多輪檢索。
- 回應延遲由 15–25 秒大幅降至 2–5 秒，並由假串流變成真正嘅 token streaming。
- 新增混合搜尋（向量嵌入 + 全文搜尋索引 + RRF 合併）同摘要層嵌入，檢索更準。
工程架構一覽
- 前端：端到端型別安全嘅 API，前後端共用同一套 TypeScript 型別。
- AI agent：真正嘅 token streaming + 自主工具調用，接駁大型語言模型。
- 嵌入與檢索：向量嵌入（1536 維）+ 全文搜尋，以 Reciprocal Rank Fusion 合併排名。
- 文件處理：企業級 OCR + 非同步可重試嘅背景流水線 + 雲端物件儲存。
- 資料層：關聯式資料庫 + 型別安全 ORM。
- 身份與安全：Argon2 密碼雜湊、多層存取控制與資料隔離。
結語
Knowledge Sphere 是一個 production-ready 嘅 AI 文件智能平台，所有核心能力均已實作並運行——完整 AI 對話與行內引用、文件處理流水線、混合搜尋、互動式 PDF、團隊協作與企業級安全。
它示範咗牧羊人科技喺複雜 AI 系統上嘅交付能力：唔單止接得到 LLM API，而係由檢索架構、文件流水線、到可追溯嘅產品體驗，整條 RAG 鏈路都揸得穩。