打造本地知識庫系統，軟硬體評估全攻略
以本地AI的應用來說，有甚麼應用情境最常見，而且又能夠直接感受到AI的好處呢？我認真地思索了一下，我想應該就是「知識庫系統」，我們這篇就來探究一下，如果想要在自行建立一個透過LLM為主的知識庫系統，究竟需要哪些資源，以及該要注意些甚麼？
畢竟，對組織或是企業來說，藉由LLM來驅動的知識庫，可以成為一個企業內部的知識核心，基於這個核心平台，能夠依據不同需求，訂製出各式各樣的不同應用及服務，說它是最直覺可以感受到AI好處的解決方案，絕對是不遑多讓。況且，因為資料來源很多會牽涉公司內部機密，因此，在本地端自行建立也有其必要性。
不過，要自行建立及部署知識庫系統，就代表著要面臨硬體投入與維護挑戰。因此，本文將從軟硬體的角度出發，幫你打造適合的地端知識庫系統。接著就讓我們來接著看下去，應該如何評估跟自行建立內部知識庫。
知識庫(Knowledge Management System, KMS)，其實它就是一個收集、組織、儲存和分享組織內部知識與資訊的平台，不過，當他套上了LLM的理解能力後，能夠讓使用者更輕易地享用到它的好處，無論是對內或是對外，列如：
對內可以提供：
- FAQ系統：常見問題與解答
- 操作手冊：標準作業程序
- 技術文件：產品規格與內部文件(這點也是自建的主因)
- 培訓資料：員工教育訓練內容
對外可以提供：
- 客戶服務中心：產品支援文件
- 使用者手冊：產品操作指南
只要能夠將上述這些應用建立起來，無論是對於企業的數位轉型或降低人工成本，都有顯著效益。
知識庫的軟體架構與需求
一套以LLM來驅動的知識庫，其軟體主要包含三大部分：
資料管理與索引
- 向量資料庫 (Ex: Qdrant)，支持語意搜尋
- 傳統資料庫 (Ex: MariaDB)，支持特定索引及搜尋
AI 語言模型推論
- Embedding Model (Ex: nomic-embed-text)
- Large Language Model (Ex: gemma3)
- Rerank Model (Ex: bge-reranker-large)
應用整合層
- 前端介面(Ex: Gradio)
- API串接(Ex: FastAPI)
- 第三方工具（Ex: LangChain、LlamaIndex、Ollana）
上述的軟體架構，應該能夠滿足大多數知識庫所需，筆者也都有實際套用在真實環境下，基本上只需要再依據終端的使用情境調整，應該就能滿足，其餘的就是得要看評估內部的人力及專長而異。
知識庫的硬體需求
知識庫的硬體需求
若是以一般企業內部的使用來說，以CP值最高的狀況下，我會建議下方規格的硬體，來做為知識庫運作所用的伺服器：
- CPU：8 核心以上 Intel i7 / Ryzen 7
- GPU：Nvidia RTX 5070 Ti，16GB+ VRAM
- RAM：64GB+
- Storage：1TB NVMe SSD
為什麼會這麼說呢？
因為在運作此本地端的知識庫系統時，一般來說選用的LLM大多為8~13B左右，以此規格的硬體及系統效能，恰好可以發揮其優勢，若是直接選用5090的主機，先不論顯卡本身金額可能高過5070 Ti數倍，其VRAM的效益也不過只有32GB，若是真想在同一台主機上運作多個模型，可能整體效益上還不如兩台5070 Ti來得好用，同時，5090對於硬體架構上及電源供應的訴求也嚴苛許多。
當然，若是採用的模型本身對於VRAM本身的需求較高，也只能透過更高階的顯示卡方可支持，終究，還是得依實際需求來選擇對應的硬體，我這邊是提出以當下時空背景的建議規格，不然，也可以考慮NV即將推出的 Nvidia DGX Spark，或許也是一種不錯的選擇。
知識庫的軟硬體選擇重點提醒
在企業內部，每種解決方案的評估，除了滿足系統效能需求之外，使用率及資源運用，往往更為重要，尤其AI相關應用，對於大多數人來說都是一種新的體驗，千萬要謹慎為之，這也是很多技術看起來很高大上，後面無法實際普遍落地的主因。
最後來歸納一下知識庫建立的評估重點，如果你目前也在評估相關解決方案時，也可依據下列重點來審視一下自身需求：
- 確立自己的需求與預算，避免盲目追求高階硬體
- 語言模型是硬體選擇的核心，GPU VRAM 直接影響可用模型規模
- 盤點內部系統及資源(包括人力與技術)，確保資源可做最大化的應用
- 軟體架構的選擇與系統串接的需求
最後，如果有甚麼特別的評估建議或是想法，也歡迎留言來討論，其實針對知識庫的建置，還有很多其他的面向可以切入(資料端的建立、架構及使用情境...等)，或許，之後我再另外花點篇幅來介紹相關內容。
留言
張貼留言