聯絡我

您的名稱（ 姓名 / 匿稱 ）

您的電子郵件（ 必填 ） *

詳細內容（ 意見 / 聯絡事宜 / 其他 ） *


這個網誌中的熱門文章

2025 地端 AI 算力大比拼：5060 Ti／5070 Ti／5090／RTX 6000 Ada／DGX Spark 該選哪個？

圖片
基於自己研究的重點，隨著大型語言模型（ LLM ）推論需求大幅上升， 地端部署 也成為許多開發者、研究團隊或產品應用所重視的選項。這次，我們聚焦於N家(Nvidia)五款市面上不同定位、不同規格的顯示卡／系統，從「 CUDA  核心數」、「記憶體頻寬／容量」、「價格」和「功耗」這些對於 LLM 地端推論的關鍵指標，逐一比較，幫助你在地端選擇合適方案。
Read more »

深入理解Local LLM的價值：不只是「離線」這麼簡單

圖片
自從GPT橫空出世之後，語言模型(LLM)正快速改變我們與資訊、系統、甚至也成為AI應用的背後基石。不論是 GPT-5、Claude、Gemini，雲端 AI 的確帶來了截然不同的使用體驗。 不過，它們似乎對個人來說，才有如此大的吸引力，若是換個角度來看，在一個組織或企業內部使用時，似乎又完全是另外一個面向了，這也是為什麼我越來越在意「本地 LLM」的應用場景與價值？ 這篇文章將從幾個面向，說明我對本地LLM的思考與選擇，並分享它在未來 AI 應用中可能扮演的關鍵角色。
Read more »

打造本地知識庫系統，軟硬體評估全攻略

圖片
以本地AI的應用來說，有甚麼應用情境最常見，而且又能夠直接感受到AI的好處呢？我認真地思索了一下，我想應該就是「 知識庫系統 」，我們這篇就來探究一下，如果想要在自行建立一個透過LLM為主的知識庫系統，究竟需要哪些資源，以及該要注意些甚麼？ 畢竟，對組織或是企業來說，藉由LLM來驅動的知識庫，可以成為一個企業內部的知識核心，基於這個核心平台，能夠依據不同需求，訂製出各式各樣的不同應用及服務，說它是最直覺可以感受到AI好處的解決方案，絕對是不遑多讓。況且，因為資料來源很多會牽涉公司內部機密，因此，在本地端自行建立也有其必要性。 不過，要自行建立及部署知識庫系統，就代表著要面臨硬體投入與維護挑戰。因此，本文將從軟硬體的角度出發，幫你打造適合的地端知識庫系統。接著就讓我們來接著看下去，應該如何評估跟自行建立內部知識庫。
Read more »