民間開發首例！墨石資本砸重金 將推台灣自研LLM基礎架構系統

墨石資本（Inkstone Capital）聯合其旗下公司投入大量算力（財力）與人力資源（腦力），根據生成式預訓練變形模型（GPT），可望近期開發完成台灣第一個自有智慧財產權的大型語言模型 LLM（Large Language Model）基礎架構模型 AI，並使用 MoE 模組化訓練專家 AI 系統，以解決 AI 大模型幻覺，及專屬企業內 AI 來避免客戶隱私與機密洩漏的問題。 

AI 大型語言模型在 OpenAI 於 2022 年 11 月發表了 ChatGPT 後，引發了全球 AI 熱潮，並產生了各種 AI 應用用於提高工作生產力，在法律，醫療，文字工作，程式設計等領域，GPT 都有傑出的表現。

因為大型語言模型（Large Language Model）基礎架構模型（Foundational Models）開發前期必須投入大量算力來預訓練 AI 大模型，而大模型預訓練算力最低成本動輒新台幣 2-3 億元，即使斥鉅資取得了足夠的算力，還需要有一群數學與 AI 程式設計的博碩士專家，才可能自行研發 AI 大型語言模型的基礎架構，所以 LLM 基礎架構模型研發是一個資本密集與腦力密集的基礎產業，即使投入了大量的財力與腦力並不代表一定會研發成功，存在一定的不確定性，所以大部分企業或 AI 應用提供公司大都使用美國 LLM 公司的開源基礎模型進行二次開發應用。在世界各國都將 AI 發展視為主要戰略之一，台灣亦不能缺席。

使用開源基礎模型所開發的 AI 應用有其局限性，常面臨無法對開源基礎模型進行大範圍功能調整、或針對台灣科技環境進行調整，也無法確定是否有資訊安全及修護服務問題，並且有可能在使用一段時間後，開源公司會進行收費或是終止服務… 等等的諸多不確定性因素，對企業存在一定的使用風險。

此外，目前大部分的 LLM 一味的追求超大語言模型後，AI 產生幻覺，出現了所謂的「一本正經的胡說八道」 導致 AI 生成的資料可信度與真實性降低，反而可能降低了生產力。 另外，目前大部分提供 GPT 的服務公司基本都是通過互聯網連線到 AI Servers，對大部分公司都有客戶隱私與洩漏公司機密的疑慮。 

「大模型導致 AI 產生幻覺」 是一個有趣且值得探討的議題。當 AI 模型變得更大、更複雜時，確實存在一些有趣的現象。它們能夠從數據中捕捉到更多細微的模式和相關性，這可能會導致看似「神奇」的行為。有時這些模型會產生出令人驚訝的答案，但是同時可能產生所謂的「幻覺」，即模型似乎表現出理解或意識的跡象，雖然實際上它們可能只是根據訓練數據的統計模式進行操作。

這也引發了對 AI 的道德和倫理問題，特別是當 AI 的決策對人們的生活產生重大影響時。因此，儘管大型模型的能力令人印象深刻，但也需要謹慎對待並警覺可能產生的「幻覺」現象。

觀希國際法律事務所何星磊律師指出，當他嘗試使用目前各大公司開放式的 GPT AI 用於產生法律文件，結果出現 AI 產生的文件內的法條並不存在於真實世界，但是 AI 卻將其寫入正式的法律文件，導致律師要花更多時間去分辨 AI 產生文件的真實性與可用性。

大模型的發展已經到了一個瓶頸期，目前大模型的研究新方向是混合專家模型 MoE（Mixture of Experts ）。MoE 模型是一種由多個專家模型組成的模型架構，每個專家專注於特定部分的數據，透過另一個稱為「gate」的模型進行加權整合，最終得出模型的預測和輸出。在機器學習領域，MoE 模型在處理複雜、多變數據上具有顯著的潛力，特別是在提高準確性和泛化能力方面。

我們的研究目標包括：

1. 基於當前基本 MoE 模型進行改進，實現更為先進的 MoE 架構。

2. 優化 MoE 模型的訓練方式與數據，提高模型性能和收斂速度。

3. 應用 MoE 模型於真實數據集，評估其性能與其他傳統模型的比較。

4. 透過實驗和分析，識別 MoE 模型在預測 X 領域中的優勢和局限性。

期待研究結果能開發出具有一定性能的 MoE 模型原型，並全面評估其性能進為台灣各行各業提供更好以及有台灣大腦的 AI 解決方案，也響應了行政院智慧國家推動小組提出的台灣 AI 行動方案 2.0 ，將實現「以 AI 帶動產業轉型升級、以 AI 協助增進社會福祉、讓台灣成為全球 AI 新銳」為願景。從產業端出發透過深耕 AI 技術與發展 AI 產 業及產業應用 AI，帶動我國整體產業轉型升級。

墨石資本（Inkstone Capital）旗下擁有 Aimfinity Investment Corp. I, 美國 Nasdaq 主板上市公司 (美股代碼 AIMAU) ，與 ESG 相關公司與高科技研發公司，墨石資本（Inkstone Capital）是一家專注於投資高科技、高成長、ESG 相關的企業的風險投資機構。