跳至主要内容

LLM 提供者與模型

Klacksy 需要一個語言模型才能理解並採取行動。您可以在「設定 > LLM 提供者」「LLM 模型」與「LLM 同步紀錄」中,設定 Klacks 可以使用哪些服務商及哪些具體模型。

運作方式

新增提供者: 一個提供者整合了某服務商的基礎 URL、API 版本與 API 金鑰。六家服務商(OpenAI、Anthropic、Google、Azure、Mistral、DeepSeek)已直接寫入程式碼中;其餘提供者則透過通用、相容 OpenAI 的介接方式運作 — 藉此可以串接例如 Groq、Together AI、Fireworks、OpenRouter、xAI、Cerebras、Perplexity,或自行架設的模型。透過「搜尋提供者」,Klacks 還會為您推薦尚未建立的服務商:來源可以是經過整理、已驗證位址的目錄,或者 — 若已設定網路搜尋功能 — 透過網路查詢取得。每項建議在顯示前都會即時檢查其可連線性;被選中的提供者會以停用狀態、且不含 API 金鑰的方式建立,之後需要您自行補上金鑰。

API 金鑰與優先順序: 儲存後,金鑰在介面中不會再以明文顯示 — 只會顯示是否已設定金鑰(「已設定」)。優先順序決定已啟用的提供者被呼叫的先後次序。

管理模型: 在「LLM 模型」中,您可以為每個提供者分別新增模型(顯示名稱、服務商端的技術模型 ID、上下文視窗、最大 Token 數、每 1000 個輸入/輸出 Token 的成本)。模型可以被標記為預設模型;只要某個提供者底下有模型仍是目前的預設模型,該提供者就無法被刪除。

LLM 同步紀錄: 背景服務預設每 24 小時自動檢查一次,已啟用的提供者有哪些模型新增或下架。新模型會先透過一次真實的測試請求驗證,只有成功才會以啟用狀態加入;不再提供的模型則會自動停用。同步紀錄依提供者顯示完整歷史紀錄,包含日期、新增/停用/失敗模型的數量,以及可展開查看的測試結果。管理員在下次登入後,還會收到一則關於未讀同步事件的提示訊息。

小提醒

  • 只有六家服務商(OpenAI、Anthropic、Google、Azure、Mistral、DeepSeek)擁有專屬實作 — 其餘所有提供者都透過通用、相容 OpenAI 的介接方式運作。
  • 「搜尋提供者」的目錄目前包含十二家已驗證的服務商;只有在設定中已設定網路搜尋功能時,才會出現來自網路的建議。
  • 同步紀錄服務會獨立於您的工作階段在背景執行 — 您不需要讓頁面保持開啟。

立即體驗:Klacks Playground — 登入 admin@test.com / P@ssw0rt1,資料每日自動重置。