LiteLLM 的 Virtual Key 一定要 sk- 開頭嗎?想換成自家前綴,結果發現成本遠比想像大
當我們用 LiteLLM 替每位員工各發一把 Virtual Key,用來限制模型白名單、設定預算、統計每個人的用量時,很自然會冒出一個念頭: 「發給員工的 Key 一律都是 開頭,看起來跟 OpenAI 的 Key 長得一模一樣。能不能換成自家的前綴,例如 ?」 我們為此請 AI 做了一輪研究,讀 LiteLLM…
I'm a Fullstack Developer passionate about System Design, DevOps, and AI. I enjoy building side projects and sharing insights on algorithms and GenAI through my blog.
當我們用 LiteLLM 替每位員工各發一把 Virtual Key,用來限制模型白名單、設定預算、統計每個人的用量時,很自然會冒出一個念頭: 「發給員工的 Key 一律都是 開頭,看起來跟 OpenAI 的 Key 長得一模一樣。能不能換成自家的前綴,例如 ?」 我們為此請 AI 做了一輪研究,讀 LiteLLM…
把 Claude Code 透過 LiteLLM 接到自架的本地模型(vLLM 或 / Lemonade)之後,最常被問到的一個問題是: 「為什麼叫 Claude Code 上網查資料時,畫面永遠顯示 **,不是直接搜尋失敗拿不到最新資料,就是模型開始靠舊記憶瞎掰?」 原因是 Claude Code 內建的 Web…
需求一句話講得完: 讓 n8n 支援 OIDC SSO 登入。 這看似只是改改環境變數的小需求,但當初我和 AI 一起討論並嘗試串接時,發現真正折磨人的不是語法,而是這一路上幾乎每個坑都 不會叫: Pod 正常 、Kubernetes 健檢全綠、 指令回傳 0、Log 裡沒有半點 Error,但使用者就是登不進去。…
起點與多份副本的維護問題 我們的 K8s 部署原本是三份平行的 stack:nvidia、amd、arm64 各一份。維護規則寫在 裡,只有一句話: 改一份要同步三份。 這條規則的問題不在於它難懂,而在於它把一致性外包給人的紀律。實際的腐化程度可以量:舊的 在三份副本之間有高達七成以上的內容完全分岔。這已經不是「三份…