LLM Gateway
Passerelle LLM auto-hébergée : un seul endpoint OpenAI-compatible, routage souverain FR par défaut, escalade maîtrisée.
Contexte et problème
Je code avec un agent (OpenCode) au quotidien. Je voulais choisir où partent mes données et combien je paie, sans changer d’outil à chaque modèle.
Ce que j’ai construit
Une passerelle LiteLLM sur mon VPS OVHcloud, qui expose un seul endpoint compatible OpenAI. Le routage suit trois niveaux :
- par défaut, souverain FR : Qwen3 Coder hébergé chez OVHcloud ;
- UE : Mistral Codestral et Devstral ;
- escalade, US : Claude, seulement quand la tâche le justifie.
Caddy termine le TLS et c’est le seul point exposé. Les clés virtuelles sont révocables (LiteLLM + PostgreSQL) et le pare-feu ferme tout le reste.
Ce que j’en retiens
Le routage par défaut décide de l’essentiel de la facture et de la souveraineté : l’escalade doit rester une exception visible.