Projets · Actif

LLM Gateway

Passerelle LLM auto-hébergée : un seul endpoint OpenAI-compatible, routage souverain FR par défaut, escalade maîtrisée.

2026Conception, déploiement, exploitation

Contexte et problème

Je code avec un agent (OpenCode) au quotidien. Je voulais choisir où partent mes données et combien je paie, sans changer d’outil à chaque modèle.

Ce que j’ai construit

Une passerelle LiteLLM sur mon VPS OVHcloud, qui expose un seul endpoint compatible OpenAI. Le routage suit trois niveaux :

  • par défaut, souverain FR : Qwen3 Coder hébergé chez OVHcloud ;
  • UE : Mistral Codestral et Devstral ;
  • escalade, US : Claude, seulement quand la tâche le justifie.

Caddy termine le TLS et c’est le seul point exposé. Les clés virtuelles sont révocables (LiteLLM + PostgreSQL) et le pare-feu ferme tout le reste.

Ce que j’en retiens

Le routage par défaut décide de l’essentiel de la facture et de la souveraineté : l’escalade doit rester une exception visible.