On this page
Router ou instance dédiée ?
Le Router partagé est parfait pour démarrer vite et payer au token. Choisissez une instance dédiée lorsque vous voulez de l'isolation, une latence prévisible ou un modèle précis sur votre propre matériel. Sur une instance dédiée, vLLM s'exécute sur un seul GPU européen qui vous est exclusivement réservé.
Étape 1 : choisir votre modèle
Sélectionnez un modèle dans le Model Garden ou collez un identifiant HuggingFace, par exemple Qwen/Qwen3-8B. Chaque modèle a une empreinte VRAM ; l'étape de déploiement estime la VRAM minimale et vous empêche de choisir un GPU trop petit. Nous demandons de manière centralisée l'accès aux modèles à accès restreint (comme certaines variantes de Llama), vous n'avez donc pas à gérer de licences individuelles.
Étape 2 : configurer le GPU
- Choisissez la VRAM et une région GPU européenne
- Nous obtenons la capacité auprès de places de marché GPU européennes
- Nous générons automatiquement un script d'installation vLLM et lançons le déploiement
Étape 3 : ce qui se passe en coulisses
Le GPU récupère le script d'installation via un jeton signé et démarre vLLM avec sa propre clé API (stockée chiffrée), votre point de terminaison est donc sécurisé. Nous exécutons des sondes de disponibilité sur /health ; dès que vLLM est prêt, l'instance nous rappelle et le statut passe à « warm » (chaud). Vous obtenez une URL compatible OpenAI et Anthropic ainsi qu'une clé API.
Étape 4 : envoyer votre première requête
Accédez à l'instance via le Router par son slug de modèle, ou directement sur le point de terminaison de l'instance :
curl https://hostyourai.com/api/instances/<instance-id>/chat/completions \
-H "Authorization: Bearer hyai-..." \
-H "Content-Type: application/json" \
-d '{"messages":[{"role":"user","content":"Hello"}]}'L'instance étant compatible OpenAI, le SDK OpenAI fonctionne ici aussi : définissez l'URL de base sur le Router et choisissez le slug de votre modèle.
Coûts et gestion
Une instance dédiée est facturée à l'heure, mais se met en veille quand personne n'est connecté : vous ne payez pas le temps inutilisé et l'instance se réchauffe à la première requête. Votre tableau de bord affiche le statut, l'usage et les journaux. Pour ajouter du contexte issu de vos propres documents, liez une base de connaissances à l'instance, voir le guide RAG.
Repères de VRAM selon la taille du modèle
La VRAM nécessaire dépend du nombre de paramètres, de la quantification et de la longueur de contexte. Le tableau ci-dessous donne des repères pratiques ; l'étape de déploiement vérifie automatiquement le minimum, vous ne pouvez donc jamais choisir un GPU trop petit. Le catalogue actuel des modèles se trouve dans le Model Garden.
| Taille du modèle | Exemples | Repère de VRAM |
|---|---|---|
| 1 à 4B | Llama 3.2 3B, petites variantes de Qwen, Gemma 4B | 8 à 12 GB |
| 7 à 9B | Qwen3-8B, Llama 3.1 8B, Mistral 7B | 16 à 24 GB |
| 12 à 14B | Gemma 12B, Qwen 14B | 24 à 40 GB |
| 30 à 34B | Qwen 32B, variantes distillées de DeepSeek | 48 à 80 GB |
| 70B et plus | Llama 3.3 70B | 80 GB ou plus |
Dépannage
Mon déploiement reste longtemps en « warming »
Les grands modèles doivent d'abord télécharger et charger des dizaines de gigaoctets de poids, ce qui prend du temps. L'instance se signale d'elle-même dès que le contrôle de disponibilité sur /health réussit. Si le statut reste bloqué pendant des heures, consultez les journaux dans votre tableau de bord.
Le déploiement refuse mon choix de GPU
Dans ce cas, la VRAM est trop petite pour le modèle choisi. Nous estimons la VRAM minimale en amont et bloquons les GPU sous-dimensionnés, car vLLM planterait sinon au chargement. Choisissez un GPU avec plus de mémoire ou un modèle plus petit.
J'obtiens une erreur 401 sur le point de terminaison de mon instance
Chaque instance exécute vLLM avec sa propre clé API, stockée chiffrée. Si vous passez par le Router, utilisez votre clé hyai- ; elle doit être complète et sans espaces dans l'en-tête Authorization.
Mes requêtes renvoient une erreur 404
Vérifiez le point de terminaison : via le Router, l'URL de base est https://hostyourai.com/api/v1 avec le slug de votre modèle ; en direct, vous utilisez le chemin de l'instance /api/instances/<instance-id>/chat/completions.
Questions sur ce guide
Combien de temps dure un déploiement ?
En général quelques minutes. Les grands modèles prennent plus de temps car les poids doivent être téléchargés et chargés. Vous pouvez suivre le statut en direct dans votre tableau de bord et dans le Model Garden.
Dois-je continuer à payer quand personne n'utilise le modèle ?
Non. Une instance dédiée se met en veille lorsqu'elle n'est pas utilisée et se réchauffe à la première requête. Vous payez à l'heure, à l'usage ; consultez la page des tarifs.
Quels modèles puis-je déployer ?
Tout modèle ouvert disposant d'un identifiant HuggingFace, dont Llama, Qwen, Mistral, DeepSeek et Gemma. Pour en savoir plus sur l'exécution sur votre propre matériel, consultez la page instances GPU dédiées.
Puis-je lier une base de connaissances à mon instance ?
Oui. Liez une base de connaissances et chaque appel de chat reçoit automatiquement du contexte issu de vos propres documents, avec des citations de sources sur les réponses sans streaming.
Quand le Router partagé est-il plus judicieux que ma propre instance ?
Avec un trafic variable ou faible. Vous payez alors au token et ne gérez rien ; en savoir plus sur l'EU Inference Router.
