On this page
¿Router o instancia dedicada?
El Router compartido es perfecto para empezar rápido y pagar por token. Elija una instancia dedicada cuando desee aislamiento, latencia predecible o un modelo concreto en su propio hardware. En una instancia dedicada, vLLM se ejecuta en una única GPU europea que es exclusivamente suya.
Paso 1: elija su modelo
Seleccione un modelo del Model Garden o pegue un ID de HuggingFace, por ejemplo Qwen/Qwen3-8B. Cada modelo necesita una cantidad de VRAM; el paso de despliegue estima la VRAM mínima y le impide elegir una GPU demasiado pequeña. Los modelos con acceso restringido (como algunas variantes de Llama) los solicitamos de forma centralizada, de modo que usted no tiene que gestionar licencias individuales.
Paso 2: configure la GPU
- Elija la VRAM y una región de GPU europea
- Nosotros obtenemos la capacidad de mercados de GPU europeos
- Generamos automáticamente un script de configuración de vLLM e iniciamos el despliegue
Paso 3: qué ocurre entre bastidores
La GPU obtiene el script de configuración mediante un token firmado e inicia vLLM con su propia clave de API (almacenada cifrada), de modo que su endpoint queda protegido. Ejecutamos comprobaciones de disponibilidad en /health; en cuanto vLLM está listo, la instancia avisa y el estado pasa a "warm". Recibe una URL compatible con OpenAI y Anthropic, además de una clave de API.
Paso 4: envíe su primera solicitud
Acceda a la instancia a través del Router mediante el slug de su modelo, o directamente en el endpoint de la instancia:
curl https://hostyourai.com/api/instances/<instance-id>/chat/completions \
-H "Authorization: Bearer hyai-..." \
-H "Content-Type: application/json" \
-d '{"messages":[{"role":"user","content":"Hola"}]}'Como la instancia es compatible con OpenAI, el SDK de OpenAI también funciona aquí: configure la URL base del Router y elija el slug de su modelo.
Coste y gestión
Una instancia dedicada se factura por hora, pero queda en reposo cuando nadie está conectado: no paga por el tiempo sin uso y la instancia se vuelve a activar con la primera solicitud. Su panel muestra el estado, el uso y los registros. Para añadir contexto de sus propios documentos, vincule una base de conocimiento a la instancia; consulte la guía de RAG.
Valores orientativos de VRAM según el tamaño del modelo
La VRAM que necesita depende del número de parámetros, de la cuantización y de la longitud del contexto. La tabla siguiente ofrece valores orientativos prácticos; el paso de despliegue comprueba el mínimo automáticamente, de modo que nunca podrá elegir una GPU demasiado pequeña. El catálogo actual de modelos está en el Model Garden.
| Tamaño del modelo | Ejemplos | VRAM orientativa |
|---|---|---|
| 1 a 4B | Llama 3.2 3B, variantes pequeñas de Qwen, Gemma 4B | 8 a 12 GB |
| 7 a 9B | Qwen3-8B, Llama 3.1 8B, Mistral 7B | 16 a 24 GB |
| 12 a 14B | Gemma 12B, Qwen 14B | 24 a 40 GB |
| 30 a 34B | Qwen 32B, variantes destiladas de DeepSeek | 48 a 80 GB |
| 70B y superiores | Llama 3.3 70B | 80 GB o más |
Solución de problemas
Mi despliegue se queda mucho tiempo en "warming"
Los modelos grandes primero tienen que descargar y cargar decenas de gigabytes de pesos, lo que lleva un tiempo. La instancia avisa por sí sola en cuanto se supera la comprobación de disponibilidad en /health. Si el estado se queda bloqueado durante horas, revise los registros en su panel.
El despliegue rechaza mi elección de GPU
Entonces la VRAM es demasiado pequeña para el modelo elegido. Estimamos la VRAM mínima de antemano y bloqueamos las GPUs de tamaño insuficiente, porque de lo contrario vLLM fallaría durante la carga. Elija una GPU con más memoria o un modelo más pequeño.
Recibo un 401 en el endpoint de mi instancia
Cada instancia ejecuta vLLM con su propia clave de API, almacenada cifrada. Si pasa por el Router, utilice su clave hyai-; debe estar completa y sin espacios en la cabecera Authorization.
Mis solicitudes devuelven 404
Compruebe el endpoint: a través del Router, la URL base es https://hostyourai.com/api/v1 con el slug de su modelo, y de forma directa se usa la ruta de la instancia /api/instances/<instance-id>/chat/completions.
Preguntas sobre esta guía
¿Cuánto tarda un despliegue?
Normalmente unos minutos. Los modelos grandes tardan más porque hay que descargar y cargar los pesos. Puede ver el estado en tiempo real en su panel y en el Model Garden.
¿Sigo pagando cuando nadie usa el modelo?
No. Una instancia dedicada queda en reposo cuando no se usa y se vuelve a activar con la primera solicitud. Se paga por hora, por uso; consulte la página de precios.
¿Qué modelos puedo desplegar?
Cualquier modelo abierto con un ID de HuggingFace, incluidos Llama, Qwen, Mistral, DeepSeek y Gemma. Puede leer más sobre cómo ejecutar su propio hardware en la página de instancias de GPU dedicadas.
¿Puedo vincular una base de conocimiento a mi instancia?
Sí. Vincule una base de conocimiento y cada llamada de chat recibe automáticamente contexto de sus propios documentos, con citas de las fuentes en las respuestas sin streaming.
¿Cuándo es más inteligente el Router compartido que una instancia propia?
Con tráfico variable o bajo. Entonces paga por token y no gestiona nada; lea más sobre el EU Inference Router.