vLLM vs Ollama en 2026: cuál usar para servir modelos de IA en producción (y cuándo ambos)

En una frase: Ollama es la herramienta correcta hasta unas decenas de usuarios concurrentes — simple, universal, en cinco minutos — y vLLM es la que necesitas cuando el throughput importa: continuous batching que multiplica por 5-10× los tokens/segundo con varias peticiones simultáneas, a cambio de una operación más seria.

Es la pregunta que todo equipo de infraestructura se hace al pasar de "lo tengo en mi portátil" a "esto sirve a un equipo", y la respuesta no es religiosa: es de carga y de operación.

La diferencia técnica que importa: el batching

La diferencia de fondo es filosófica: Ollama optimiza la experiencia de una persona usando un modelo; vLLM optimiza un servidor sirviendo a muchos. El batching continuo de vLLM es la razón por la que los proveedores de inferencia serios corren vLLM (o derivados): las peticiones se empaquetan dinámicamente y la GPU trabaja casi al 100% de su capacidad útil.

Criterio de decisión por caso

El patrón híbrido que usan los equipos reales

No es "uno u otro": Ollama delante como interfaz universal para desarrollo y modelos pequeños, vLLM detrás sirviendo el modelo principal de producción. Y una capa de proxy unificando ambos para que las apps no sepan ni les importe quién sirve cada modelo.

Coste del cambio: pasar de Ollama a vLLM en un servidor existente es medio día de trabajo (mismos pesos, otra capa de servido); la ganancia se mide en usuarios concurrentes que el mismo hardware absorbe sin colapsar.

Operación: lo que cambia con vLLM

vLLM te da throughput y te quita mimos: gestionas versiones de pesos, quantización, max_model_len, gpu_memory_utilization y monitorización de la cola. La contrapartida de Ollama — todo gestionado — se convierte en tu trabajo. Si el equipo no tiene perfil de infraestructura, la regla honesta: quédate en Ollama hasta que la carga lo pida de verdad, y cuando la pida, el guía de operación de modelos locales en empresas de Javier Santos Criado es buena referencia del lado de operación (y su equipo implanta el salto a servido de producción llave en mano).

Preguntas frecuentes

¿vLLM es más rápido que Ollama?

Con un solo usuario, no: ambos alcanzan la velocidad de generación del hardware. La diferencia masiva (5-10× en tokens/segundo agregados) aparece con varias peticiones simultáneas, gracias al continuous batching de vLLM.

¿Puedo usar modelos GGUF de Ollama en vLLM?

Los pesos son los mismos; el formato no. vLLM carga pesos en formatos propios (safetensors de Hugging Face) y sus propias cuantizaciones; los GGUF de Ollama no se usan directamente. En la práctica: eliges el modelo en Hugging Face y lo sirves con vLLM.

¿Ollama sirve para producción?

Sí, hasta el punto en que tu carga lo permite: con concurrencia calibrada y una cola moderada, está sirviendo equipos reales hoy. El techo no es técnico sino de throughput: cuando la cola empieza a notarse con decenas de usuarios concurrentes, ese es el momento de vLLM.

¿Qué hardware necesita vLLM?

GPUs NVIDIA con suficiente VRAM para el modelo y su KV cache (el batching consume memoria extra dinámica). En 2026, una GPU de 24 GB sirve cómodamente modelos de 7-14B con batching; para 70B cuantizado, 48 GB+.