45 modelos en Q4 · presupuesto de 12 GB

Modelos de IA local para 12GB de VRAM

12 GB desbloquea la clase 12B–14B en Q4 y deja margen para el contexto. Es el paso natural desde una tarjeta de 8 GB sin saltar directamente a los 16 GB de una workstation.

Encaje típico: Modelos densos de 12B–14B, o mezclas de expertos más pequeñas. · Ejemplo:RTX 4070

Estos tamaños asumen Q4_K_M más un pequeño overhead de runtime.Califica el catálogo completo en tu máquinaoelige una GPU concreta.

Preguntas frecuentes

¿Qué puedo ejecutar en una GPU de 12GB?
La mayoría de modelos instruct de 12B–14B en Q4, además de 7B–9B con mayor calidad. Los modelos de imagen compactos corren bien. El vídeo todavía pide más memoria.