Mejores GPUs para LLM locales (2026): memoria y VRAM

Una RTX 3090 de segunda mano es el suelo para trabajo serio con LLM locales en 2026. Tengo una en mi máquina de desarrollo para el trabajo con modelos pequeños: puntuación con DeBERTa, embeddings con Granite, cualquier cosa que necesite inferencia rápida en tamaños pequeños, y cuatro años después sigue ganándose su sitio. Por debajo de 24 GB de VRAM estás atascado en modelos más pequeños. Por debajo de aproximadamente 900 GB/s de ancho de banda, la generación de tokens se arrastra en cualquier cosa por encima de un 7B, y es del tipo de arrastre que notas a los diez segundos del primer prompt.

Dos especificaciones deciden una compra de GPU para LLM local: ancho de banda de memoria (GB/s) y capacidad de VRAM (GB). El ancho de banda rige la velocidad a la que salen los tokens. La VRAM rige el tamaño del modelo que cabe. Hace tres años la respuesta era más simple: compra la mayor VRAM que pudieras permitirte y convive con lo que viniera con ella. El mercado de 2026 ha madurado, sin embargo, y la tarjeta correcta ahora depende de cuál de esas dos especificaciones necesitas más.

Por qué el ancho de banda de memoria importa más que el cómputo (casi siempre)

La generación de tokens de un LLM está limitada por el ancho de banda de memoria, no por el cómputo. Durante la fase de decodificación, cada token después del primero, la GPU pasa la mayor parte del tiempo esperando lecturas de memoria, no haciendo aritmética. Una tarjeta con un 60% más de TFLOPS y el mismo ancho de banda genera tokens a casi la misma velocidad que la tarjeta más lenta. Una tarjeta con un 78% más de ancho de banda y cómputo similar los genera cerca de un 78% más rápido. La columna de TFLOPS es sobre todo una estadística de vanidad para esta carga de trabajo.

La salvedad: el prefill está limitado por cómputo. El prefill es lo que ocurre antes de que vuelva ningún token: el modelo lee e incrusta tu prompt para construir la caché KV. En un prompt corto de chat es invisible. En un contexto de 16k tokens con un documento RAG grande no lo es en absoluto, y escala con TFLOPS en lugar de con GB/s. Una 4090 supera a una 3090 de forma notable en tiempo al primer token a pesar de que sus velocidades de generación son casi idénticas. El chat interactivo rara vez lo nota; los flujos de trabajo agenticos que reprocesan contextos largos en cada turno, muchísimo.

El ancho de banda rige la velocidad a la que salen los tokens. El cómputo rige la velocidad a la que empiezan. La mayor parte del trabajo con LLM local que hago está dominado por la decodificación, así que el ancho de banda es la lente principal, pero si vives en territorio de contexto largo (RAG grande, bucles agenticos sobre codebases enormes), no ignores los TFLOPS solo porque el copy de marketing los sobrevalore. Noto el techo de ancho de banda a diario en hopper, donde las tarjetas de estación de trabajo RTX 4500 Ada llegan como mucho a 432 GB/s por tarjeta, muy por debajo de los 936 GB/s de la 3090. El segmento de tarjetas de estación de trabajo intercambia ancho de banda en bruto por ECC, densidad, refrigeración blower y fiabilidad bajo carga sostenida, y lo notas en cada generación larga.

La hoja de especificaciones que importa:

Las columnas de TFLOPS en los decks de los fabricantes son números reales: simplemente no son los números que rigen los tokens por segundo en un solo usuario. Importan para el prefill, el entrenamiento y el servicio por lotes. No mueven la generación de usuario único, que es lo que a la mayoría de usuarios de LLM local le importa.

Los benchmarks de LLM en RTX 5090 de Hardware Corner miden 102,7 tokens por segundo en Qwen3 14B a Q4_K y contexto de 16k. La RTX 4090 en cargas similares se sitúa en el rango de 55-65 tok/s. La ratio sigue a la ratio de ancho de banda (1.792 / 1.008 = 1,78) pero no la alcanza de forma neta: espera algo en la banda del 70-90% del escalado teórico una vez la sobrecarga de lanzamiento de kernels, la eficiencia del framework y las transferencias PCIe erosionan el máximo. La matemática pura de ancho de banda es el límite superior, no el número que verás en un medidor.

Prioriza GB/s para velocidad de decodificación, TFLOPS para velocidad de prefill, GB para tamaño del modelo. Si la hoja de especificaciones de una tarjeta lidera con RT cores o benchmarks de gaming, es un documento de marketing, no una guía de compra para esta carga de trabajo.

Cuánta VRAM necesitas

La VRAM decide qué modelos puedes ejecutar y con qué calidad. Niveles prácticos en 2026 a cuantización de 4 bits (el estándar del practicante), con algo de presupuesto de contexto reservado:

Q4 K M (la cuantización de 4 bits a la que recurre la mayoría de practicantes) es el suelo práctico. Comprime los pesos del modelo a aproximadamente 4 bits cada uno con mínima pérdida de calidad. Q6 y Q8 conservan más precisión y producen una salida notablemente mejor para código y razonamiento: la diferencia merece la pena si tu trabajo depende del modelo. 96 GB importa no porque de repente ejecutes modelos más grandes, sino porque ejecutas el mismo 70B en Q6 en lugar de Q4, y ese salto de calidad es lo que justifica el precio.

La pregunta que debes hacerte al dimensionar no es «qué modelo quiero ejecutar hoy» sino «qué modelo quiero seguir ejecutando holgadamente dentro de 18 meses». Los modelos siguen creciendo. 13B era el diario en 2024. 30-34B es el diario en 2026. Planifica el próximo salto, porque el siguiente ya está en entrenamiento.

Las tarjetas que merecen la compra en 2026

Cinco GPUs cubren el rango práctico. Cualquier otra cosa o bien merece esperar una generación, o ha sido superada lo suficiente como para que el mercado de segunda mano sea la mejor entrada.

RTX 3090 de segunda mano: el suelo (~700-900 $)

24 GB GDDR6X. 936 GB/s. De 2020 y, sinceramente, aún ganándose su sitio en 2026.

Esta es la tarjeta que uso a diario. Vive en mi máquina de desarrollo y se encarga de la carga de modelos pequeños que ejecuto todo el tiempo: DeBERTa-v3-large para la pasada de puntuación de detección de IA que ejecuto sobre artículos en borrador, Granite para embeddings, cualquier cosa en el rango 7B-13B de la que quiero respuestas rápidas sin cruzar la red hacia mi estación de trabajo LLM dedicada. Para una tarjeta de segunda mano de 700-900 $, hace una cantidad irrazonable de trabajo.

Las 3090 de segunda mano son la ruta más limpia por debajo de 1.000 $ hacia 24 GB. La 4080 (16 GB) y la 4070 Ti (12 GB) se venden como tarjetas «aptas para IA», pero el techo de VRAM golpea rápido en cualquier cosa de 13B para arriba. Una vez golpeado ese techo, ningún copy de marketing te devuelve por debajo de él. La capacidad extra de la 3090 es lo que la convierte en mejor punto de partida para trabajo con LLM, aunque sea más antigua y más ruidosa.

Por qué una 3090 aún supera a la mayoría de tarjetas de gama media más nuevas para inferencia de LLM:

• 24 GB es el mínimo práctico para trabajo serio con modelos de 13-30B
• 936 GB/s: solo ~7% por detrás de la 4090 en generación de tokens
• Amplio mercado secundario: fácil de conseguir, fácil de reemplazar, fácil de emparejar
• TDP de 350 W calienta y quiere una fuente de 1.000 W, que es el intercambio

Por debajo de 1.000 $, esta es la respuesta. No hay un segundo puesto que merezca mención.

Dual RTX 3090: la jugada de valor (~1.400-1.800 $)

Dos 3090 de segunda mano te dan 48 GB combinados y te permiten ejecutar modelos de 70B en Q4. La ruta más barata al nivel 70B, punto. La VRAM más alta por libra del mercado, y la diferencia con la siguiente opción más barata (la 4090 D modificada) no es pequeña.

Mi propia experiencia multi-GPU vive en un nivel de tarjeta distinto: hopper ejecuta varias tarjetas RTX 4500 Ada Generation en un Threadripper con 256 GB de memoria de sistema, alojando Qwen Coder Next a contexto de 120k vía LM Studio. Tarjetas distintas, perfil de ancho de banda distinto (la 4500 Ada son 432 GB/s ECC por tarjeta frente a los 936 GB/s de grado consumo de la 3090), pero la experiencia multi-GPU en sí: aprovisionamiento de work-trees, restricciones de topología PCIe, dimensionado de fuente, refrigeración bajo carga sostenida, es algo con lo que convivo a diario. La matemática de escalado de abajo sigue lo que veo en ese equipo, con la salvedad de que el número específico de 1,6-1,8x de NVLink en paralelismo de tensores es un resultado específico de pareja de 3090 de los informes de practicantes, no un número que haya medido personalmente. El enfoque, sin embargo, se sostiene: NVLink es la razón por la que la configuración dual-3090 sigue funcionando.

¿Por qué NVIDIA retiró NVLink de la 4090 y la 5090? Para proteger las ventas de datacenter. La 3090 lo soporta (un puente bidireccional de 112 GB/s entre dos tarjetas), y esa interconexión es lo que permite que el paralelismo de tensores en una configuración de dos tarjetas escale correctamente. Sin él, una pareja de 4090, una pareja de 5090, recurres a repartir capas a través del bus PCIe, que es aproximadamente una treintava parte del ancho de banda de la VRAM y se convierte en un cuello de botella brutal en un minuto de trabajo real.

La historia de escalado depende de la estrategia de paralelismo que use tu motor de inferencia:

• Paralelismo de tensores sobre NVLink (la configuración correcta para dos 3090): casi lineal en generación de tokens, a menudo 1,6-1,8x en una configuración de 2 tarjetas
• Paralelismo de pipeline sobre PCIe (el recurso cuando no tienes NVLink, p. ej. dual 4090): típicamente 0,5-0,7x de una tarjeta única en velocidad de generación porque el bus PCIe Gen4 x16 (~32 GB/s) se convierte en el cuello de botella frente a la VRAM (~1 TB/s)

El ancho de banda no se combina en ningún caso: 936 GB/s por tarjeta, no 1.872. Lo que se combina es la capacidad: 48 GB de VRAM usable al precio más barato posible, que es el valor real aquí.

Otras salvedades:

• Un puente NVLink de 3 ranuras cuesta ~80-150 $: inclúyelo en el presupuesto; no puedes añadir NVLink a dos 3090 a posteriori sin uno
• Dos slots físicos x16 y una fuente de 1.300 W+ es el mínimo realista, con margen
• Calienta, hace ruido y consume 700 W bajo carga sostenida. No es un montaje silencioso.
• Tres slots de hueco físico por tarjeta; apilar dos 3090 con refrigeración axial sin espacio ahoga la tarjeta superior en pocos minutos

Dos 3090 con un puente NVLink por ~1.700 $ en total te dan 48 GB con un escalado decente. Una tarjeta nueva que iguale eso cuesta cuatro veces más, que es la matemática que ha mantenido el precio de segunda mano de la 3090 obstinadamente alto durante toda la vida de la 4090.

RTX 4090: mainstream sólido (~1.800-2.500 $)

24 GB GDDR6X. 1.008 GB/s. No he tenido una 4090 personalmente: para cuando necesité subir del techo de 24 GB de la 3090, la 5090 había aterrizado y la matemática cambió. El ranking comparativo de Hardware Corner sitúa a la 4090 en el 77% del rendimiento de generación de tokens de la 5090 en su conjunto de pruebas, lo cual sigue la ratio de ancho de banda casi exactamente.

El caso para la 4090 en 2026 es sobre todo que los precios de segunda mano han bajado. Si encuentras una al precio adecuado no te estás equivocando. La 5090 existe, sin embargo, y la diferencia de ancho de banda es lo bastante real para cambiar la recomendación a la mayoría de compradores nuevos.

Caso para la 4090 frente a la 5090 en 2026:

• Disponible de segunda mano a precios notablemente más bajos que la 5090
• Drivers maduros, refrigeración secundaria madura, sin fricción de early adopter
• Se acomoda en una fuente de 750 W (la 5090 quiere 1.000 W+ y un circuito de refrigeración serio)
• Misma VRAM que la 3090, 7% más de ancho de banda: un paso real pero modesto

Caso en contra:

• Los 32 GB de la 5090 meten 30-34B en Q6; la 4090 se queda en Q4 para esos mismos modelos
• La diferencia de ancho de banda (1.008 frente a 1.792) es el salto mayor entre generaciones que NVIDIA ha lanzado en años
• Para inferencia, la 5090 se sitúa en un nivel de velocidad distinto: no es una diferencia de spec de gaming, es una diferencia de trabajo real

Nueva hoy, salta a la 5090. De segunda mano al precio adecuado, para un montaje que se retirará en 18 meses, la 4090 está bien.

RTX 4090 D 48GB modificada: el caballo oscuro (~4.000 $+)

Me encantaría un par de estas en hopper, pero el presupuesto de estación de trabajo aún no está, así que lo que sigue es mi lectura de la cobertura publicada más que una tarjeta con la que haya convivido.

¿Y si prefieres 48 GB en una sola tarjeta? Ahí es donde esto se vuelve interesante y un poco raro. El análisis de la modificación de 48 GB de Hardware Corner es el reporte más limpio que he visto sobre qué ocurre dentro de estas cosas. Los modders usan un PCB más largo con pads de memoria a ambos lados, poblado de 24 chips GDDR6X en total (12 delante, 12 detrás): lo que Hardware Corner llama «una filosofía de diseño de PCB reminiscente de la antigua RTX 3090». Esa es la referencia correcta. La 3090 usaba el mismo diseño de memoria a doble cara para alcanzar 24 GB con chips de menor densidad. Injertar ese enfoque en el núcleo AD102 moderno es ingenioso, y el hecho de que las tarjetas funcionen con drivers estándar de NVIDIA, gracias a herramientas internas filtradas (MATS y Mods) que pueden parchear la BIOS sin romper las comprobaciones de firma del driver, explica por qué se han distribuido a escala en lugar de morir como prototipos puntuales.

El ancho de banda de memoria se mantiene en el estándar de la 4090, ~1 TB/s. La review de Hardware Corner midió la temperatura de GPU en ~70 °C bajo carga sostenida, hotspot en 78 °C, memoria en 86 °C, con el refrigerador blower de doble slot alcanzando 65 dB. Esos números térmicos coinciden con lo que esperaría de un diseño de 24 chips consumiendo 350 W, y los 65 dB importan porque eso es territorio acústico industrial, no de sobremesa. Si estás montando un equipo silencioso para el estudio, esta es la tarjeta equivocada.

La cuestión de longevidad sobre la que querría claridad antes de comprometer 4.000 $ es el propio dado de la GPU. El revisor de Hardware Corner describe el silicio como «ligeramente bien hecho»: reacondicionado a partir de tarjetas usadas, práctica estándar en este mercado pero que vale la pena conocer. Coincido con su lectura sobre el intercambio central que estas tarjetas fuerzan: obtienes 48 GB en una sola tarjeta a aproximadamente la mitad de precio de una RTX Pro 6000 Blackwell, pero confías en una cadena de suministro no oficial y en un núcleo de GPU reacondicionado. La Pro 6000 trae la garantía de NVIDIA. Esta trae la reputación del modder.

Dónde gana la 4090 D modificada, parafraseando el enfoque comparativo de Hardware Corner:

• vs. dual RTX 3090: simplicidad de una sola tarjeta, sin puente NVLink que conseguir, un refrigerador blower que cabe en cajas más ajustadas («físicamente más fácil de apilar que dos 3090/4090 de gaming»)
• vs. L40/A40 de datacenter de segunda mano (también 48 GB, refrigeración pasiva para chasis de servidor): ancho de banda comparable en ~900-1000 GB/s, pero precios de segunda mano que «pueden ser muy caros, potencialmente superando el coste de la 4090 modificada». Para un montaje de sobremesa, la tarjeta modificada es notablemente más llevadera
• vs. RTX Pro 6000 Blackwell: mitad de precio por dos tercios del ancho de banda, sin garantía, incertidumbre de suministro a cambio de una-tarjeta-en-lugar-de-dos

Para alguien que necesita 48 GB en una sola tarjeta ahora, ha hecho los deberes sobre la escena de modding y acepta el perfil de riesgo de modificación no oficial, esta es una opción real. Para cualquiera que necesite soporte de garantía o suministro estable, les apuntaría a la Pro 6000 (o dos 3090 con NVLink) en su lugar.

RTX 5090: el nuevo buque insignia (~2.200-3.500 $)

32 GB GDDR7. 1.792 GB/s. El mayor salto de ancho de banda que NVIDIA ha lanzado en años y, para inferencia local de LLM de usuario único, la mejor tarjeta nueva a precio de consumo en 2026.

Aún no he puesto una 5090 en mi propia máquina (el presupuesto de estación de trabajo sigue apuntándome a otras cosas primero), así que los números de abajo vienen de los benchmarks de LLM testados de Hardware Corner en lugar de mis propias mediciones. Su resumen la llama «una contendiente fuerte, que ofrece un rendimiento significativamente mayor y más contexto utilizable que sus predecesoras en nuestras pruebas», particularmente para «ejecutar los últimos modelos Qwen 3.5 en flujos agenticos, donde esa velocidad extra y el manejo de contexto marcan una diferencia tangible». Su rendimiento medido: 102,7 tokens por segundo en Qwen3 14B a Q4 K, contexto de 16k. La tarjeta maneja Qwen3 32B a Q4 K completamente en VRAM y el modelo gpt-oss 120B en MXFP4 a contexto completo de 128K.

Por qué la 5090 encaja para la mayoría de compradores serios:

• 78% más de ancho de banda que la 4090 se traduce en aproximadamente 78% más tokens por segundo en el mismo modelo
• 32 GB mete 30B en Q6 (territorio de calidad) en lugar de Q4, que es donde la calidad de salida empieza a notarse distinta
• GDDR7 es la historia arquitectónica del resto de esta generación: GDDR6X es ya la era anterior
• Drivers y soporte secundario están lo bastante maduros para no tener incidentes

Salvedades:

• TDP de 575 W quiere una fuente de 1.000 W+ y refrigeración seria: no es una tarjeta pequeña con la que convivir
• El precio de calle aún varía mucho con la disponibilidad, así que el número titular de arriba es un objetivo móvil
• 32 GB no cubre 70B en Q4, lo que te empuja a territorio multi-GPU o de 4090 D modificada

2.500-3.500 $ en una sola tarjeta, sin ejecutar 70B+: esta es la tarjeta que comprar.

RTX Pro 6000 Blackwell: nivel estación de trabajo (~8.500-10.000 $)

Me encantaría una Pro 6000 Blackwell en hopper, tanto para consolidar la configuración multi-4500-Ada en simplicidad de una sola tarjeta como para subir del nivel de estación de trabajo de 432 GB/s por tarjeta al nivel GDDR7 de 1.792 GB/s. El presupuesto de estación de trabajo aún no está. Así que esta es la sección donde estoy leyendo cuidadosamente las mediciones de otros y aplicando lo que sé sobre los intercambios de ancho de banda/VRAM por ejecutar el nivel de estación de trabajo yo mismo, justo un peldaño por debajo en la escalera de ancho de banda.

96 GB GDDR7 ECC. 1.792 GB/s. Mismo ancho de banda que la 5090, el triple de VRAM. Como dijo Linus Tech Tips en su análisis hands-on de febrero de 2026, que solo pudieron hacer porque Falcon Northwest les prestó una estación de trabajo Talon con la tarjeta preinstalada, ya que NVIDIA nunca envió la Pro 6000 para review: «la RTX Pro 6000 puede alojar modelos mucho más grandes en VRAM de lo que la 5090 jamás podría soñar en ejecutar eficientemente». Para trabajo con LLM específicamente, esa frase es la tesis entera de esta tarjeta.

El ranking de rendimiento relativo de Hardware Corner sitúa a la Pro 6000 en el 94% del rendimiento de generación de tokens de la 5090: a la distancia de un grito, porque el ancho de banda es idéntico y la única diferencia de spec relevante para inferencia es el techo de VRAM. La capacidad que importa vive en esa VRAM extra:

• 70B en Q6 o Q8 en lugar de Q4: salida notablemente mejor para código y razonamiento, y la diferencia se nota la primera vez que la usas
• Modelos clase 120B en Q4 (GPT-OSS, Qwen3-VL-235B, etc.)
• Varios usuarios desde una sola tarjeta con inferencia por lotes: la historia del equipo pequeño
• Más de 240 tokens por segundo en 120B en cuantización MXFP4, según informes de practicantes en r/LocalLLaMA, lo cual es propiamente rápido para un modelo tan grande
• Memoria ECC importa en tareas de larga duración donde los bit-flips se acumulan y no quieres perseguir un fantasma

Economía:

• 8.500-10.000 $ de retail la sitúa firmemente en territorio de estación de trabajo, no de entusiasta
• TDP más bajo que la 5090 en la práctica: la inferencia consume muy por debajo del TDP nominal porque la carga está limitada por ancho de banda, no por cómputo. Eso coincide con el patrón general en el nivel 5090, donde las tarjetas rara vez alcanzan su consumo anunciado bajo cargas de inferencia
• El precio de estación de trabajo viene con fiabilidad de estación de trabajo: la diferencia importa en trabajo agentico sostenido que corre durante horas
• El valor de reventa se sostiene mejor que las tarjetas de consumo, lo cual suaviza algo el precio aunque no mucho

Dos salvedades de flujo de trabajo nada obvias que LTT sacó a la luz en esa misma review y que no se obtienen de las hojas de spec:

• Sin salida HDMI. La Pro 6000 se envía solo con DisplayPort. LTT tuvo que conseguir un adaptador DisplayPort-a-HDMI sin marca para alimentar su pantalla de pruebas, que sospechan introdujo desplazamientos de color en su pasada de Cyberpunk a 8K. Si tu monitor es solo HDMI, incluye un adaptador activo de calidad en el presupuesto antes de que llegue la tarjeta.
• La cadencia de drivers es distinta. Como dice Linus, «las tarjetas Quadro y RTX Pro usan un instalador distinto y drivers separados que no se actualizan con tanta regularidad» que los drivers GeForce Game Ready / Studio a los que la mayoría está acostumbrada. Para una tarjeta que va a pasar su vida sirviendo inferencia, eso está en gran medida bien. Para cargas mixtas pro-plus-gaming, es lo que pilla a la gente.

La línea de veredicto de LTT es el enfoque más limpio que he leído sobre para quién es esta tarjeta: «Es la tarjeta más rápida que puedes poner en un slot PCIe, y no tendrá sentido para todo el mundo». Coincido con esa lectura. Para servicio en equipos pequeños, flujos agenticos de calidad de código o superar el límite de 48 GB en una sola tarjeta, esta es la respuesta. Para trabajo de entusiasta en solitario es excesivo, y la diferencia se gasta mejor en RAM, NVMe y una 5090. La lectura honesta: si mi flujo de dev alguna vez justifica el gasto, esta es la tarjeta a la que apuntaría en hopper. Pero la matemática tiene que cuadrar con el trabajo que haría.

¿Qué pasa con las tarjetas NVIDIA de nivel estación de trabajo (RTX 4500/5000/6000 Ada), AMD o Apple Silicon?

NVIDIA RTX 4500/5000/6000 Ada Generation es la línea de tarjetas de estación de trabajo que se sitúa por debajo de la Pro 6000 Blackwell en precios que el artículo de arriba no ha cubierto, y es el equipo que ejecuto en hopper. La 4500 Ada son 24 GB ECC a 432 GB/s (TDP de 200 W), la 5000 Ada son 32 GB ECC a 576 GB/s, la 6000 Ada son 48 GB ECC a 960 GB/s. Los intercambios frente a tarjetas de consumo: menor ancho de banda por tarjeta, memoria ECC, refrigeradores blower para apilar, drivers certificados y TDP significativamente más bajo. Si quieres una estación de trabajo multi-GPU que corra silenciosa y fiable bajo carga sostenida, la línea Ada de estación de trabajo es la ruta. Si quieres el máximo de tokens por segundo por dólar, la pila de consumo 3090/5090 es más rápida. Compra el nivel de estación de trabajo cuando ECC, densidad y fiabilidad sostenida importen más que el rendimiento bruto de usuario único.

AMD MI300X / MI325X es la tarjeta de datacenter con 5.300 GB/s de ancho de banda: más rápida, sobre el papel, que cualquier cosa de la línea de consumo de NVIDIA. También cuesta más de 20.000 $, se envía en formatos rackmount y tiene un ecosistema de inferencia menos maduro (vLLM y TGI funcionan bien; el soporte del día 1 para nuevos lanzamientos de modelos va sistemariamente por detrás de CUDA). Hardware empresarial, no una respuesta de «mejores GPUs para LLM locales».

Apple M3 Max / M4 Max / M4 Ultra es la outsider interesante, y no he testado personalmente ninguno para trabajo con LLM. La arquitectura de memoria unificada de Apple significa que un Mac Studio con 64 GB o 128 GB de memoria unificada aloja modelos grandes y, a diferencia de NVIDIA, la memoria se comparte entre CPU y GPU en lugar de particionarse a VRAM. Esa es una ventaja arquitectónica real si tu flujo puede aprovecharla. La historia de ancho de banda:

• M3 Max: ~400 GB/s
• M4 Max: ~546 GB/s
• M4 Ultra: ~1.024 GB/s

Un Mac Studio M4 Ultra se sitúa en el mismo ballpark de ancho de banda que una 4090, con hasta 256 GB de memoria unificada disponible. Los hándicaps son reales, sin embargo: MLX (el framework de inferencia de Apple Silicon) mejora rápido pero aún no está a la profundidad de CUDA, y ejecutar 70B+ en Apple Silicon es notablemente más lento que en una 5090. Ancho de banda distinto, pila de software distinta, experiencia de trabajo distinta.

¿Ya tienes un Mac Studio? Sacarle provecho sin comprar un equipo aparte es un movimiento sensato. ¿Comprando hardware nuevo específicamente para trabajo con LLM? NVIDIA es más rápido, mejor soportado y mejor de precio por GB de VRAM capaz. La matemática simplemente cae ahí.

Qué compraría

Tres de las que evitaría:

• Cualquier tarjeta de generación actual por debajo de 24 GB. La 5070, la 5070 Ti y la 5080 son tarjetas de gaming excelentes, pero el techo de 16 GB golpea rápido en cualquier cosa de 13B para arriba.
• Una 4090 antigua a precios cercanos a la 5090. Paga el pequeño sobreprecio y llévate el ancho de banda.
• Una tarjeta de estación de trabajo que no necesitas. La RTX Pro 6000 Blackwell es excesiva si tu mayor carga es 30B en Q4. Gasta la diferencia en RAM, NVMe y una 5090.

Errores comunes

1. Gastar en TFLOPS en lugar de en ancho de banda. La columna de TFLOPS se lleva el espacio de marketing. La columna de GB/s rige tu experiencia real. Los precios suelen reflejarlo, pero vale la pena comprobarlo antes de comprometerse.

2. Comprar para el modelo que ejecutas hoy. Los modelos siguen creciendo, y más rápido de lo que la mayoría espera. El 7B que ejecutas ahora es el 30B que ejecutarás en 18 meses. 16 GB porque «Mistral 7B cabe» es una decisión de un año. 24 GB mínimo es una decisión de tres años, y tres años es para lo que deberías planificar. Compré mi 3090 en 2022 cuando 13B era el objetivo sensato; me ha llevado a cargas de trabajo de clase 30B cuatro años después, que es el tipo de longevidad para la que hay que planificar.

3. Olvidar el resto del equipo. Una 5090 con una fuente de 750 W se cae bajo carga, y una caída a mitad de inferencia no es un modo de fallo silencioso. Una 4090 D 48GB modificada en una caja sin flujo de aire se ahoga en minutos. Presupuesta 200 W de margen en tu fuente por encima del TDP de la GPU. Planifica hueco de tres slots. La tarjeta no es todo el equipo.

4. Asumir que dual-GPU escala de forma lineal. Dos 3090 con NVLink y paralelismo de tensores sí escalan cerca de 2x en generación de tokens. Dos 4090 sin NVLink, recurriendo a paralelismo de pipeline sobre PCIe, caen a aproximadamente la mitad de la velocidad de generación de una sola tarjeta, porque PCIe es una treintava parte del ancho de banda de la VRAM y se convierte en el cuello de botella de inmediato. La capacidad (48 GB) es la ganancia genuina en cualquier caso. La velocidad depende por completo de qué interconexión tengas y qué motor de inferencia uses.

Por dónde seguir

Elige el nivel que coincida con tu presupuesto y tu objetivo de tamaño de modelo. ¿Atascado entre dos niveles adyacentes? Casi siempre, compra el mayor. El margen de ancho de banda y VRAM se paga a sí mismo a lo largo de la vida de la tarjeta, y te lo agradecerás en 18 meses cuando aterrice el próximo salto de modelo.

Un equipo de 24 GB ejecuta cualquier modelo abierto interesante desde Llama-clase 13B hasta 30-34B en Q4 usable: es donde vive mi máquina de dev y donde ocurre la mayor parte del trabajo del practicante. Un equipo de 48 GB abre la puerta del 70B. Un equipo de 96 GB abre todo lo que se envía actualmente como pesos abiertos, más la historia del servicio multiusuario.

Para el lado software, LM Studio es la rampa de entrada más limpia sin conocimientos técnicos. Pon el modelo a funcionar ahí primero y luego añade el resto encima. Es lo que ejecuto en hopper como servidor LLM detrás de mi flujo de Claude Code + MCP, y simplemente funciona. Para el montaje en sí, la guía de mejores PCs para IA local cubre lo que va alrededor de la GPU.

Acerta con el ancho de banda. El resto es configuración.