Guía de Claude Computer Use para principiantes

He estado dejando que Claude controle mi ratón y mi teclado de vez en cuando para probar esta función durante un tiempo, y la respuesta honesta es que es simultáneamente la función de IA más impresionante y más frustrante que he usado. Puede navegar por software que nunca ha visto con solo mirar la pantalla, pero lo hace más o menos a una décima parte de la velocidad que tardarías tú. Lo escribí porque nadie más parece estar cubriendo ambos lados: las partes impresionantes y las que te harán perder la tarde.

---

Por qué importa

He mantenido tres suites de pruebas de Selenium distintas a lo largo de los años, y todas tenían el mismo problema. Conectas selectores durante una semana, alguien rediseña la página de checkout y todas las pruebas se rompen porque un div se desplazó tres píxeles a la izquierda. Las herramientas de RPA tradicionales como UiPath son peores: mapeas cada elemento de UI a mano y un único rediseño lo incendia todo. La automatización de navegador al menos funciona de forma fiable, pero solo en la web, y solo cuando puedes escarbar en el HTML.

Claude Computer Use puede ayudar. No lee el DOM ni busca div#submit-btn: «mira» la pantalla real, detecta el botón que dice «Submit» y hace clic. Sin selectores, sin mapeo de elementos. El benchmark OSWorld pone números a esto: Claude pasó de menos del 15% de precisión en tareas de automatización de escritorio en 2024 a más del 72% con Sonnet 4.6, lo cual se acerca bastante a lo que un humano puntúa en el mismo test.

El hándicap es la velocidad: es brutalmente lento (y, probablemente, devorador de tokens). Pero si ya estás sumergido en el ecosistema de Claude, configurando servidores MCP en Claude Desktop o usando Claude Code para desarrollo, computer use cubre un hueco que genuinamente nada más alcanza.

Para ser justos, si estás sumergido en Claude Code no estarás interesado en (otra) superficie de control más de Claude. Lo digo en voz alta. Ya tenemos CLI, Chrome, MCPs, skills: ¿por qué necesitamos esto, exactamente?

Qué es realmente Claude Computer Use

Desnúdalo y obtienes tres cosas: capturas de pantalla de una pantalla (este es un problema difícil de resolver pero no imposible: es la captura de ventana, para quien lo haya intentado), control del ratón (clics, arrastres, desplazamiento) y entrada de teclado (escritura y atajos). Ve píxeles en una pantalla, decide qué hacer y luego dispara de vuelta una acción estructurada: «muévete a 450, 600 y haz clic». Tu aplicación ejecuta eso, toma una captura nueva y la devuelve para que Claude compruebe qué ha pasado realmente. Es como si alguien en la reunión hubiera dicho: «¿y si queremos que Claude tome el control de un Apricot de los 80?».

Eso es todo: captura, acción, verificar, repetir. Sin magia, no hace falta volverse loco profundizando en el subsistema de Windows. Si un clic falla o un menú desplegable no se abre, Claude lo detecta en la siguiente captura y lo intenta de nuevo. A tu costa.

En fin; «Claude Computer Use» significa ahora dos cosas bastante distintas. Está la herramienta de API en bruto para desarrolladores y está el producto de consumo integrado en Claude Desktop. Cubriré ambas: cuál quieres depende de lo que estés construyendo.

Cómo funciona: el bucle de capturas

La secuencia real es simple. Envías un prompt con la herramienta de computer use adjunta, Claude examina la pantalla y dispara de vuelta algo como {"action": "left_click", "coordinate": [450, 600]}. Tu aplicación ejecuta ese clic en un sandbox, toma una captura nueva y la devuelve. Claude comprueba qué ha pasado: ¿se abrió el menú desplegable? ¿Cambió la página? y elige el siguiente movimiento. El bucle termina cuando la tarea está hecha, o cuando Claude se atasca y tira la toalla.

Tampoco es gratis, obviamente. Cada uno de esos viajes de ida y vuelta de capturas quema tokens. La sobrecarga del prompt del sistema son 466-499 tokens, la definición de la herramienta añade 735 tokens y luego cada imagen de captura devora tokens de visión encima. Así que una tarea de 20 pasos con capturas en cada paso es sustancialmente más cara que una conversación de texto normal.

Un detalle sutil: el escalado de coordenadas. La API limita las imágenes a un máximo de unos 1.568 píxeles en el lado más largo, lo que significa que Claude analiza una versión reducida de tu pantalla. Si tu entorno es 1920x1080, las coordenadas de clic de Claude se calculan contra una imagen más pequeña y necesitas escalarlas de vuelta antes de ejecutar el clic real. equivócate en ese escalado y Claude falla todos los objetivos de clic, incluso cuando ha elegido el botón correcto. Esta es la herramienta equivocada para el trabajo y no espero que funcione ni para el más inútil de los operadores de ordenador humanos que invente el futuro.

API frente a Cowork

La ruta de la API (para quienes construyen)

¿Construyes un producto o envías automatización a usuarios? Quieres la API. Habilitas la cabecera beta (computer-use-2025-11-24 para Opus 4.6 y Sonnet 4.6), levantas un contenedor Docker o una VM con una pantalla virtual y conectas el bucle de la herramienta tú mismo. La implementación de referencia de Anthropic en GitHub es la forma más rápida de tener algo funcionando: incluye un entorno Linux contenerizado, las implementaciones de herramientas, el bucle del agente y una interfaz web.

Con esta ruta todo (y todos también) recae en ti: el sandbox, los permisos, las barreras de seguridad. Más control, más responsabilidad.

La ruta de Cowork (para usuarios de escritorio)

¿No construyes un producto? ¿Solo quieres que Claude haga tareas en tu máquina? Eso es Cowork. Vive dentro de la app de Claude Desktop en macOS (el soporte para Windows llega pero aún no está del todo cocinado) y necesitarás un plan Pro (20 $/mes) o Max. Activa «Computer use» en Settings > General, concede los permisos de grabación de pantalla y accesibilidad que macOS pide y listo. Podrías haber usado simplemente Desktop con unos cuantos MCPs; podrías incluso usar Claude Code en la UI (que es excelente). Pero por algo tienes otra forma más de sentir que quizá lo estás haciendo mal.

Algunas mejores noticias: existe Dispatch. Le escribes a Claude desde tu teléfono y ejecuta la tarea en tu sobremesa mientras tú estás fuera. Un hándicap: tu Mac no puede dormir. He visto a gente comprar Mac Minis específicamente para esto, solo para tenerlos en casa ejecutando trabajos de Dispatch todo el día. Pero si tienes Claude Code y la app de Claude, ya sabes que esto lleva siendo una cosa desde hace tiempo. En fin.

¿Aún no tienes Claude Desktop funcionando? Mi guía de principiantes de Claude Desktop recorre toda la configuración. Y si te preguntas por el ecosistema de MCP que Claude usa antes de recurrir al control de pantalla, he escrito sobre los mejores MCPs para Claude Desktop: esos conectores son el primer peldaño de la escalera. Más vale aprender esto bien, te lo aseguro.

Para qué lo uso realmente

Seré honesto: no uso esta herramienta. Uso Claude Code en Terminal y Claude Code en la UI de Desktop. Pruebo MCPs en Claude Desktop y descargo tareas LLM pequeñas a Hopper, mi compañero con Qwen3. No tengo planes de investigar esta función ni de usar Cowork.

Así que, en realidad, nada de esto va de otra función: va de una claridad emergente que obtengo de mi ocasional rastreo de perfiles de LinkedIn presumiendo de haber «escrito un script que predice el ciclo de ovulación de su mujer». Estoy tan harto del «vaya, mira lo que hace esta cosa que puede hacer una cosa». Es hora de madurar y trabajar duro en sacarle utilidad a todo esto antes de que inevitablemente deje de ser asequible.

---