Construir un crawler SEO libre y gratuito para LLM

Quería construir sobre mi experiencia trabajando con el SDK del protocolo MCP para ver hasta dónde podemos extender las capacidades de un asistente de IA. Decidí que me gustaría construir un crawler para comprobar la salud del «SEO técnico» de mi sitio y me topé con Crawlee, que parecía la librería ideal para basar el componente de rastreo de mi MCP.

---

Tal y como están las cosas ahora, siento que la adopción de herramientas MCP está reservada a los pocos consumidores «avanzados» de asistentes de IA. Si eres programador, sabes qué son los MCPs. Si estás empezando a aprender quizá los conozcas menos.

Hay un punto dulce en medio (espero). Gente con inclinación técnica está adoptando algo de automatización, o está investigando formas de ejecutar trabajos que de otro modo habrían llevado días de trabajo manual. Puede que estén probando Cursor, Claude Code o Claude Desktop. Este artículo, y modo de pensar, es para ti.

Sé lo que hago: enséñame el repo:https://github.com/converly/seo-crawler-mcp

Cuando era SEO de agencia, tenía un sinfín de procedimientos, sobre todo con Microsoft Excel y apps web y algunas apps de escritorio. En los primeros días, Xenu's Link Sleuth y, más tarde, Screaming Frog.

No creo que el número de personas moviendo datos manualmente de herramienta en app haya cambiado en los años desde entonces. Todos estamos atascados en el bucle de «así es como trabajo, trabajaré así para siempre».

No me gusta este tipo de pensamiento, lo que sí me gusta es explorar las alternativas.

A estas alturas, conoces Claude Desktop y cómo configurarlo para interactuar con el mundo real. Si no, lee mi guía de configuración aquí. Tener un asistente de IA configurado, con interés en explorar servidores MCP, es un prerrequisito para esta guía de usuario.

SEO Crawler MCP

Seguro que no puedes rastrear un sitio web en una app de escritorio como Claude, ¿no? No, aunque fuera posible te comerías la ventana de contexto.

¿Y si tomaras el protocolo MCP y lo usaras como envoltorio para Crawlee, httpcrawler, algunas reglas de extracción escritas por un SEO y lo conectaras todo a una pequeña base de datos SQL en Node?

«MCP» suele indicar una conexión de servidor de algún tipo. No es así con Crawlee MCP. El protocolo MCP es probablemente más potente de lo que me daba cuenta: esta es una aplicación autocontenida envuelta en el SDK de MCP que lo gestiona todo localmente:

Vídeo 3

Cómo instalarlo

Solo añade esto a tu config.json:

{
  "mcpServers": {
    "seo-crawler-mcp": {
      "command": "npx",
      "args": ["-y", "@converly/seo-crawler-mcp"],
      "env": {
        "OUTPUT_DIR": "C:\\seo-audits"
      }
    }
  }
}

Fácil y sencillo: también hay opciones para instalar localmente explicadas en el repositorio.

Ejecutar SEO Crawler desde la línea de comandos

Asumiendo que tienes Node instalado en tu PC, puedes ejecutar un rastreo mucho más grande desde la línea de comandos:

node c:\mcp\seo-crawler-mcp\build\cli.js crawl https://example.com --max-pages=2000 --depth=5 --user-agent=googlebot

Si vuelves a tu asistente de IA puedes pedirle que analice la salida. Como esta salida se almacena en la base de datos SQLite, no te matará la ventana de contexto.

Volviendo a Claude para analizar la salida de un rastreo disparado por CLI

Contribuir

Me encantaría escuchar a contribuidores, el repo se puede encontrar aquí.

Bugs/Issues

Está testeado, pero ahora que está publicado habrá feedback. ¡No te sorprendas por ráfagas de actualizaciones al repo y al paquete npm en los próximos días! Mientras escribo esto estoy subiendo un fix para atajar algunos falsos positivos en la detección de enlaces rotos. Es nuevo, ¡el feedback es de gran ayuda!

Trabaja conmigo

Trabajar en mi oficina en casa tras casi un año de investigación y noches sin dormir se está volviendo aburrido. Si tienes una idea de app o quieres intercambiar notas ponte en contacto. Estoy muy interesado en escuchar de posibles cofundadores, gente que quiere que se construya algo para agilizar su trabajo: sería genial saber de ti.