Caso de estudio: automatizar feeds XML de empleo con IA

Actualización: en este post mencioné que estoy trabajando en un proyecto que produce feeds XML de empleo llamado YubHub: ya estamos en producción y puedes saber más sobre cómo funciona aquí.

---

Un gran problema para los sitios de tableros de empleo emergentes o enfocados en crecimiento es conseguir datos de «backfill» para poblar tu sitio.

Tu modelo de ingresos puede muy bien ser la publicidad, la venta de anuncios de empleo, pero sin el tráfico o un sitio que al menos parezca un recurso popular para buscadores de empleo, vas a tener dificultades.

Cuando estaba construyendo Fluidjobs.com, un sitio web de empleo de Motorsport, tuvimos exactamente este problema al arrancar. Construir una sección de guía de carreras y arquitecturar el sitio no fue problema en absoluto, pero conseguir datos fiables de empleo sí lo fue. El clásico problema del «huevo o la gallina» de incorporar anunciantes sin tráfico el primer día fue un reto que abordar.

La solución: construir un scraper de feeds de empleo propio, usando IA para reescribir y resumir la página del empleo para hacerlo más único para nuestro sitio.

Hoy ejecuto un ejemplo de la salida de ese feed en la página de empleos de IA de Converly.

Vídeo 3

Técnico y justificación

El ejercicio se prototipó primero en N8N, en una instancia autoalojada en un servidor VPS de Hetzner. N8N es una herramienta de flujo excelente para prototipar, particularmente porque soporta Firecrawl, mi scraper web basado en LLM de cabecera.

Sin embargo, el ejercicio de mover la plataforma a Cloudflare Workers se justificó, porque queríamos que esta app fuera API first con soporte MCP en la capa operativa. ¡Sin UI de SaaS!

Así llegó la versión 2, un sistema alojado en Cloudflare Workers con D1 con descubrimiento de empleos directamente desde las páginas de carreras del empleador. Aprende la estructura de URL de una oferta de empleo y luego hace scraping del sitio en busca de más empleos (soporta sitios basados en JS también) usando Firecrawl, antes de pasar el HTML a un worker de IA que ejecuta @cf/meta/llama-3.3-70b-instruct-fp8-fast para resumir el contenido del empleo.

El contenido está disponible en un feed XML de empleos en una aplicación multi-tenant y luego se canaliza a través de un plugin de WordPress en la demo de arriba. Fluidjobs está alojado en la plataforma Jboard y por tanto consume feeds XML de empleo. Cuesta muy, muy poco de ejecutar a pesar de procesar más de 6.000 posiciones de la industria en Gaming, Simulación e IA.

Construir una app solo MCP: sin UI

Construir servicios API es muy divertido: la integración con una UI, en mi opinión, puede ir al final.

En este caso, elegí construir la capa de control del servicio solo vía API. Un servidor MCP significa que se pueden crear, monitorizar y editar feeds nuevos vía el MCP. Esto nos da margen para usar la app a través de cualquier asistente de IA. Mi servidor de LLM local (ejecutando LM Studio) ejecutará felizmente una petición de herramienta, siempre que esté configurado correctamente para uso de herramientas:

Openweb UI ejecutando un servidor MCP personalizado

¿Qué hace esto relevante fuera de la industria del empleo?

Obtener y procesar contenido web (piensa: empleos, noticias, tendencias, finanzas) es un activo potente en tu arsenal. Ser capaz de monitorizar tendencias, extraer snippets de noticias y crear feeds vía API es una jugada fuerte de reporting o marketing de contenidos. Puedes añadir snippets dinámicos de contenido a tus páginas existentes, aumentar datos y sintetizar los tuyos propios, recuperar datos de producto, enriquecerlos y luego publicarlos.

Lo potente: usar un modelo LLM para escardar el detalle importante, traducir, enriquecer o mejorar.