Una herramienta informática de anotación de documentos destinada a apoyar a los expertos en la anotación manual de documentos con metadatos completos.

El Deliverable D3.1 presenta el EU-ALMPO Documents Annotation Tool, una herramienta asistida por Inteligencia Artificial (IA) desarrollada en el marco del Paquete de trabajo nº3 para apoyar a los expertos en la anotación de documentos sobre políticas activas del mercado laboral (ALMP) mediante metadatos estructurados.

Basándose en el trabajo analítico y de recopilación de datos del proyecto, la herramienta ayuda a transformar una amplia colección de estudios, informes de política y materiales de evaluación en una base de conocimiento validada e interpretable por máquinas. Al combinar la anotación basada en Grandes Modelos Lingüísticos (Large Language Models – LLM, por sus siglas en inglés) con la validación humana por parte de expertos, facilita la búsqueda, el análisis y la reutilización de evidencias de política, manteniendo al mismo tiempo a los expertos en control de los resultados finales.

La base de conocimiento anotada apoyará el Observatorio EU-ALMPO y los futuros servicios basados en IA, incluido el Interactive ALMP Design Wizard.

Por qué es importante

Este deliverable es importante porque las herramientas de política apoyadas por IA fiables dependen de evidencias fiables y estructuradas.

El conocimiento sobre las políticas activas del mercado laboral (ALMP) se encuentra actualmente disperso entre estudios académicos, informes de política, evaluaciones y documentos institucionales, que a menudo utilizan terminologías y formatos diferentes. El deliverable 3.1 aborda este problema transformando documentos complejos y no estructurados en una base de conocimiento validada, que puede buscarse, compararse y reutilizarse.

Al combinar la anotación asistida por con la validación humana por parte de expertos, la herramienta mejora la eficiencia del procesamiento de evidencias sin eliminar el juicio experto del proceso. Esto es esencial para construir servicios de IA fiables dentro del Observatorio EU-ALMPO, incluidas futuras herramientas como el Interactive ALMP Design Wizard.

En la práctica, el deliverale 3.1 contribuye a garantizar que las futuras recomendaciones y análisis generados por la plataforma se basen en evidencias trazables, relevantes para las políticas y validadas por expertos.

Información clave

Objetivos

Transformar el corpus heterogéneo de documentos sobre políticas activas del mercado laboral (ALMP) en una base de conocimiento estructurada, reutilizable e interpretable por máquinas.
Diseñar y aplicar una taxonomía multidimensional de anotación que recoja instrumentos de política, grupos destinatarios, objetivos, resultados y evidencias de evaluación.
Desarrollar una herramienta de anotación asistida por IA que combine la anotación automática basada en Grandes Modelos Lingüísticos (LLM) con la validación humana por parte de expertos, garantizando precisión, trazabilidad y transparencia.
Producir un dataset estructurado y validado, capaz de alimentar los componentes basados en IA y Generación Aumentada por Recuperación (RAG, por sus siglas en inglés) de la plataforma EU-ALMPO, en particular el futuro ALMP Design Wizard.

Destinatarios

Responsables de la formulación de políticas implicados en el diseño, la adaptación y la evaluación de las políticas activas del mercado laboral (ALMP).
Servicios Públicos de Empleo e instituciones del mercado laboral.
Investigadores y analistas de políticas que trabajan en ALMP, adecuación de competencias y evidencias sobre el mercado laboral.
Profesionales del mercado laboral implicados en la implementación de políticas y la prestación de servicios.
Socios del consorcio EU-ALMPO que contribuyen a la base de conocimiento y al Observatorio del proyecto.
Equipos técnicos que desarrollan la plataforma digital EU-ALMPO, las herramientas basadas en IA y el futuro ALMP Design Wizard.

Usuarios finales

Curador de Datos: expertos de dominio, incluidos investigadores y analistas de políticas, que revisan, corrigen y validan las anotaciones generadas por la IA.
Curador Principal de Datos: expertos senior que supervisan el proceso de anotación y garantizan la calidad, la coherencia y la fiabilidad metodológica del dataset anotado.
Expertos del consorcio EU-ALMPO responsables de transformar documentos de política en conocimiento estructurado y validado.
Investigadores y analistas que utilizarán la base de conocimiento anotada para apoyar el análisis de las políticas activas del mercado laboral (ALMP) basado en evidencias.
Socios técnicos que integrarán el dataset validado en el Observatorio EU-ALMPO y en las futuras herramientas basadas en IA.

Palabras clave →

Política
Políticas activas del mercado laboral (ALMP) | Evidencias de política | Validación por expertos | Base de conocimiento sobre el mercado laboral

Análisis
Anotación de documentos | Taxonomía | Metadatos | Conocimiento estructurado | Análisis basado en evidencias

IA
Anotación asistida por IA | Grandes Modelos Lingüísticos | Generación Aumentada por Recuperación (RAG) | IA con supervisión humana (Human-in-the-loop)

El D3.1 presenta el diseño, la implementación y la validación del Documents Annotation Tool, desarrollado por la Universidad del Peloponeso en el marco del paquete de trabajo nº3 de EU-ALMPO. La herramienta apoya a los expertos en la transformación de un corpus amplio y heterogéneo de documentos sobre Políticas activas del mercado laboral (ALMP), incluidos estudios académicos, evaluaciones de políticas, informes institucionales, documentación de los Servicios Públicos de Empleo y materiales de organizaciones internacionales, en una base de conocimiento estructurada e interpretable por máquinas.

Basándose en el trabajo analítico realizado en los paquetes de trabajo nº1 y nº2, el entregable introduce un enfoque de anotación asistida por IA que combina la anotación automática mediante Grandes Modelos Lingüísticos (LLM) con la validación humana sistemática, siguiendo un modelo human-in-the-loop. Esto permite que la automatización acelere el proceso de anotación, mientras que los expertos mantienen el control total sobre los metadatos finales validados. Los documentos se dividen en fragmentos semánticos y se anotan mediante una taxonomía diseñada específicamente, que abarca instrumentos de política, grupos destinatarios, objetivos, resultados, métodos de evaluación y condiciones contextuales. Cada anotación es trazable a una cita textual del documento original, lo que favorece la transparencia y la verificación por parte de expertos.

La base de conocimiento anotada resultante constituye un elemento fundamental para el Observatorio EU-ALMPO. Permite la recuperación estructurada de evidencias relevantes para las políticas y apoya los futuros componentes de la plataforma basados en IA, en particular el Interactive ALMP Design Wizard, que utilizará Generación Aumentada por Recuperación (RAG) para fundamentar sus recomendaciones en evidencias validadas.

El deliverable 3.1 está estrechamente relacionado con el Marco Analítico del proyecto, los corpus documentales aportados por IRS y GDAŃSK TECH, así como con el trabajo más amplio realizado en los paquetes de trabajo nº1 y nº2. Además, proporciona la infraestructura de evidencias necesaria para el futuro desarrollo del ALMP Design Wizard y de los servicios analíticos y basados en IA del Observatorio.