Il Deliverable D3.1 presenta l’EU-ALMPO Documents Annotation Tool, uno strumento assistito dall’IA, sviluppato nell’ambito del WP3, per supportare gli esperti nell’annotazione di documenti relativi alle Politiche Attive del Lavoro attraverso metadati strutturati.
Basandosi sul lavoro analitico e di raccolta dati del progetto, lo strumento consente di trasformare un’ampia raccolta di studi, report di policy e materiale valutativo in una base di conoscenza validata e interpretabile dalle macchine. Combinando l’annotazione basata su Grandi Modelli Linguistici con la validazione umana da parte di professionisti del settore, rende le evidenze di policy più facili da ricercare, analizzare e riutilizzare, mantenendo al contempo gli esperti il controllo dei risultati finali.
La base di conoscenza annotata supporterà l’Osservatorio EU-ALMPO e i futuri servizi basati sull’Intelligenza Artificiale, incluso l’Interactive ALMP Design Wizard.
Perché è importante
Questo deliverable è importante perché strumenti di policy affidabili basati sull’IA dipendono da evidenze affidabili e strutturate.
Attualmente, la conoscenza relativa alle Politiche Attive del Mercato del Lavoro è dispersa tra studi accademici, report di policy, valutazioni e documenti istituzionali, spesso caratterizzati da terminologie e formati differenti. Il D3.1 affronta questa problematica trasformando documenti complessi e non strutturati in una base di conoscenza validata, ricercabile, comparabile e riutilizzabile.
Combinando l’annotazione assistita dall’IA con la validazione umana da parte di professionisti del settore, lo strumento migliora l’efficienza nel trattamento delle evidenze senza eliminare il giudizio degli esperti dal processo. Questo aspetto è essenziale per costruire servizi di IA affidabili all’interno dell’Osservatorio EU-ALMPO, inclusi strumenti futuri come l’Interactive ALMP Design Wizard.
In termini pratici, il D3.1 contribuisce a garantire che le future raccomandazioni e gli approfondimenti generati dalla piattaforma siano fondati su evidenze tracciabili, rilevanti per le politiche e validate da esperti.
Informazioni chiave
Obiettivi
- Trasformare il corpus eterogeneo di documenti sulle Politiche Attive del Lavoro in una base di conoscenza strutturata, riutilizzabile e interpretabile dalle macchine.
- Progettare e applicare una tassonomia di annotazione multidimensionale in grado di rappresentare strumenti di policy, gruppi target, obiettivi, risultati ed evidenze valutative.
- Sviluppare uno strumento di annotazione assistito dall’intelligenza artificiale che combini l’annotazione automatica (basata su LLM) con la validazione umana esperta, garantendo accuratezza, tracciabilità e trasparenza.
- Produrre un dataset validato e strutturato in grado di alimentare le componenti della Piattaforma EU-ALMPO basate su intelligenza artificiale e su architettura RAG, in particolare il futuro ALMP Design Wizard..
Destinatari
- Decisori politici coinvolti nella progettazione, adattamento e valutazione delle Politiche Attive del Mercato del Lavoro.
- Centri per l’Impiego e istituzioni del mercato del lavoro.
- Ricercatori e analisti di che lavorano su Politiche Attive del Lavoro, incrocio domanda-offerta di competenze ed evidenze relative al mercato del lavoro
- Professionisti del mercato del lavoro coinvolti nell’attuazione delle politiche e nell’erogazione dei servizi.
- Partner del consorzio EU-ALMPO che contribuiscono alla base di conoscenza e all’Osservatorio del progetto.
- Team tecnici che sviluppano la piattaforma digitale EU-ALMPO, gli strumenti basati sull’IA e il futuro ALMP Design Wizard.
Utenti finali
- Curators: esperti di dominio, inclusi ricercatori e analisti di policy, che revisionano, correggono e validano le annotazioni generate dall’IA.
- Lead Curators: esperti senior che supervisionano il processo di annotazione e garantiscono la qualità, la coerenza e l’affidabilità metodologica del dataset annotato.
- Esperti del consorzio EU-ALMPO responsabili della trasformazione dei documenti di policy in conoscenza strutturata e validata.
- Ricercatori e analisti che utilizzeranno la base di conoscenza annotata per supportare analisi delle Politiche Attive del Lavoro basate su evidenze.
- Partner tecnici che integreranno il dataset validato nell’Osservatorio EU-ALMPO e nei futuri strumenti basati sull’Intelligenza Artificiale.
Parole chiave →
Policy
Politiche Attive del Lavoro | Evidenze di policy | Validazione da parte di esperti | Base di conoscenza sul mercato del lavoro
Analisi
Annotazione dei documenti | Tassonomia | Metadati | Conoscenza strutturata | Analisi basata su evidenze
Intelligenza Artificiale
Annotazione assistita dall’IA | Grandi Modelli Linguistici | Generazione aumentata tramite recupero di informazioni (RAG) | IA con supervisione umana
Il D3.1 presenta la progettazione, l’implementazione e la validazione del Documents Annotation Tool, sviluppato dall’Università del Peloponneso nell’ambito del WP3 di EU-ALMPO. Lo strumento supporta gli esperti nella trasformazione di un corpus ampio ed eterogeneo di documenti sulle Politiche Attive del Lavoro (ALMPs – Active Labour Market Policies), inclusi studi accademici, valutazioni di policy, rapporti istituzionali, documentazione dei Centri per l’Impiego e materiali di organizzazioni internazionali, in una base di conoscenza strutturata e interpretabile dalle macchine.
Basandosi sul lavoro analitico svolto nei WP1 e WP2, il deliverable introduce un approccio di annotazione assistita dall’IA, che combina l’annotazione automatica tramite Grandi Modelli Linguistici con una sistematica validazione umana, seguendo un modello “human-in-the-loop”. Questo consente all’automazione di accelerare il processo di annotazione, mentre gli esperti mantengono il pieno controllo sui metadati finali validati. I documenti vengono suddivisi in blocchi semantici e annotati attraverso una tassonomia appositamente sviluppata, che copre strumenti di policy, gruppi target, obiettivi, risultati, metodi di valutazione e condizioni di contesto. Ogni annotazione è tracciabile a una citazione testuale tratta dal documento originale, a supporto della trasparenza e della verifica da parte degli esperti.
La base di conoscenza annotata che ne deriva costituisce un elemento fondamentale per l’Osservatorio EU-ALMPO. Essa consente il recupero strutturato di evidenze rilevanti per le politiche e supporta le future componenti della piattaforma basate sull’Intelligenza Artificiale, in particolare l’Interactive ALMP Design Wizard, che utilizzerà la Retrieval-Augmented Generation (RAG) per fondare le proprie raccomandazioni su evidenze validate.
Il D3.1 è strettamente collegato al Framework Analitico del progetto, ai corpora documentali forniti da IRS e GDAŃSK TECH, nonché al più ampio lavoro svolto nei WP1 e WP2. Inoltre, fornisce l’infrastruttura di evidenze necessaria per il futuro sviluppo dell’ALMP Design Wizard e dei servizi analitici e basati sull’Intelligenza Artificiale dell’Osservatorio.
Uno strumento informatico a supporto degli esperti per l'annotazione dei documenti mediante metadati esaustivi.
D3.1, WP3