Ein IT-Tool zur Dokumentenannotation, das Expertinnen und Experten bei der manuellen Annotation von Dokumenten mit umfassenden Metadaten unterstützt.

Deliverable D3.1 stellt das EU-ALMPO Documents Annotation Tool vor, ein KI-gestütztes Tool, das im Rahmen von WP3 entwickelt wurde, um Expertinnen und Experten bei der Annotation von Dokumenten zu Aktiven Arbeitsmarktpolitiken mit strukturierten Metadaten zu unterstützen.

Aufbauend auf der analytischen Arbeit und der Datenerhebung des Projekts trägt das Tool dazu bei, eine umfangreiche Sammlung von Studien, politischen Berichten und Evaluationsmaterialien in eine validierte, maschineninterpretierbare Wissensbasis zu überführen. Durch die Kombination von Annotation auf Basis großer Sprachmodelle mit der Validierung durch menschliche Expertinnen und Experten erleichtert es die Suche, Analyse und Wiederverwendung politischer Evidenz, während die Expertinnen und Experten die Kontrolle über die endgültigen Ergebnisse behalten.

Die annotierte Wissensbasis wird das EU-ALMPO Observatory sowie zukünftige KI-gestützte Dienste unterstützen, darunter den Interactive ALMP Design Wizard.

Warum es wichtig ist

Dieses Deliverable ist wichtig, weil verlässliche KI-gestützte Instrumente für die Politikgestaltung auf zuverlässige und strukturierte Evidenz angewiesen sind.

Das Wissen über Aktive Arbeitsmarktpolitik ist derzeit über akademische Studien, politische Berichte, Evaluationen und institutionelle Dokumente verstreut, die häufig unterschiedliche Terminologien und Formate verwenden. D3.1 adressiert dieses Problem, indem komplexe, unstrukturierte Dokumente in eine validierte Wissensbasis überführt werden, die durchsucht, verglichen und wiederverwendet werden kann.

Durch die Kombination von KI-gestützter Annotation mit der Validierung durch menschliche Expertinnen und Experten verbessert das Tool die Effizienz der Evidenzverarbeitung, ohne die fachliche Beurteilung aus dem Prozess zu entfernen. Dies ist wesentlich für den Aufbau vertrauenswürdiger KI-Dienste innerhalb des EU-ALMPO Observatory, einschließlich zukünftiger Tools wie dem Interactive ALMP Design Wizard.

In der Praxis trägt D3.1 dazu bei, sicherzustellen, dass zukünftige Empfehlungen und Erkenntnisse, die von der Plattform generiert werden, auf nachvollziehbarer, politikrelevanter und von Expertinnen und Experten validierter Evidenz beruhen.

Wichtige Informationen

Ziele

Umwandlung des heterogenen ALMP-Dokumentenkorpus in eine strukturierte, wiederverwendbare und maschineninterpretierbare Wissensbasis.
Entwicklung und Anwendung einer multidimensionalen Annotationstaxonomie, die politische Instrumente, Zielgruppen, Ziele, Ergebnisse und Evaluationsevidenz erfasst.
Entwicklung eines KI-gestützten Annotationstools, das automatische Annotation auf Basis großer Sprachmodelle mit der Validierung durch menschliche Expertinnen und Experten kombiniert und dabei Genauigkeit, Nachvollziehbarkeit und Transparenz gewährleistet.
Erstellung eines validierten, strukturierten Datensatzes, der die KI-gestützten und RAG-basierten Komponenten der EU-ALMPO-Plattform speisen kann, insbesondere den zukünftigen ALMP Design Wizard.

Zielpublikum

Politische Entscheidungsträgerinnen und Entscheidungsträger, die an der Gestaltung, Anpassung und Bewertung Aktiver Arbeitsmarktpolitiken beteiligt sind.
Öffentliche Arbeitsverwaltungen und Arbeitsmarktinstitutionen.
Forschende und Policy-Analystinnen und -Analysten, die zu ALMPs, Kompetenzmatching und arbeitsmarktbezogener Evidenz arbeiten.
Fachkräfte des Arbeitsmarktes, die an der Umsetzung von Politiken und der Erbringung von Dienstleistungen beteiligt sind.
Partner des EU-ALMPO-Konsortiums, die zur Wissensbasis und zum Observatory des Projekts beitragen.
Technische Teams, die die digitale EU-ALMPO-Plattform, KI-gestützte Tools und den zukünftigen ALMP Design Wizard entwickeln.

Endnutzer

Kuratorinnen und Kuratoren: Fachexpertinnen und Fachexperten, darunter Forschende und Policy-Analystinnen und -Analysten, die KI-generierte Annotationen überprüfen, korrigieren und validieren.
Leitkuratorinnen und -kuratoren: erfahrene Expertinnen und Experten, die den Annotationsprozess überwachen und die Qualität, Konsistenz und methodische Zuverlässigkeit des annotierten Datensatzes sicherstellen.
Expertinnen und Experten des EU-ALMPO-Konsortiums, die für die Umwandlung von Policy-Dokumenten in strukturiertes und validiertes Wissen verantwortlich sind.
Forschende und Analystinnen und Analysten, die die annotierte Wissensbasis nutzen werden, um evidenzbasierte ALMP-Analysen zu unterstützen.
Technische Partner, die den validierten Datensatz in das EU-ALMPO Observatory und in zukünftige KI-gestützte Tools integrieren werden.

Schlüsselwörter →

Politik
Aktive Arbeitsmarktpolitiken | Policy-Evidenz | Validierung durch Expertinnen und Experten | Wissensbasis zum Arbeitsmarkt

Analyse
Dokumentenannotation | Taxonomie | Metadaten | Strukturiertes Wissen | Evidenzbasierte Analyse

KI
KI-gestützte Annotation | Große Sprachmodelle | Retrieval-Augmented Generation (RAG) | Human-in-the-loop-KI

D3.1 stellt die Konzeption, Implementierung und Validierung des Documents Annotation Tool vor, das von der Universität Peloponnes im Rahmen von WP3 von EU-ALMPO entwickelt wurde. Das Tool unterstützt Expertinnen und Experten dabei, einen umfangreichen und heterogenen Korpus von Dokumenten zu Aktiven Arbeitsmarktpolitiken (ALMPs), darunter akademische Studien, Policy-Evaluationen, institutionelle Berichte, Dokumentationen öffentlicher Arbeitsverwaltungen sowie Materialien internationaler Organisationen, in eine strukturierte, maschineninterpretierbare Wissensbasis zu überführen.

Aufbauend auf der analytischen Arbeit, die in WP1 und WP2 durchgeführt wurde, führt das Deliverable einen KI-gestützten Annotationsansatz ein, der automatische Annotation durch Große Sprachmodelle mit systematischer menschlicher Validierung kombiniert und einem Human-in-the-loop-Modell folgt. Dadurch kann die Automatisierung den Annotationsprozess beschleunigen, während Expertinnen und Experten die volle Kontrolle über die finalen, validierten Metadaten behalten. Die Dokumente werden in semantische Abschnitte unterteilt und anhand einer speziell entwickelten Taxonomie annotiert, die politische Instrumente, Zielgruppen, Ziele, Ergebnisse, Evaluationsmethoden und Kontextbedingungen abdeckt. Jede Annotation ist auf ein wörtliches Zitat aus dem Quelltext zurückführbar und unterstützt so Transparenz und die Überprüfung durch Expertinnen und Experten.

Die daraus entstehende annotierte Wissensbasis bildet einen grundlegenden Baustein für das EU-ALMPO Observatory. Sie ermöglicht den strukturierten Abruf politikrelevanter Evidenz und unterstützt die zukünftigen KI-gestützten Komponenten der Plattform, insbesondere den Interactive ALMP Design Wizard, der Retrieval-Augmented Generation (RAG) nutzen wird, um seine Empfehlungen auf validierte Evidenz zu stützen.

D3.1 steht in engem Zusammenhang mit dem Analytischen Framework des Projekts, den von IRS und GDAŃSK TECH bereitgestellten Dokumentenkorpora sowie der umfassenderen Arbeit, die in WP1 und WP2 durchgeführt wurde. Darüber hinaus stellt es die Evidenzinfrastruktur bereit, die für die zukünftige Entwicklung des ALMP Design Wizard sowie der analytischen und KI-gestützten Dienste des Observatory erforderlich ist.