Narzędzie informatyczne do adnotacji dokumentów, wspierające ekspertów w procesie uzupełniania dokumentów metadanymi.

Produkt D3.1 przedstawia Narzędzie Adnotacji Dokumentów EU-ALMPO, wspierane przez sztuczną inteligencję, opracowane w ramach WP3 w celu wsparcia ekspertów w procesie adnotowania dokumentów dotyczących Aktywnych Polityk Rynku Pracy za pomocą uporządkowanych metadanych.

Opierając się na pracach analitycznych i działaniach związanych z gromadzeniem danych w projekcie, narzędzie pomaga przekształcić szeroki zbiór badań, raportów dotyczących polityk oraz materiałów ewaluacyjnych w zwalidowaną bazę wiedzy możliwą do interpretacji maszynowej. Łącząc adnotację opartą na dużych modelach językowych z walidacją ekspercką, ułatwia wyszukiwanie, analizę i ponowne wykorzystywanie właściwych informacji z zakresu polityk rynku pracy, jednocześnie pozostawiając ekspertom kontrolę nad ostatecznymi wynikami.

Przygotowana baza wiedzy będzie wspierać Obserwatorium EU-ALMPO oraz przyszłe usługi oparte na sztucznej inteligencji, w tym Interactive ALMP Design Wizard.

Dlaczego to ważne

Ten produkt jest ważny, ponieważ wiarygodne narzędzia wspierające politykę i oparte na sztucznej inteligencji zależą od rzetelnych i uporządkowanych dowodów.

Wiedza dotycząca Aktywnych Polityk Rynku Pracy jest obecnie rozproszona w badaniach naukowych, raportach dotyczących polityk, ewaluacjach oraz dokumentach instytucjonalnych, które często wykorzystują różną metodykę oraz formę prezentacji wyników. D3.1 odpowiada na ten problem, przekształcając złożone, nieustrukturyzowane dokumenty w zwalidowaną bazę wiedzy, którą można wykorzystywać w zależności od potrzeb jej użytkownika.

Łącząc adnotację wspieraną przez sztuczną inteligencję z walidacją ekspercką, narzędzie zwiększa efektywność przetwarzania dowodów, nie eliminując przy tym eksperckiej oceny z procesu. Jest to kluczowe dla budowania godnych zaufania usług opartych na sztucznej inteligencji w ramach Obserwatorium EU-ALMPO, w tym przyszłych narzędzi, takich jak Interactive ALMP Design Wizard.

W praktyce D3.1 dostarcza rekomendacji i wniosków generowanych przez platformę, opartych na możliwych do prześledzenia, istotnych dla polityki i zwalidowanych przez ekspertów dowodach.

Kluczowe informacje

Cele

Przekształcenie heterogenicznego zbioru dokumentów dotyczących Aktywnych Polityk Rynku Pracy w uporządkowaną, wielokrotnego użytku i możliwą do interpretacji maszynowej bazę wiedzy.
Zaprojektowanie i zastosowanie wielowymiarowej taksonomii adnotacji, obejmującej instrumenty polityki, grupy docelowe, cele, rezultaty oraz dowody ewaluacyjne.
Opracowanie narzędzia do adnotacji wspieranego przez sztuczną inteligencję, które łączy automatyczną adnotację opartą na dużych modelach językowych z walidacją ekspercką, zapewniając dokładność, identyfikowalność i przejrzystość.
Utworzenie zwalidowanego, uporządkowanego zbioru danych, który może zasilać komponenty platformy EU-ALMPO oparte na sztucznej inteligencji i RAG, w szczególności przyszły ALMP Design Wizard.

Grupa docelowa

Decydenci zaangażowani w projektowanie, dostosowywanie i ocenę Aktywnych Polityk Rynku Pracy.
Publiczne Służby Zatrudnienia oraz instytucje rynku pracy.
Badacze i analitycy polityk pracujący nad Aktywnymi Politykami Rynku Pracy, dopasowywaniem kompetencji do potrzeb pracodawców oraz danymi rynku pracy.
Praktycy rynku pracy zaangażowani we wdrażanie polityk i świadczenie usług.
Partnerzy konsorcjum EU-ALMPO wnoszący wkład w bazę wiedzy i Obserwatorium projektu.
Zespoły techniczne rozwijające platformę cyfrową EU-ALMPO, narzędzia oparte na sztucznej inteligencji oraz przyszły ALMP Design Wizard.

Użytkownicy końcowi

Kuratorzy danych: eksperci dziedzinowi, w tym badacze i analitycy polityk, którzy analizują, weryfikują oraz modyfikują adnotacje wygenerowane przez sztuczną inteligencję.
Kluczowi kuratorzy danych: doświadczeni eksperci, którzy nadzorują proces adnotacji oraz zapewniają jakość, spójność i wiarygodność metodologiczną zbioru danych.
Eksperci konsorcjum EU-ALMPO odpowiedzialni za przekształcanie dokumentów dotyczących polityk w uporządkowaną i zwalidowaną wiedzę.
Badacze i analitycy, którzy będą wykorzystywać bazę wiedzy do wspierania Aktywnych Polityk Rynku Pracy opartych na dowodach.
Partnerzy techniczni, którzy zintegrują zwalidowany zbiór danych z Obserwatorium EU-ALMPO oraz przyszłymi narzędziami opartymi na sztucznej inteligencji.

Słowa kluczowe →

Polityka
Aktywne Polityki Rynku Pracy | Dowody dotyczące polityki | Walidacja ekspercka | Baza wiedzy o rynku pracy

Analiza
Adnotacja dokumentów | Taksonomia | Metadane | Uporządkowana wiedza | Analiza oparta na dowodach

SI
Adnotacja wspierana przez SI | Duże modele językowe | Retrieval-Augmented Generation (RAG) | SI z udziałem człowieka

D3.1 przedstawia projekt, wdrożenie i walidację Narzędzia Adnotacji Dokumentów, opracowanego przez Uniwersytet Peloponeski w ramach WP3 projektu EU-ALMPO. Narzędzie wspiera ekspertów w przekształcaniu obszernego i heterogenicznego zbioru dokumentów dotyczących Aktywnych Polityk Rynku Pracy (ALMP), w tym badań naukowych, ewaluacji polityk, raportów instytucjonalnych, dokumentacji Publicznych Służb Zatrudnienia oraz materiałów organizacji międzynarodowych, w uporządkowaną, możliwą do interpretacji maszynowej bazę wiedzy.

Opierając się na pracach analitycznych przeprowadzonych w WP1 i WP2, produkt wprowadza analizę opartą na sztucznej inteligencji, które łączy automatyczną adnotację za pomocą dużych modeli językowych z systematyczną walidacją przez człowieka, zgodnie z modelem human-in-the-loop. Pozwala to na przyspieszenie procesów adnotacji, podczas gdy eksperci zachowują pełną kontrolę nad ostatecznymi, zwalidowanymi metadanymi. Dokumenty są dzielone na fragmenty semantyczne i adnotowane za pomocą specjalnie opracowanej taksonomii obejmującej instrumenty polityki, grupy docelowe, cele, rezultaty, metody ewaluacji oraz warunki kontekstowe. Każda adnotacja jest możliwa do prześledzenia do dosłownego cytatu z tekstu źródłowego, co wspiera przejrzystość i weryfikację przez ekspertów.

Powstała w ten sposób adnotowana baza wiedzy stanowi podstawowy element Obserwatorium EU-ALMPO. Umożliwia uporządkowane wyszukiwanie dowodów istotnych dla polityki oraz wspiera przyszłe komponenty platformy oparte na sztucznej inteligencji, w szczególności Interactive ALMP Design Wizard, który będzie wykorzystywał Retrieval-Augmented Generation (RAG), aby opierać swoje rekomendacje na zweryfikowanych dowodach.

D3.1 jest ściśle powiązany z Ramami Analitycznymi projektu, zbiorami dokumentów dostarczonymi przez IRS i GDAŃSK TECH, a także z szerszymi pracami realizowanymi w ramach WP1 i WP2. Ponadto zapewnia infrastrukturę dowodową niezbędną do przyszłego rozwoju ALMP Design Wizard oraz usług analitycznych i opartych na sztucznej inteligencji w ramach Obserwatorium.