Torsdag 22. oktober 20261. årgang · Nr. 2

Offentlig sektor · StorbritannienResultattype: MåltKvalitet 3 af 3

60 % – målt

Eksperterne så Consults forslag og lod temaerne stå uændret i 60 % af 5.354 spørgsmålssvar

Skotsk regering: eksperter godkendte AI'ens temaer uændret i 60 % af høringssvarene

Scottish Government / Incubator for AI (UK) · Offentlig administration · Consult (i.AI, LLM-baseret)

Kort fortalt: Scottish Government / Incubator for AI (Storbritannien): Eksperterne så Consults forslag og lod temaerne stå uændret i 60 % af 5.354 spørgsmålssvar; F1-score 0,76 målt mod eksperternes rettede temaer (i en tidligere, upubliceret test på andre data var to mennesker enige i 62 %). Temaernes rangering flyttede sig i snit under én plads. Mediantid pr. gennemgang 23 sekunder; 77 % gennemgået på under ét minut. Tallet er målt. Kilde: Incubator for AI (UK-regeringen): evalueringsblog.

  • ✔ Kilde åbnet og tjekket
  • Tilføjet 14.10.2026
  • Relevans for Danmark 3/3

Fakta i tal

  • 60 %Eksperterne så Consults forslag og lod temaerne stå uændret i 60 % af 5.354 spørgsmålssvar
  • 62 %F1-score 0,76 målt mod eksperternes rettede temaer (i en tidligere, upubliceret test på andre data var to mennesker enige i 62 %)
  • 23 sek.Mediantid pr. gennemgang 23 sekunder

Problemet

Offentlige høringer kan få tusindvis af svar, og analysen tager et team af analytikere måneder.

Løsningen

Værktøjet Consult (udviklet af britiske i.AI) finder temaer i høringssvar og knytter hvert svar til temaer; eksperter godkender, tilføjer eller fjerner temaer. Testet på en reel høring om ikke-kirurgiske kosmetiske behandlinger.

Sådan er det målt

Eksperter gennemgik og rettede Consults forslag til temaer for 5.354 spørgsmålssvar (de kodede ikke uafhængigt, så der er risiko for forankring); F1-score mod de rettede temaer. Tidsforbrug pr. gennemgang målt.

Tallet er mærket målt. Se forskellen på målt, selvvurderet og forventet.

Resultatet

Eksperterne så Consults forslag og lod temaerne stå uændret i 60 % af 5.354 spørgsmålssvar; F1-score 0,76 målt mod eksperternes rettede temaer (i en tidligere, upubliceret test på andre data var to mennesker enige i 62 %). Temaernes rangering flyttede sig i snit under én plads. Mediantid pr. gennemgang 23 sekunder; 77 % gennemgået på under ét minut.

Det virkede ikke

Eksperterne tilføjede temaer 1.671 gange, men fjernede kun 763 gange – Consult underidentificerer muligvis temaer. Eksperterne brugte 'Andet' 17 gange oftere end værktøjet (793 vs 47).

Få én ærlig AI-case om ugen – også det, der ikke virkede.

Kan det bruges i Danmark?

Ja. Danske ministerier og kommuner har samme høringsproces; metoden (sammenligning mod menneskelige eksperter) kan kopieres.

Kilder

Se en fejl? Send en rettelse · Sådan scorer vi

Samme slags opgave i Danmark: Region: AI til knoglebrud gav beskeden effekt – ventetid 69 til 57 min. i Aarhus, uændret i Horsens

Læs også

Nyhedsbrev · hver anden tirsdag kl. 7.30

5 cases og nyt i de AI-værktøjer, du bruger – hver anden tirsdag.

Ingen spam. Afmeld med ét klik. Vi bruger kun din mail til nyhedsbrevet. Privatliv