Problemet
Myndigheden ville øge sin viden om store sprogmodeller og teste, om en svensk basismodel kunne hjælpe med at klassificere og generere virksomhedsbeskrivelser.
Løsningen
Som partner i AI Swedens projekt om GPT-SW3 testede Bolagsverket modellen til at vurdere detaljegraden i virksomheders formålsbeskrivelser, generere syntetiske beskrivelser og genkende navngivne enheder (NER).
Sådan er det målt
Myndighedens egne eksperimenter, beskrevet i AI Swedens projektrapport (2024). Klassificering sammenlignet med tilfældigt gæt; NER sammenlignet med en finjusteret KB-BERT-model på et datasæt fra Språkbanken.
Tallet er mærket målt. Se forskellen på målt, selvvurderet og forventet.
Resultatet
Klassificering af detaljegrad: ca. 55 % træfsikkerhed (tilfældigt gæt: 20 %). NER: ca. 55 % for GPT-SW3 mod ca. 88 % for den finjusterede KB-BERT-model.