Metode
Sådan vurderer vi en case
De fleste AI-cases er skrevet af dem, der sælger AI. Det er ikke forkert – men det betyder, at tallene skal læses med en lup. Her er luppen.
De fire krav
En case kommer kun på sitet, hvis den har alle fire:
| Felt | Spørgsmål | Eksempel på "godt nok" |
|---|---|---|
| Problem | Hvad var galt før? | "1.200 chats om måneden, halvdelen tunge produktspørgsmål, chats uden for åbningstid gik tabt" |
| Løsning | Hvad gjorde de konkret? | "AI-rådgiver trænet kun på egne kataloger, sender el-spørgsmål videre til fagfolk" |
| Metode | Hvordan er resultatet målt? | "A/B-test i 6 måneder: 10 % af brugerne så ikke AI" |
| Tal | Hvad kom der ud af det? | "+18,75 % omsætning pr. besøgende mod kontrolgruppen" |
"Over 80 % automatiseret" er ikke et resultat. Det er en overskrift. Vi vil vide: 80 % af hvad, i forhold til hvad før, målt hvordan og hvornår?
Kvalitetsscore 1–3
- ●●● 3 – Konkret metode. Kontrolgruppe, før/efter med periode, eller tal fra logs.
- ●●○ 2 – Svag metode. Spørgeskema, skøn, kort pilot eller tal uden periode. Stadig brugbart – men læs det som en indikation.
- ●○○ 1 – Mangler noget. Vi publicerer ikke score 1. Vi skriver til virksomheden og spørger.
Vi foretrækker score 3 i nyhedsbrevet. Der er færre af dem, end man skulle tro.
Resultatmærker
Hvert tal har et mærke:
- ● Målt – tal fra måling: logs, før/efter, KPI'er.
- ● Selvvurderet – spørgeskema, skøn, "vi oplever", citat fra en leder.
- ● Forventet – mål, business case, prognose. Endnu ikke sket.
- ○ Ingen tal – beskrivelse uden effekt.
I tvivl vælger vi altid det svageste mærke. Står der "op til", skriver vi "op til". Vi runder aldrig op.
Vi skelner også mellem effekt og slutniveau. Går en chatbot fra 72 % til 80 % automatisering, er effekten 8 procentpoint – ikke 80 %.
Kan det bruges i Danmark?
Internationale cases får en DK-relevans fra 1 til 3:
- 3 – En dansk virksomhed med 50–1.000 ansatte kan kopiere det direkte.
- 2 – Relevant, men kræver tilpasning (størrelse, regulering, sprog).
- 1 – Interessant, men svær at overføre. Vises på sitet, ikke i nyhedsbrevet.
Plus én sætning: findes værktøjet i EU og kan det bruges under GDPR, og hvilken type dansk virksomhed kunne gøre det samme?
Kilder
- ✔ – Vi har åbnet kilden, læst hele siden og tjekket, at tallet står der.
- ◐ – Kilden er bag betalingsmur eller kun delvist tilgængelig. Vi gengiver kun det, der er frit synligt.
- Kilde: leverandør – Casen er skrevet af den, der solgte løsningen. Det står altid på casen. En leverandørkilde kan godt få score 3, hvis metoden er konkret – men den bliver mærket.
- Indsendt af [firma] – Casen er sendt ind af leverandøren. Kan aldrig få score 3 alene på leverandørens ord.
Vi linker altid til kilden og skriver casen med egne ord. Højst ét kort citat pr. case.
Det virkede ikke
Hver case har et fast felt til det, der gik galt. Vi skriver kun noget, hvis kilden eller virksomheden siger det. Vi opfinder aldrig problemer. Står der "Ikke oplyst", er det fordi ingen har fortalt os det – ikke fordi alt gik godt.
Uafhængighed
ai-cases.dk er gratis og har ingen annoncer, ingen sponsorerede cases og ingen betalte placeringer – heller ikke i nyhedsbrevet. Reglerne er skrevet ned:
- Ingen kan købe en score, en placering i lister eller fjernelse af "Det virkede ikke".
- Virksomheder og leverandører ser ikke en case, før den er publiceret, og kan ikke ændre vurderingen.
Rettelser
Er der en faktuel fejl i en case, retter vi den – og noterer rettelsen med dato nederst på casen. Ændringer af vurderingen sker kun, hvis der kommer ny dokumentation, fx et svar på vores tre spørgsmål.
Hvem vurderer?
Grokbot finder, læser og scorer casene efter reglerne her. Troels Østbjerg godkender hver case, før den bliver publiceret. Ændringer i metoden besluttes af Troels og står på denne side.