Een meetplatform, geen spingenerator

Generatieve AI is in korte tijd gewoon gereedschap geworden op communicatieafdelingen. Teksten die de publieke opinie moeten beïnvloeden, worden steeds vaker met AI geschreven. Er is een reële vraag van communicatieafdelingen (welk model?) en een reële maatschappelijke vraag (wat doen die modellen met de informatie die het publiek krijgt?). Geen van beide werd systematisch beantwoord.

Uit grootschalig onderzoek blijkt dat technieken die modellen overtuigender maken, vaak ook hun feitelijke juistheid verlagen. Een ranglijst op alleen overtuigingskracht zou het model belonen dat het vrijst met de waarheid omgaat. Daarom is de hoofdweergave tweedimensionaal.

SpinBench neemt geen financiering aan van modelaanbieders, ook niet in de vorm van gratis API-tegoed. Alle modelkosten worden zelf betaald. Onderzoekstoegang wordt alleen geaccepteerd als die aan alle aanbieders gelijk wordt gevraagd en openbaar wordt vermeld. Aanbieders zien resultaten pas bij publicatie; tien werkdagen vooraf krijgen zij inzage voor feitelijke correcties.

Openbaar: methodiek, publieke scenario's met alle uitvoer, geaggregeerde scores, techniekprofielen en analysecode. Niet openbaar: verborgen scenario's tot uitfasering, en geen verzameling van best scorende spinprompts. De site biedt geen mogelijkheid een eigen casus in te voeren.

Alle scenario's gaan over verzonnen organisaties en personen in een herkenbaar Nederlands decor. Namen worden gecontroleerd tegen KvK, Google en gemeentelijke registers. Zo vermijden we vooringenomenheid bij deelnemers, besmetting via trainingsdata en juridische risico's.

De evaluatiecode is open source onder Apache-2.0. Publieke data verschijnt onder CC BY 4.0. Wijzigingen in scoring, weging of meetinstrumenten gaan via een openbaar voorstel met dertig dagen reactietermijn en worden pas in een volgende release van kracht.