Een taalmodel zoekt niet op. Het schrijft wat waarschijnlijk klinkt.
Vraag ChatGPT naar jurisprudentie en je krijgt een overtuigend antwoord: een instantie, een datum, een ECLI in de juiste vorm. Maar het model heeft die uitspraak niet gelezen. Het voorspelt tekens die op een ECLI lijken. Soms bestaat de uitspraak, soms gaat het over iets anders, soms bestaat ze helemaal niet.
Hetzelfde geldt voor wetsartikelen. Het model kent een versie uit zijn trainingsdata, niet de tekst die vandaag geldt, en niet de tekst die gold op de datum van jouw feiten. Een citaat tussen aanhalingstekens is vaak een parafrase.
Wie dat in een processtuk zet, staat er zelf voor. In de Amerikaanse zaak Mata tegen Avianca (2023) dienden advocaten een stuk in met zes uitspraken die ChatGPT had verzonnen. De rechter legde hun een boete op van 5.000 dollar.