Als ik met mensen over AI praat, komt bijna altijd dezelfde aanname naar boven: dat AI nu eenmaal via internet werkt, en dat je dus als jurist moet kiezen tussen niets doen of je stukken met een externe partij delen.


Die aanname klopt niet. AI kan volledig op je eigen computer draaien, zonder internet, zonder account, zonder dat er iets de deur uit gaat. Om uit te leggen waarom dat kan, moet we eerst begrijpen wat een AI-model eigenlijk is.


Waarom bijna iedereen denkt dat AI internet nodig heeft

De AI die de meeste mensen kennen, is een website. Je typt iets in een venster, dat bericht reist over het internet naar een datacenter, daar wordt het antwoord gemaakt, en dat antwoord reist terug naar je scherm. Zo werken de bekende chatbots allemaal.

Omdat dat het enige is wat mensen ooit gezien hebben, is het beeld ontstaan dat het niet anders kan. Alsof AI iets is dat per definitie ergens anders gebeurt, bij een groot bedrijf, ver weg.

Maar de rede dat die modellen op servers draaien en niet op jou laptop komt niet omdat dit moet, maar omdat bedrijven graag zo veel mogelijk controle over jou data behoud. 

Een AI-model is een hele grote formule

Iedereen kent formules van de middelbare school. Oppervlakte is lengte keer breedte. Je stopt er getallen in, je doet een berekening, er komt een getal uit. Meer is het niet.

Een AI-model is precies zo'n formule. Alleen dan groter.

Waar de oppervlakteformule twee getallen gebruikt, liggen er in een AI-model miljarden getallen vast. Die getallen zijn tijdens de training bepaald: het model heeft enorme hoeveelheden tekst verwerkt, en op basis daarvan is elk van die miljarden getallen bijgesteld tot het geheel goede taal opleverde. Daarna liggen ze vast. Ze veranderen niet meer. Samen vormen ze één gigantische som.

Dat verklaart ook meteen wat een "modelbestand" is. Al die vaste getallen moeten ergens opgeslagen worden, en dat bestand is niets anders dan een lijst van die getallen. Twee tot acht gigabyte, vergelijkbaar met een film in hoge kwaliteit. 

Een vraag stellen is die formule uitrekenen

Wat gebeurt er dan als je een vraag typt?

Je zin wordt eerst omgezet naar getallen, want een formule kan niets met letters. Die getallen gaan door de formule heen, samen met de miljarden getallen die er al in vastlagen. Er komt een uitkomst uit, en die uitkomst zegt: dit is het woord dat hierna waarschijnlijk komt.

Daarna begint het opnieuw. Je vraag plus dat ene woord gaan er weer in, en de formule rekent het volgende woord uit. En dan het volgende. Woord voor woord ontstaat zo het antwoord dat over je scherm rolt.

Twee plekken om die som te maken

In een datacenter. De formule staat op de computers van een AI-bedrijf. Jouw tekst moet daar dus naartoe reizen om een antwoord te kunnen krijge. Bedrijven doen dit, omdat je dan een hele snelle computer een heel groot (en dus slim) model kan laten rekenen in plaats van jou laptop. 

Op je eigen computer. Het modelbestand staat op je eigen schijf. Je processor doet het rekenwerk en al jou data blijft prive. Dit gaat wel ten kosten van model grote.

Vergelijk het met films. Streamen betekent dat de film bij bijvorbeeld netflix staat en dat je hem via internet bekijkt, waarbij netflix precies ziet wat je kijkt en wanneer. Een dvd betekent dat je dvd-speler het werk doet, dat niemand hoeft te weten wat jij kijkt, en dat het ook werkt zonder een internet connectie. Bij AI is het exact hetzelfde onderscheid, alleen gaat het niet om beeld afspelen maar om een antwoord op jou vraag berekenen.

Eén keer internet, daarna niet meer. Dat modelbestand moet natuurlijk wel een keer op je computer terechtkomen. Het wordt bij de installatie gedownload, net zoals je Word of Acrobat downloadt. Daarna heb je geen verbinding meer nodig om ermee te werken.

"Maar mijn laptop is toch geen datacenter?"

Klopt. En dat is de eerlijke kanttekening bij dit verhaal.

Een datacenter heeft geen slimmere formule, het heeft een grotere formule en veel snellere rekenmachines om hem in te vullen. Meer getallen betekent doorgaans betere antwoorden, maar ook meer werkgeheugen en meer rekentijd. De modellen die lokaal draaien zijn daarom compacter gemaakt, zodat de hele formule in het geheugen van een normale computer past.

Voor de meeste kantoortaken maakt dat weinig uit. Een contract samenvatten, opzegtermijnen opzoeken, een concept-mail schrijven op basis van een dossier: dat is taalwerk, en daar zijn compacte modellen goed genoeg in.

Wat je wél merkt: een antwoord komt er soms een paar seconden trager uit. En een computer van tien jaar oud gaat het niet redden, een gemiddelde kantoorlaptop van de afgelopen jaren wel.

De test: ga offline

Het mooie aan lokale AI is dat je de belofte niet hoeft te geloven. Je kunt hem controleren. Zet je wifi uit en stel dan je vraag.

Komt er een antwoord, dan is dat antwoord op je eigen machine uitgerekend. Een andere verklaring is er niet. Software die stiekem iets naar een server stuurt, kan dat zonder verbinding namelijk niet.

Dat is het verschil tussen een belofte over privacy en een eigenschap van de software. Een clouddienst kan in de voorwaarden zetten dat je gegevens veilig zijn en dat er niet op getraind wordt. Misschien klopt dat ook. Maar je kunt het niet nakijken, je moet het aannemen. Bij software die offline werkt hoef je niemand op zijn woord te geloven.

Waar lokale AI minder goed in is

Voor de volledigheid, want lokale AI is niet alleen rooskleurig:

Het weet niets van vandaag. Er is geen internetverbinding, dus ook geen actueel nieuws of recente jurisprudentie. De formule ligt vast sinds de training. Het model werkt met wat er in die getallen zit, plus de documenten die je er zelf bij geeft.
Het is geen vakgenoot. Het rekent uit welk woord waarschijnlijk volgt. Dat levert bruikbare samenvattingen op, maar geen oordeel. Elk antwoord blijft een tussenstap die je controleert.
Het vraagt iets van je computer. Terwijl de formule wordt uitgerekend, is je machine even druk. Op een moderne laptop merk je daar weinig van, op een oude wel.

Kort samengevat

Een AI-model is een enorme formule met miljarden vaste getallen erin. Een vraag stellen betekent dat die formule wordt uitgerekend, woord voor woord. Dat rekenwerk gebeurt op een processor, en die processor staat in een datacenter of bij jou op tafel.

Staat de formule op je eigen schijf, dan hoeft je tekst nergens heen. Dat AI dus altijd internet nodig heeft is geen natuurwet, het is de enige optie die veel mensen kennen, maar niet de enige die bestaat.