Als ik met mensen over AI praat, komt bijna altijd dezelfde vraag langs: "En waar gaan mijn documenten dan naartoe?" Terechte vraag. Wat daarna vaak volgt, is een aanname: dat AI nu eenmaal via internet werkt, en dat u dus moet kiezen tussen niets doen of uw stukken ergens naartoe sturen.

Die aanname klopt niet. AI kan volledig op uw eigen computer draaien, zonder internet, zonder account, zonder dat er iets de deur uit gaat. Om uit te leggen waarom dat kan, moet ik eerst iets rechtzetten over wat een AI-model eigenlijk is.

Waarom bijna iedereen denkt dat AI internet nodig heeft

De AI die de meeste mensen kennen, is een website. U typt iets in een venster, dat bericht reist over het internet naar een datacenter, daar wordt het antwoord gemaakt, en dat antwoord reist terug naar uw scherm. Zo werken de bekende chatbots allemaal.

Omdat dat het enige is wat mensen ooit gezien hebben, is het beeld ontstaan dat het niet anders kan. Alsof AI iets is dat per definitie ergens anders gebeurt, bij een groot bedrijf, ver weg.

Maar dat internet zit er niet in omdat AI het nodig heeft. Het zit er in omdat het model niet op uw computer staat, maar op die van hen.

Een AI-model is een hele grote formule

Iedereen kent formules van de middelbare school. Oppervlakte is lengte keer breedte. U stopt er getallen in, u doet een berekening, er komt een getal uit. Meer is het niet.

Een AI-model is precies zo'n formule. Alleen dan groter. Veel groter.

Waar de oppervlakteformule twee getallen gebruikt, liggen er in een AI-model miljarden getallen vast. Die getallen zijn tijdens de training bepaald: het model heeft enorme hoeveelheden tekst verwerkt, en op basis daarvan is elk van die miljarden getallen bijgesteld tot het geheel goede taal opleverde. Daarna liggen ze vast. Ze veranderen niet meer. Samen vormen ze één gigantische som.

Dat verklaart ook meteen wat een "modelbestand" is. Al die vaste getallen moeten ergens opgeslagen worden, en dat bestand is niets anders dan een lijst van die getallen. Twee tot acht gigabyte, vergelijkbaar met een speelfilm in hoge kwaliteit. Geen programma dat stiekem verbinding maakt, geen database die live iets opzoekt. Gewoon getallen op een schijf.

Een vraag stellen is die formule uitrekenen

Wat gebeurt er dan als u een vraag typt?

Uw zin wordt eerst omgezet naar getallen, want een formule kan niets met letters. Die getallen gaan door de formule heen, samen met de miljarden getallen die er al in vastlagen. Er komt een uitkomst uit, en die uitkomst zegt: dit is het woord dat hierna waarschijnlijk komt.

Daarna begint het opnieuw. Uw vraag plus dat ene woord gaan er weer in, en de formule rekent het volgende woord uit. En dan het volgende. Woord voor woord ontstaat zo het antwoord dat over uw scherm rolt.

Dat oogt als nadenken, maar het is rekenen. Voor elk woord dat verschijnt zijn miljarden vermenigvuldigingen en optellingen gedaan. Een AI die "antwoord geeft" is een computer die een som maakt.

En daar zit precies de vraag die er toe doet: rekenen moet ergens gebeuren. Op een processor, in een machine die stroom verbruikt en warm wordt. De enige echte vraag is dus niet of er gerekend wordt, maar op wiens machine.

Twee plekken om die som te maken

Er zijn maar twee mogelijkheden.

In een datacenter. De formule staat op de computers van een AI-bedrijf. Uw tekst moet daar dus naartoe reizen om ingevuld te kunnen worden. Dat is geen keuze van dat bedrijf, dat is onvermijdelijk: de som kan niet gemaakt worden zonder de getallen waarmee u hem invult. Alles wat u intypt, inclusief dat concept dat u even wilde laten samenvatten, gaat mee.

Op uw eigen computer. Het modelbestand staat op uw eigen schijf. Uw processor doet het rekenwerk. Uw tekst gaat uw computer niet uit, want de formule staat er al op. Er is niets om naartoe te sturen.

Vergelijk het met films. Streamen betekent dat de film bij de dienst staat en dat u hem via internet bekijkt, waarbij die dienst precies ziet wat u kijkt en wanneer. Een bestand op uw eigen schijf betekent dat uw speler het werk doet, dat niemand hoeft te weten dat u kijkt, en dat het ook werkt als de buurt zonder internet zit. Bij AI is het exact hetzelfde onderscheid, alleen gaat het niet om beeld afspelen maar om een som uitrekenen.

Draait er een model op uw eigen laptop, dan hoort u dat vaak letterlijk. De ventilator gaat harder terwijl het antwoord verschijnt. Dat is geen storing. Dat is uw laptop die op dat moment de formule zit uit te rekenen.

Eén keer internet, daarna niet meer. Dat modelbestand moet natuurlijk wel een keer op uw computer terechtkomen. Het wordt bij de installatie gedownload, net zoals u Word of Acrobat downloadt. Daarna hebt u geen verbinding meer nodig om ermee te werken.

"Maar mijn laptop is toch geen datacenter?"

Klopt. En dat is de eerlijke kanttekening bij dit verhaal.

Een datacenter heeft geen slimmere formule, het heeft een grotere formule en veel snellere rekenmachines om hem in te vullen. Meer getallen betekent doorgaans betere antwoorden, maar ook meer werkgeheugen en meer rekentijd. De modellen die lokaal draaien zijn daarom compacter gemaakt, zodat de hele formule in het geheugen van een normale computer past.

Voor de meeste kantoortaken maakt dat weinig uit. Een contract samenvatten, opzegtermijnen opzoeken, controleren of een clausule ergens in een stuk voorkomt, een concept-mail schrijven op basis van een dossier: dat is taalwerk, en daar zijn compacte modellen goed genoeg in.

Wat u wél merkt: een antwoord komt er soms een paar seconden trager uit. En een computer van tien jaar oud met vier gigabyte geheugen gaat het niet redden, want dan past de formule er simpelweg niet in. Een gemiddelde kantoorlaptop van de afgelopen jaren wel.

De test: trek de stekker eruit

Het mooie aan lokale AI (bijvoorbeeld LocalSearch) is dat u de belofte niet hoeft te geloven. U kunt hem controleren.

Zet u wifi uit. Of nog beter: trek de netwerkkabel eruit en zet vliegtuigmodus aan. Stel dan een vraag.

Komt er een antwoord, dan is dat antwoord op uw eigen machine uitgerekend. Een andere verklaring is er niet. Software die stiekem iets naar een server stuurt, kan dat zonder verbinding namelijk niet.

Dat is het verschil tussen een belofte over privacy en een eigenschap van de software. Een clouddienst kan in de voorwaarden zetten dat uw gegevens veilig zijn en dat er niet op getraind wordt. Misschien klopt dat ook. Maar u kunt het niet nakijken, u moet het aannemen. Bij software die offline werkt hoeft u niemand op zijn woord te geloven.

Waarom dit uitmaakt bij vertrouwelijke stukken

Voor een vakantieplanning of een receptje is dit hele verhaal niet zo spannend. Werk u met stukken die onder een geheimhoudingsplicht vallen, dan wordt het dat wel.

Gaan er geen gegevens naar buiten, dan is er ook geen partij die iets met die gegevens doet. Geen discussie over waar servers staan, geen vraag welk land er meekijkt, geen afspraken die u moet maken over gegevens die u aan een derde toevertrouwt, want u vertrouwt niets aan een derde toe. Het staat op uw eigen schijf en het blijft op uw eigen schijf.

Wat u wél moet blijven doen: uw eigen apparaat op orde houden. Lokale AI verplaatst de verantwoordelijkheid namelijk naar u. Schijfversleuteling, een fatsoenlijk wachtwoord en een vergrendeld scherm zijn daarmee niet minder belangrijk geworden, maar juist belangrijker.

Waar lokale AI minder goed in is

Voor de volledigheid, want ik heb liever dat u dit vooraf weet dan achteraf:

  • Het weet niets van vandaag. Er is geen internetverbinding, dus ook geen actueel nieuws of recente jurisprudentie. De formule ligt vast sinds de training. Het model werkt met wat er in die getallen zit, plus de documenten die u er zelf bij geeft.
  • Het is geen vakgenoot. Het rekent uit welk woord waarschijnlijk volgt. Dat levert bruikbare samenvattingen op, maar geen oordeel. Elk antwoord blijft een tussenstap die u controleert.
  • Het vraagt iets van uw computer. Terwijl de formule wordt uitgerekend, is u machine even druk. Op een moderne laptop merkt u daar weinig van, op een oude wel.

Kort samengevat

Een AI-model is een enorme formule met miljarden vaste getallen erin. Een vraag stellen betekent dat die formule wordt uitgerekend, woord voor woord. Dat rekenwerk gebeurt op een processor, en die processor staat in een datacenter of bij u op tafel.

Staat de formule op uw eigen schijf, dan hoeft uw tekst nergens heen. Dat AI dus altijd internet nodig heeft is geen natuurwet, het is een gevolg van waar het model is neergezet.

Verder lezen