Wat is de invloed van de EU AI Act op de inkoopvoorwaarden die bedrijven en overheden hanteren voor ai-toepassingen? Belangrijke vraag hierbij is: wanneer is een ai-systeem eigenlijk een ai-systeem? En kunnen inkopende organisaties überhaupt wel invloed uitoefenen op de manier waarop zij ai-modellen van externe leveranciers inkopen?
Tekst: Robbert Hoeffnagel Beeld: ENVATO
De EU AI Act stelt eisen aan de ontwikkeling en het gebruik van ai-systemen door overheden en marktpartijen. De EU AI Act geldt niet alleen voor partijen die een ai-systeem ontwikkelen of op de markt brengen, maar ook voor importeurs en gebruikers. Bij de inkoop van software zal daar dus rekening mee gehouden moeten worden.
De verordening is ’s werelds eerste uitgebreide wetgeving gericht op het reguleren van kunstmatige intelligentie. Het doel van de wet is enerzijds innovatie te stimuleren en anderzijds fundamentele rechten van burgers te beschermen en risico’s van ai-systemen te beheersen. Systemen die op basis van hun impact op veiligheid, mensenrechten of transparantie als ‘hoog risico’ worden beoordeeld, vallen onder de strengste verplichtingen. Ook spreekt de wet van een categorie ‘onacceptabele’ risico’s.
Voor bedrijven en overheden die ai inzetten of inkopen, betekent de wet een wijziging van hun governance, compliance en inkoopprocessen. Daarbij spelen belangrijke vragen: hoe richt je als organisatie je inkoopvoorwaarden in volgens de EU AI Act? Wat als je gebruikmaakt van Amerikaanse platforms zoals ChatGPT? En hoe borg je logging en databeheer als je ai van externe partijen betrekt?
Wat is een ai-systeem?
Wanneer is een ai-systeem eigenlijk een ai-systeem? Die ogenschijnlijk simpele vraag vormt het startpunt van een complex traject waar veel bedrijven en overheden nog geen goed antwoord op krijgen. Pas als duidelijk is wat volgens de wet een ai-systeem ís, kun je bepalen of en hoe de regels van de EU AI Act van toepassing zijn.
‘Ook bestaande toepassingen in bijvoorbeeld hr, klantenservice, logistiek of e-commerce kunnen ineens onder de ai-regelgeving vallen’
Niet alleen systemen die expliciet als ai verkocht worden vallen eronder, maar ook softwaretoepassingen die patronen herkennen, voorspellingen doen of beslissingen nemen kunnen hierdoor als ai worden aangemerkt. Dit betekent dat ook bestaande toepassingen in bijvoorbeeld hr, klantenservice, e-commerce of logistiek ineens onder de ai-regelgeving kunnen vallen. Denk aan een tool waarmee een klant van een webshop de eigen kledingmaat vaststelt, zo blijkt uit een voorbeeld op de website van ICTrecht.
Dit heeft gevolgen voor de manier waarop bedrijven en overheden ai-systemen inkopen. Inkoopvoorwaarden, technische eisen en contractuele afspraken zullen moeten worden aangepast aan de eisen van de EU AI Act. Maar hoe doe je dat als afnemer van complexe technologie, zeker als je afhankelijk bent van grote internationale leveranciers? En hoe houd je de controle over zaken als logging, data-opslag en privacy, als de technologie buiten de EU wordt gehost of ontwikkeld? Of zijn er ook alternatieven denkbaar?
Inkoopvoorwaarden herzien
Juridisch expert Mirk Zwart schreef op de website van ICTRecht al dat de komst van de EU AI Act nieuwe eisen stelt aan transparantie, risicobeheer en menselijk toezicht. Dat heeft directe impact op de voorwaarden waaronder je ai inkoopt. Inkoopvoorwaarden moeten onder andere helderheid geven over:
- de classificatie van het ai-systeem (laag, hoog risico of onacceptabel risico);
- de naleving van transparantieverplichtingen;
- de beschikbaarheid van documentatie en logginggegevens;
- de verantwoordelijkheden rond menselijke supervisie en datagebruik.
De kernvraag is: leg je deze verantwoordelijkheden volledig bij de leverancier? Of moet je als afnemer zelf de regie nemen? Dan rijst de vraag of dergelijke aspecten in de praktijk afdwingbaar zijn bij grote leveranciers als OpenAI of Google. Hun generatieve ai-modellen worden niet specifiek op één klant afgestemd en worden via standaardvoorwaarden geleverd.
Er is bij deze publiek beschikbare LLM’s sprake van asymmetrie tussen aanbieder en afnemer. Enerzijds hanteren veel bedrijven inkoopvoorwaarden waarin ai-clausules ontbreken of te algemeen zijn. Anderzijds is het niet realistisch te denken dat een Europese gemeente of mkb-onderneming de voorwaarden van een Amerikaanse tech-gigant kan aanpassen.
‘In de zaak tussen The New York Times en OpenAI is door een Amerikaanse rechter bepaald dat alle output logs van ChatGPT bewaard moeten worden, inclusief data die volgens Europese normen allang verwijderd hadden moeten zijn’
Logging is verplicht maar problematisch
Een belangrijk aspect van de EU AI Act is de eis om gebruik en output van ai-systemen te loggen. Dit is essentieel voor audits, toezicht en geschillenbeslechting. Hoe garandeer je als afnemer dat de leverancier logging mogelijk maakt – en dat deze logs veilig worden opgeslagen? Logging is essentieel voor compliance. Maar als de leverancier geen toegang geeft tot de logbestanden, of als deze logs niet zijn te exporteren, dan sta je als afnemer met lege handen.
Bovendien: wie garandeert dat de logs niet worden misbruikt? Dat is geen theoretisch risico, zoals ondernemer en tech-investeerder Gijsbert van der Meulen onlangs op LinkedIn betoogde: ‘In de zaak tussen The New York Times en OpenAI is door een Amerikaanse rechter bepaald dat alle output logs van ChatGPT bewaard moeten worden, inclusief data die volgens Europese normen allang verwijderd hadden moeten zijn. Dit zet het hele idee van dataminimalisatie en controle onder druk.’ Van der Meulen vervolgt: ‘(…) ook al heb je in ChatGPT je instellingen staan op ‘alle chats verwijderen’, ‘het model verbeteren’ uitgeschakeld en je geheugen voor personalisatie niet aangezet. Nog steeds is alles opvraagbaar.’
Interne ai versus publieke generatieve ai
Voor Europese bedrijven die generatieve ai van Amerikaanse partijen gebruiken, betekent dit dus dat interne communicatie, klantdata en concurrentiegevoelige informatie in feite onder Amerikaanse jurisdictie vallen. Wat betekent dit voor Europese bedrijven die ai willen toepassen?
Het is van cruciaal belang onderscheid te maken tussen Amerikaanse generatieve ai zoals ChatGPT en niet-Amerikaanse opties zoals LeChat van Mistral. Daarnaast zijn er op open source-modellen gebaseerde, door de organisatie zelf getrainde en daardoor veelal kleinere ai-modellen (de zogeheten Small Language Models of SLM’s). Trainen gebeurt dan met interne bedrijfsgegevens en andere zelf geselecteerde data. Deze SLM’s bieden organisaties wél autonomie. Hier geldt natuurlijk wel dat compliance volledig door de organisatie zelf moet worden geregeld. Gebruikt men externe data, dan moet bijvoorbeeld ook goed gekeken worden naar auteursrechten.
Meer dan inkoopvoorwaarden
Gevoelige sectoren zoals overheden en kritieke sectoren als defensie, zorg en energie kiezen nu vaak al voor eigen of op open source gebaseerde en zelf getrainde SLM-modellen. Open source-modellen bieden volop mogelijkheden voor soevereine data-opslag, transparantie van algoritmes en controle over audits. Het blijft natuurlijk zaak de licenties waarmee deze open source-modellen beschikbaar zijn, goed te bestuderen. Er bestaan overigens nuttige classifcatiesystemen voor ai-modellen die hierbij kunnen helpen. Voor bedrijven die besluiten om met niet-Europese generatieve ai-systemen aan de slag te gaan, is het belangrijk dat zij zich realiseren dat zij zich daarmee dus veel meer toegang tot hun bedrijfsdata geven dat zij zich wellicht realiseren.
Als het om inkoop van ai gaat, is de EU AI Act niet alleen een wet, maar vooral ook een belangrijke wake-up call. Cio’s, it-managers en inkoopmanagers moeten zich realiseren dat transparantie, traceerbaarheid en toezicht niet langer optionele functies zijn, maar verplichte pijlers onder hun ai-beleid.
