Nieuwe vaardigheid:
Begrijpen wat een ai-opdracht kost
Hoeveel kost al dat geprompt en gechat eigenlijk? Niet alleen in euro’s maar ook in energie? GreenPT maakt ai-gebruik inzichtelijk. ‘Kosten en energie zijn bij ai sterk met elkaar verbonden. Wie efficiënter omgaat met tokens en modellen, ziet dat meestal terug in beide’, aldus ceo Robert Keus.
Tekst: ROBBERT HOEFFNAGEL Beeld: GREENPT
Generatieve ai ontwikkelt zich in hoog tempo van experimentele technologie tot een vaste bouwsteen van bedrijfsprocessen. Verschillende afdelingen gebruiken echter verschillende modellen, leveranciers en abonnementen. Daardoor ontstaat al snel een versnipperd landschap waarin nauwelijks centraal zichtbaar is hoeveel tokens worden verbruikt, welke toepassingen de grootste kosten veroorzaken en hoeveel rekenkracht en energie daarvoor nodig zijn.
Volgens Robert Keus, medeoprichter en ceo van GreenPT, is dat een risico zodra ai op grotere schaal wordt ingezet. ‘Zolang een paar medewerkers af en toe een ai-model gebruiken, lijkt het allemaal overzichtelijk. Maar zodra ai onderdeel wordt van tientallen processen en honderden medewerkers ermee werken, moet je precies weten wat er gebeurt. Anders verlies je zowel financieel als qua energieverbruik de controle.’ GreenPT probeert organisaties die controle te geven door via één centrale omgeving toegang te bieden tot meerdere ai-modellen. Klanten hoeven daardoor niet met iedere modelleverancier afzonderlijk zaken te doen, maar hebben één aanspreekpunt en ontvangen één factuur. Tegelijkertijd krijgen zij zicht op tokengebruik, kosten en het energiegebruik dat met de verschillende ai-toepassingen samenhangt.
Ai krijgt dezelfde uitdaging als cloud
De ontwikkeling doet denken aan de eerste jaren van cloud computing. Ook daar konden afdelingen relatief eenvoudig zelf capaciteit en applicaties inkopen. Met generatieve ai dreigt hetzelfde te gebeuren, alleen kan de groei nog sneller gaan. Een individuele prompt kost weinig, maar zodra modellen structureel onderdeel worden van bedrijfsprocessen, lopen de aantallen snel op. Een klantenservice kan bijvoorbeeld automatisch duizenden gesprekken per dag laten samenvatten. Een juridische afdeling kan grote hoeveelheden documenten laten analyseren. Marketingafdelingen genereren teksten, afbeeldingen en vertalingen, terwijl ontwikkelaars via programmeerassistenten continu ai-aanvragen uitvoeren.
‘De kosten van één opdracht zeggen niet zoveel’, aldus Keus. ‘Het gaat om het totale volume. Als ai voortdurend op de achtergrond wordt aangeroepen, kunnen kleine bedragen bij elkaar een serieus budget vormen. Daarom moet je vanaf het begin meten wat er gebeurt.’ Dat geldt des te meer omdat verschillende ai-modellen verschillende tarieven hanteren. Sommige leveranciers rekenen afzonderlijk voor invoer- en uitvoertokens. Daarnaast bestaan grote prijsverschillen tussen krachtige frontiermodellen en kleinere modellen. Wie geen centraal overzicht heeft, ziet uiteindelijk vooral losse facturen verschijnen. Het wordt dan moeilijk om te bepalen welke afdeling welk deel van de kosten veroorzaakt en welke toepassing werkelijk waarde toevoegt.
‘Een compactere prompt vermindert het aantal tokens en daarmee de kosten’
Daarom moet kostenbeheersing volgens GreenPT niet worden gezien als een administratieve taak achteraf, maar als onderdeel van ai-governance. Een organisatie moet kunnen zien welk model wordt gebruikt, hoeveel tokens een toepassing verbruikt en wat daar financieel tegenover staat. Alleen dan kan worden beoordeeld of een toepassing efficiënt is ingericht. ‘Je wilt niet pas na afloop constateren dat een bepaalde toepassing veel duurder is geworden dan verwacht’, zegt Keus. ‘Je wilt tijdens het gebruik kunnen zien waar de kosten ontstaan en of er een alternatief beschikbaar is.’
Centrale toegang tot verschillende modellen maakt die vergelijking veel eenvoudiger. Organisaties hoeven zich niet volledig vast te leggen op één leverancier, maar kunnen per toepassing bepalen welk model de beste verhouding biedt tussen kwaliteit en kosten. Dat is belangrijk omdat niet iedere taak hetzelfde ai-model nodig heeft. ‘Het zwaarste model is niet automatisch het beste model voor iedere toepassing’, aldus Keus. ‘Als een kleiner model dezelfde taak goed uitvoert, is het vaak goedkoper. En meestal is er nog een tweede voordeel: het vraagt minder rekenkracht en dus minder energie.’ Daarmee komt dus de tweede rekening van ai in beeld: energiegebruik.
Ook energie moet meetbaar worden
Naarmate organisaties meer ai inzetten, neemt niet alleen hun financiële afhankelijkheid van modellen toe, maar ook de hoeveelheid energie die indirect door hun digitale activiteiten wordt veroorzaakt. Volgens Keus wordt die tweede factor nog te weinig meegenomen. ‘Iedere organisatie kijkt uiteindelijk naar de kosten van software en infrastructuur. Maar bij ai moet je óók naar energie kijken. Als je miljoenen opdrachten uitvoert, is het relevant hoeveel rekenkracht daarvoor nodig is.’ GreenPT probeert daarom naast tokengebruik en kosten ook informatie te bieden over het energiegebruik dat samenhangt met ai. Dat maakt het mogelijk deze informatie te betrekken bij duurzaamheidsbeleid en rapportages. Voor organisaties die hun digitale milieu-impact inzichtelijk willen maken, wordt het steeds belangrijker om ook ai-workloads daarin mee te nemen.
Dat sluit aan op een breder probleem rond verduurzaming van it. Bedrijven kunnen pas sturen op energiegebruik wanneer zij weten waar dat energiegebruik vandaan komt. Bij traditionele infrastructuur bestaan daarvoor inmiddels meerdere meetmethoden. Organisaties kunnen het elektriciteitsgebruik van servers, datacenters en cloudomgevingen analyseren. Bij ai is die transparantie nog minder vanzelfsprekend. Toch wordt ze volgens GreenPT steeds noodzakelijker. ‘Als je duurzaamheid serieus neemt, kan het niet zo zijn dat je nauwkeurig rapporteert over het energiegebruik van gebouwen, wagenparken en datacenters, maar ondertussen geen idee hebt hoeveel rekenkracht je ai-toepassingen gebruiken.’
'Het zwaarste model is niet automatisch het beste model voor iedere toepassing'
Interessant is dat financiële optimalisatie en verduurzaming bij ai vaak dezelfde kant op wijzen. Een kleiner model gebruikt doorgaans minder rekenkracht en kost vaak minder geld. Een compactere prompt vermindert het aantal tokens en daarmee zowel de financiële kosten als de hoeveelheid berekeningen. Het beperken van onnodig lange antwoorden heeft een vergelijkbaar effect. ‘Kosten en energie zijn bij ai sterk met elkaar verbonden’, zegt Keus. ‘Wie efficiënter omgaat met tokens en modellen, ziet dat meestal terug in beide.’ Juist daarom is inzicht zo belangrijk. Zonder meetgegevens blijft optimalisatie grotendeels giswerk. Wanneer organisaties precies kunnen zien welke toepassingen veel tokens gebruiken en welke modellen daarbij worden ingezet, kunnen zij gericht onderzoeken of die toepassingen efficiënter kunnen.
Transparantie over energiegebruik kan daarnaast medewerkers helpen bewuster met ai om te gaan. Tot nu toe wordt gebruikers vooral geleerd hoe zij betere prompts kunnen schrijven om betere antwoorden te krijgen. In de toekomst hoort daar volgens Keus een tweede vaardigheid bij: begrijpen wat een ai-opdracht kost. ‘Gebruikers hoeven geen energie-experts te worden. Maar het helpt wel als zij begrijpen dat een uitgebreide opdracht aan een zwaar model andere consequenties heeft dan een eenvoudige vraag aan een kleiner model.’ Dit betekent niet dat ieder ai-verzoek vooraf financieel moet worden beoordeeld. Het gaat om algemene bewustwording, vindt hij. Een gebruiker kan bijvoorbeeld leren dat voor een eenvoudige samenvatting geen geavanceerd model nodig is. Of dat het onnodig is om iedere keer honderden pagina’s context naar een model te sturen wanneer slechts een klein gedeelte relevant is. Op grote schaal toegepast, zal dat gedrag merkbare invloed hebben op zowel kosten als energiegebruik.
Eén omgeving, één factuur
GreenPT probeert dat inzicht te combineren met eenvoudiger beheer. Via de centrale omgeving kunnen klanten verschillende ai-modellen gebruiken zonder afzonderlijke overeenkomsten met iedere leverancier. Dat betekent één commerciële relatie en één factuur, ook wanneer binnen de organisatie verschillende modellen worden ingezet. ‘Voor organisaties die serieus met ai gaan werken, wordt dat steeds belangrijker’, zegt Keus. ‘Je wilt keuzevrijheid tussen modellen, maar je wilt niet twintig leveranciersrelaties en dertig verschillende manieren van factureren beheren.’ Die centrale positie maakt het bovendien mogelijk om verbruik over verschillende modellen heen te bekijken. Finance, it en duurzaamheidsafdelingen kunnen daardoor vanuit hetzelfde totaalbeeld werken. Dat helpt ai van een verzameling losse experimenten te veranderen in een beheersbare digitale infrastructuur.
'Niet minder ai gebruiken is daarbij het uitgangspunt, maar ai doelgerichter inzetten'
Aan die aanpak voegt GreenPT nog een derde element toe: digitale autonomie. De modellen en software die het bedrijf aan klanten beschikbaar stelt, worden in Europa gehost, bij Scaleway in Frankrijk. Voor Europese organisaties kan dat relevant zijn vanwege databescherming, regelgeving en de wens om meer controle te houden over de plaats waar gegevens worden verwerkt. ‘Digitale autonomie gaat niet alleen over de leverancier van een model’, zegt Keus. ‘Het gaat ook over de infrastructuur waarop dat model beschikbaar wordt gesteld en de mogelijkheid om van model te wisselen.’ Niet alle modellen die via GreenPT beschikbaar zijn, zijn in Europa ontwikkeld. De centrale omgeving voorkomt volgens het bedrijf echter dat klanten hun volledige ai-strategie aan één modelleverancier hoeven te koppelen. Wanneer prijzen veranderen, een model technisch achterblijft of een alternatief beter bij een bepaalde toepassing past, kan een organisatie eenvoudiger overstappen.
Grip als voorwaarde voor verdere groei
De discussie over generatieve ai verschuift daarmee. De afgelopen jaren draaide vooral om de vraag wat met ai mogelijk is. Nu organisaties de technologie daadwerkelijk opschalen, wordt een andere vraag minstens zo belangrijk: hoe houden we het beheersbaar? Daarbij zijn kosten en energiegebruik geen bijzaken. Ze bepalen mede of ai op langere termijn verantwoord en economisch inzetbaar blijft. Een organisatie die niet weet hoeveel tokens worden gebruikt, kan moeilijk voorspellen hoe ai-uitgaven zich ontwikkelen. Een organisatie die niet weet hoeveel energie haar ai-workloads vragen, kan evenmin serieus sturen op de milieu-impact van haar digitale activiteiten. Daarmee wordt transparantie uiteindelijk een voorwaarde voor verdere digitale transformatie. Niet minder ai gebruiken is daarbij het uitgangspunt, maar ai doelgerichter inzetten. Wie kosten, energiegebruik en modelkeuze integraal beheert, kan de technologie verder opschalen zonder dat financiële uitgaven of milieu-impact ongemerkt uit de hand lopen.
