AI wordt onbetaalbaar in de cloud: kan lokale AI de kosten onder controle houden?

AI wordt onbetaalbaar in de cloud: kan lokale AI de kosten onder controle houden?

Generatieve AI vindt razendsnel haar weg naar de werkvloer, maar daar hangt een steeds steviger prijskaartje aan vast. Naarmate medewerkers vaker AI-assistenten gebruiken, stijgt ook het verbruik van tokens en cloudcapaciteit.

Volgens Koen Van Beneden, Managing Director van HP Nordics and Benelux, is die ontwikkeling van cloudcapaciteit op termijn financieel niet houdbaar. Een groter deel van de AI-verwerking naar de laptop verplaatsen, kan bedrijven helpen om hun kosten onder controle te krijgen. Voor veel bedrijven begon generatieve AI met een beperkt aantal experimenten en licenties. Ondertussen gebruiken steeds meer medewerkers de technologie om teksten te schrijven, documenten samen te vatten, informatie op te zoeken of gegevens te analyseren. Daardoor verschuift AI stilaan van een afzonderlijk innovatieproject naar een dagelijkse bedrijfskost.

“Veel IT-managers zien hun AI-budget erg sterk stijgen”, zegt Van Beneden. “Het aantal tokens dat gebruikers verbruiken voor al dan niet nuttige taken is gigantisch. Daar proberen bedrijven vandaag oplossingen voor te vinden.”

AI voor IT-professionals

Kunstmatige intelligentie is geen toekomstmuziek meer, maar dagelijkse realiteit in IT-afdelingen. Van geautomatiseerde klantenservice tot voorspellend onderhoud: AI verandert fundamenteel hoe bedrijven werken en…

Niet elke opdracht moet naar de cloud

Bij de meeste generatieve AI-toepassingen wordt een opdracht naar een model in de cloud gestuurd. Dat biedt toegang tot krachtige modellen, maar brengt ook terugkerende kosten met zich mee. Hoe intensiever medewerkers AI gebruiken, hoe hoger de rekening kan oplopen. Volgens Van Beneden hoeft lang niet iedere AI-opdracht in een datacenter verwerkt te worden. Steeds meer laptops beschikken over een Neural Processing Unit of NPU, een chip die specifiek ontworpen is om AI-taken efficiënt op het toestel uit te voeren.

“Als we ervoor kunnen zorgen dat een substantieel deel van de AI-workload gewoon op het device gebeurt, verbruikt dat geen cloudtokens”, stelt hij. “De hardware en software zijn er toch al. Alleen dat deel dat dat te complex is of data nodig heeft die niet op het toestel staan, moet dan nog naar de cloud.”

Denk bijvoorbeeld aan het vertalen of samenvatten van lokale documenten, het verbeteren van tekst, het doorzoeken van bestanden of het uitvoeren van eenvoudige persoonlijke automatiseringen. Voor complexe analyses, actuele informatie en toepassingen die grote bedrijfsdatabanken aanspreken, blijft de cloud wel belangrijk.

Investeren om later te besparen

On-device AI maakt de kost niet volledig ongedaan, maar verandert wel waar bedrijven ervoor betalen. In plaats van voor iedere opdracht tokens en cloudcapaciteit af te rekenen, investeren ze vooraf in laptops die AI lokaal kunnen verwerken. De investering wordt daarmee ook weer beheersbaarder, voorspelbaarder. Dat zorgt voor een moeilijke afweging. AI-pc’s zijn duurder dan klassieke laptops en bedrijven kunnen hun volledige computerpark niet van vandaag op morgen vervangen. Bovendien staan de prijzen van geheugen, opslag en andere componenten onder druk door de wereldwijde vraag naar AI-infrastructuur.

Komen bedrijven daardoor in een Catch-22 terecht? Ze willen lokaal meer AI draaien om de cloudkosten te beperken, maar hebben daarvoor krachtigere en duurdere hardware nodig. Stellen ze die investering uit, dan blijven de terugkerende uitgaven voor cloud-AI mogelijk verder stijgen.

De overstap hoeft geen volledige vervanging van het pc-park te betekenen. Een groot deel van de zakelijke toestellen die HP vandaag in de Benelux verkoopt, is al klaar om AI lokaal te draaien.

Koen van Beneden, Managing Director van HP Nordics and Benelux

Hij vergelijkt de evolutie met de introductie van wifi. “In het begin moest je een wifimodule apart kiezen en was die voor ‘the rich and the famous’. Binnen de kortste keren werd wifi gewoon standaard in ieder toestel. De economische nood is zo groot dat ook AI-capaciteit snel standaard zal worden.”

Niet iedere medewerker heeft dezelfde AI-pc nodig

Een gefaseerde uitrol kan de investeringsdrempel verlagen. Medewerkers die intensief met lokale documenten, vertalingen, beelden of gevoelige informatie werken, kunnen als eerste een AI-pc krijgen. Voor werknemers die AI slechts sporadisch gebruiken, voor de toegangkelijke AI toepassingen, daar volstaat mogelijk nog een klassiek toestel in combinatie met cloudtoepassingen.

Daarvoor moeten IT-afdelingen wel weten welke toepassingen medewerkers gebruiken en hoeveel rekenkracht ze werkelijk nodig hebben. Met monitoring- en beheertools kunnen bedrijven nagaan welke gebruikers baat hebben bij lokale AI en waar een hardwarevervanging nog weinig toegevoegde waarde biedt. Zo vermijden organisaties dat ze hun volledige vloot in één beweging vernieuwen. Zwaardere lokale AI-capaciteit kan geleidelijk worden ingevoerd wanneer toestellen aan vervanging toe zijn, met uitzonderingen voor medewerkers die er onmiddellijk productiviteitswinst uit kunnen halen.

Hybride AI wordt de norm

Lokale AI zal de cloud niet vervangen. Grote modellen, complexe analyses en toepassingen die centrale of actuele gegevens nodig hebben, blijven afhankelijk van datacenters. Tegelijk is het financieel en technisch weinig efficiënt om elke kleine opdracht naar de cloud te sturen. De meest logische uitkomst is daarom een hybride model. Courante, privacygevoelige en relatief lichte taken worden op het toestel verwerkt. Alleen wanneer meer rekenkracht of externe data nodig zijn, wijkt de toepassing uit naar de cloud.

Voor IT-afdelingen ontstaat daarmee een nieuwe optimalisatieoefening. Ze moeten niet alleen bepalen welke AI-tools medewerkers mogen gebruiken, maar ook waar iedere workload het best wordt uitgevoerd. Wie die afweging niet maakt, dreigt zijn cloudfactuur mee te laten groeien met ieder nieuw AI-experiment. “De huidige curve van uitgaven aan AI in de cloud is gewoon niet duurzaam voor bedrijven”, besluit Van Beneden. On-device AI wordt daardoor meer dan een technisch extraatje. Het kan een noodzakelijke manier worden om generatieve AI op grote schaal betaalbaar te houden.