AI op je schoot: wat maakt lokale AI beter dan online modellen?

AI lokaal of in de cloud

HP gelooft niet dat AI in de cloud moet werken, maar lokaal op jouw laptop.

Lokale AI klinkt misschien technisch, maar het idee is simpel: AI die op je toestel draait, in plaats van ergens op een server in de cloud. Volgens HP is dat niet alleen sneller en efficiënter, maar ook noodzakelijk voor wie met gevoelige data werkt. Tijdens de ‘Future of Work’-keynote legt Rajendra Sitompoel, CTO bij HP, uit waarom de toekomst in on-device AI ligt en niet in de cloud.

NPU is vereist

Sitompoel legt uit dat AI lokaal draaien wel degelijk een verschil maakt. “Als je AI op je device draait, dan heb je controle over je data. Dat is belangrijk in sectoren zoals de overheid of gezondheidszorg, waar gevoelige informatie niet zomaar de cloud in mag,” vertelt hij tijdens de ‘Future of Work’-keynote in Utrecht.

Cyberaanvallen tijdens thuiswerk blijven toenemen

IT-teams zien een toename in het aantal werknemers dat kwaadaardige bijlagen opent, wat leidt tot meer heropbouw van geïnfecteerde machines. Thuiswerk maakt het moeilijker…

Die AI-workloads draaien op een aparte chip: een NPU of neural processing unit. Die voert AI-berekeningen lokaal uit, zonder tussenkomst van de cloud. Dat zorgt voor minder latency, een lager energieverbruik en meer privacy voor de eindgebruiker. “Je hebt die extra chip niet nodig voor normale workloads, maar wel voor generatieve AI,” legt Sitompoel uit.

Jouw eigen AI-kameraad

De AI Companion van HP draait volledig lokaal op het toestel en past zich aan de context van de gebruiker aan. Sitompoel beschrijft een scenario waarin iemand een trein instapt en de laptop automatisch de geluidsinstellingen aanpast. Kom je op kantoor, dan herkent het systeem dat en schakelt het over op de juiste instellingen.

De Companion geeft ook hulp op basis van context: zo weet jouw pc bijvoorbeeld in welke applicatie je werkt en worden er relevante acties voorgesteld. Alles blijft op het toestel, en dat wordt steeds belangrijker in een tijd waarin AI-modellen vaak op externe servers draaien.

Doordachte implementatie

Sitompoel is ook kritisch voor de manier waarop sommige AI-oplossingen vandaag uitgerold worden. “We moeten niet AI implementeren om AI te implementeren,” benadrukt hij. “De focus moet liggen op gebruiksgemak en echte ondersteuning voor de eindgebruiker.” AI moet dus niet alleen slim zijn, maar ook stil: ondersteunend, zonder opdringerig te worden.

De combinatie van on-device AI en bijhorende hardware maakt het volgens HP mogelijk om vandaag al concrete voordelen te bieden. “Onze AI-pc’s zijn geen toekomstvisie,” besluit Sitompoel. “Ze zijn vandaag beschikbaar, en ontworpen om direct waarde te leveren.”