Energiebesparing en AI – Waarom we AI moeten herontwerpen zodat het net zo werkt als het brein

Naarmate kunstmatige intelligentie (AI) zich verder ontwikkelt, brengen de prestaties ervan energie-intensieve uitdagingen met zich mee.

Eén studie voorspelt dat als de datagroei aanhoudt, het cumulatieve energieverbruik van binaire bewerkingen in 2040 10^27 Joule kan overschrijden – meer dan wat de wereld kan opwekken.

Laten we eens kijken naar de impact van AI op het milieu, de beperkingen van conventionele rekenmodellen en hoe Neuromorphic Computing (NC) inspiratie put uit het energie-effici?nte menselijke brein, wat leidt tot duurzame AI-ontwikkelingen.

Kunstmatige intelligentie: het dilemma

In de afgelopen jaren heeft kunstmatige intelligentie (AI) opmerkelijke mijlpalen bereikt, bijvoorbeeld de evolutie van taalmodellen zoals ChatGPT en vooruitgang in computer vision die autonome technologie mogelijk maakt en medische beeldvorming verbetert.

Bovendien benadrukt de verbazingwekkende vaardigheid van AI van reinforcement learning, zoals te zien is in de overwinningen op menselijke kampioenen in spellen als schaken en Go, de opmerkelijke capaciteiten van AI.

Hoewel deze ontwikkelingen AI in staat hebben gesteld om industrie?n te transformeren, bedrijfsinnovatie te bevorderen, wetenschappelijke doorbraken te ontdekken en een sterke indruk te maken op de samenleving, zijn ze niet zonder gevolgen.

Naast deze alarmerende voorspelling voor 2040, vereist het opslaan van uitgebreide gegevens en het trainen van AI-modellen met behulp van deze datasets zelfs vandaag de dag aanzienlijke energie en rekenkracht:

• Het trainen van een model kan volgens MIT Technology Review meer energie verbruiken dan tijdens de totale levensduur van een gemiddelde auto.
• De impact van cloud computing op het milieu is nu groter dan die van luchtvaartmaatschappijen.
• Datacenters zijn verantwoordelijk voor 2-3% van de wereldwijde uitstoot van broeikasgassen, waarbij energie-intensieve servers 7% van de elektriciteit in Denemarken verbruiken en 2,8% in de VS.

Daarom is het van vitaal belang om een balans te vinden tussen vooruitgang en energievereisten, rekening houdend met de gevolgen voor het milieu, naarmate AI zich verder ontwikkelt.

Von Neumann architectuur: de bottleneck

AI-modellen werken binnen het raamwerk van de Von Neumann-architectuur, een computerontwerp dat in wezen een scheiding aanbrengt tussen verwerking en geheugen, waarbij constante communicatie tussen beide vereist is.

Naarmate AI-modellen complexer worden en datasets groter worden, wordt deze architectuur geconfronteerd met aanzienlijke hindernissen.

Ten eerste delen de verwerkings- en geheugeneenheden een communicatiebus, waardoor AI-berekeningen langzamer verlopen en de trainingssnelheid wordt belemmerd.

Ten tweede beschikt de verwerkingseenheid van de architectuur niet over parallelle verwerkingsmogelijkheden, wat gevolgen heeft voor de training.

Hoewel GPU’s het probleem verlichten door parallelle verwerking mogelijk te maken, introduceren ze overhead bij gegevensoverdracht.

De frequente verplaatsing van gegevens heeft te maken met extra overhead door de geheugenhi?rarchie, wat de prestaties be?nvloedt.

Grote datasets veroorzaken langere geheugentoegangstijden en beperkte geheugen bandbreedte, wat resulteert in prestatieproblemen.

Complexe AI-modellen belasten Von Neumann-systemen, waardoor het geheugen en de verwerkingscapaciteit beperkt zijn. Deze beperkingen hebben geleid tot hoge energiebehoeften en koolstofemissies in AI-systemen.

Het aanpakken van deze uitdagingen is cruciaal voor het optimaliseren van AI-prestaties en het minimaliseren van de impact op het milieu.

Biologisch brein: de inspiratie

Het menselijk brein is krachtiger dan welke AI-machine dan ook als het gaat om cognitieve vaardigheden.

Ondanks de immense kracht is het brein ongelooflijk licht en werkt het op slechts 10W stroom, in tegenstelling tot de energieverslindende machines die we tegenwoordig gebruiken.

Volgens een schatting kan het brein zelfs met dit bescheiden energiebudget een verbazingwekkende 1 exaflop bereiken, wat gelijk staat aan 1000 petaflops – een prestatie die de snelste supercomputer ter wereld met zijn 30 megawatt aan vermogen met moeite kan evenaren met 200 petaflops.

Het geheim van de hersenen ligt in de neuronen, die verwerking en geheugen integreren, in tegenstelling tot de Von Neumann architectuur.

De hersenen verwerken informatie op een massaal parallelle manier, met miljarden neuronen en triljoenen synapsen die tegelijkertijd werken. Ondanks de opmerkelijke complexiteit blijven de hersenen compact en zuinig in hun energieverbruik.

Wat is Neuromorphic Computing?

Neuromorphic computing (NC) is een tak van computertechnologie die ge?nspireerd is op de structuur en werking van de neurale netwerken van het menselijk brein.

Het doel is om computerarchitecturen en -systemen te ontwerpen en te ontwikkelen die de parallelle en gedistribueerde verwerkingsmogelijkheden van de hersenen nabootsen, waardoor een effici?nte en energie-effici?nte verwerking van complexe taken mogelijk wordt.

Deze benadering is erop gericht om de beperkingen van de Von Neumann architectuur voor AI taken te overwinnen, met name door geheugen en verwerking op één locatie te plaatsen.

Om NC te begrijpen, is het essentieel om te begrijpen hoe de hersenen werken. Neuronen, de bouwstenen van de hersenen, communiceren via elektrische signalen om informatie te verwerken.

Als ze signalen ontvangen van onderling verbonden neuronen, verwerken ze die en zenden ze impulsen uit.

Deze impulsen reizen langs paden die door neuronen worden gevormd, waarbij synapsen – openingen tussen neuronen – de overdracht vergemakkelijken.

Binnen het NC-raamwerk worden analoge memristors gebruikt om de functie van de synapsen na te bootsen en geheugen te cre?ren door de weerstand aan te passen.

De snelle communicatie tussen neuronen wordt meestal bereikt door het gebruik van Spiking Neural Networks (SNN’s).

Deze SNN’s verbinden spiking neuronen met behulp van kunstmatige synaptische apparaten, zoals memristors, die analoge circuits gebruiken om hersenachtige elektrische signalen na te bootsen.

Deze analoge circuits bieden een aanzienlijk hogere energie-effici?ntie in vergelijking met de conventionele Von Neumann architectuur.

Neuromorfische technologie?n

De opkomst van AI stimuleert de vraag naar neuromorf computergebruik.

De wereldwijde markt voor neuromorfische computers zal naar verwachting groeien van USD 31,2 miljoen in 2021 tot ongeveer USD 8.275,9 miljoen in 2030, met een indrukwekkende CAGR van 85,73%. Als reactie hierop bevorderen bedrijven neuromorfische technologie?n, zoals:

• IBM’s TrueNorth: dit werd ge?ntroduceerd in 2014 en is een neuromorf CMOS ge?ntegreerd circuit met 4096 kernen, meer dan een miljoen neuronen en 268 miljoen synapsen. TrueNorth overwint von Neumann-knelpunten en verbruikt slechts 70 milliwatt.
• Intel’s Loihi: Loihi werd in 2017 onthuld en is 1000 keer energie-effici?nter dan de typische neurale netwerktraining. Het beschikt over 131.072 gesimuleerde neuronen en is 30-1000 keer energie-effici?nter dan CPU’s/GPU’s.
• BrainChip’s Akida NSoC: gebruikt een spiking neuraal netwerk architectuur en integreert 1,2 miljoen neuronen en 10 miljard synapsen. Akida ondersteunt real-time, energiezuinige AI-toepassingen zoals video-objectdetectie en spraakherkenning.

Deze innovaties geven de snelle evolutie aan van neuromorphic computing om te voldoen aan de AI-eisen.

Uitdagingen van neuromorf computergebruik

Om het potentieel van NC in AI te realiseren, moeten specifieke uitdagingen worden aangepakt.

Ten eerste is de ontwikkeling van effici?nte algoritmen die compatibel zijn met neuromorfe hardware cruciaal. Dit vereist een diepgaand begrip van de werking van hardware en aanpassingen op maat.

Ten tweede is de noodzaak om grotere, ingewikkelde datasets te verwerken cruciaal. De huidige NC-experimenten hebben betrekking op relatief bescheiden datasets, waardoor het nodig is om de prestaties te onderzoeken met omvangrijkere en complexere problemen.

Naarmate de datasets groter en complexer worden, nemen de rekenkundige eisen van NC toe. De uitdaging ligt in het ontwerpen van NC-systemen die aan deze eisen kunnen voldoen en tegelijkertijd nauwkeurige en effectieve oplossingen leveren.

Ondanks bemoedigende resultaten uit tests op kleinere schaal, zijn de prestaties van NC met grotere en complexere datasets nog niet getest.

Verder onderzoek en ontwikkeling zijn essentieel om deze technologie te optimaliseren voor praktische toepassingen.

De kern van de zaak

Neuromorphic Computing (NC) haalt inspiratie uit de neurale netwerken van de hersenen om een revolutie teweeg te brengen in AI met energie-effici?ntie.

Omdat de vooruitgang van AI zorgen baart over het milieu, biedt NC een alternatief door de parallelle verwerking van het brein na te bootsen.

In tegenstelling tot de Von Neumann architectuur, die effici?ntie in de weg staat, plaatst NC geheugen en verwerking op dezelfde locatie, waardoor knelpunten worden opgelost.

Innovaties zoals IBM’s TrueNorth, Intel’s Loihi en BrainChip’s Akida NSoC laten het potentieel van neuromorfische technologie?n zien.

Er zijn nog steeds uitdagingen, zoals de aanpassing van algoritmen en de schaalbaarheid voor grotere datasets. Naarmate NC zich verder ontwikkelt, belooft het energie-effici?nte AI-oplossingen met een duurzaam groeipotentieel.