De Nvidia Pascal-lijn bevat duizenden processoren. Dit rekenmonster vindt gretig aftrek bij makers van kunstmatige intelligentie-toepassingen. Bron: NVidia

Omzeilen Wet van Moore leidt tot explosie in rekenkracht

Chipsbakkers lopen steeds meer tegen de fysische limieten aan, nu de kleinste structuren slechts enkele tientallen atomen breed zijn. Het ziet er daarmee somber uit voor de Wet van Moore,die voorspelt dat elke anderhalf jaar de dichtheid van processoren op chips verdubbelt. De laatste jaren echter is de rekencapaciteit aan het exploderen, door nieuwe chipsarchitecturen. Komt de Singulariteit,het punt waarop machines de mens in denkkracht overtreffen, zelfs sneller dan verwacht?

De Wet van Moore, en waarom deze belangrijk is
Eind jaren vijftig formuleerde Gordon Moore de befaamde Wet van Moore. In die tijd waren computers nog logge dingen die een kamer in beslag namen. Toch vertoonden ze een opvallende trend. Elke anderhalf jaar verdubbelde het aantal transistoren per vierkante millimeter chip. Met andere woorden: twee keer zoveel rekenkracht per oppervlakte. Moore veronderstelde dat dit patroon aan zou houden. Dit bleek voor de afgelopen vijftig jaar ook te kloppen. Veel langer dan zelfs Moore zelf verwacht had. Onder de chipsbakkers in Silicon Valley begon de Wet van Moore het karakter aan te nemen van een roadmap. De eerste die inzag wat de diepe gevolgen van dit patroon waren, was uitvinder en later futuroloog Ray Kurzweil. Alles om ons heen bestaat uit atomen en de manier waarop deze atomen met elkaar verbonden zijn, m.a.w.informatie. Als jouw vermogen om die informatie te manipuleren verdubbelt, kan je twee keer zo ingewikkelde systemen doorgronden in dezelfde tijd. Van verschillende systemen is bekend wat hun complexiteit is. Zo is het aantal mogelijke schaakzetten,het getal van Shannon, 10120 (later onderzoek wees uit dat dit meer richting 1046 ligt). Daardoor wist Kurzweil dat in de jaren 2000 de computer de sterkste menselijke schaakspeler zou verslaan. Dit geldt ook voor veel andere voorspellingen die hij baseerde op de Wet van Moore. Zo voorspelde hij omstreeks nu zelfrijdende auto’s en vertaalfuncties, wat op een handvol jaren na aardig klopt.

De Singulariteit
Op een gegeven moment zal een computer zo snel kunnen rekenen,dat de rekenkracht van het menselijk brein wordt overtroffen. Met een goed programma zou je dan mensen kunnen vervangen. Dat gebeurt nu ook massaal in steeds meer beroepen. Kurzweil schatte dit punt in rond 2029. Op dit moment is de Wet van Moore aan het vastlopen. De reden is dat naarmate de onderdelen steeds kleiner worden, kwantumeffecten een rol gaan spelen. Zo lekken, tunnelen, elektronen uit geleiders. De verdubbelingen verlopen steeds trager. Het theoretische maximum is het punt waarop de schakelingen uit individuele atomen bestaan. Nog kleiner vereist dan femtotechnologie, het manipuleren van quarks. Dit ligt nog ver buiten ons bereik.

De Nvidia Pascal-lijn bevat duizenden processoren. Dit rekenmonster vindt gretig aftrekbij makers van kunstmatige intelligentie-toepassingen. Bron: NVidia
De Nvidia Pascal-lijn bevat duizenden processoren. Dit rekenmonster vindt gretig aftrek bij makers van kunstmatige intelligentie-toepassingen. Bron: NVidia

Maar er zijn andere oplossingen om de Wet van Moore te omzeilen. Fabrikanten als Nvidia passen deze technieken nu massaal toe. Het gevolg is dat de rekenkracht vaak vele duizenden procenten stijgt per jaar.

Veelvoudige processorkernen
Onze hardware in ons hoofd is ontstellend sloom. Het kost bijna een tiende van een seconde om een stap te maken. Toch zijn we sneller dan menig supercomputer. De oorzaak is dat elk van de bijna honderd miljard neuronen in ons brein een processor is, en een klassieke computer er maar één heeft. Daardoor kan een mens het toch tegen een supercomputer opnemen. Deze techniek wordt nu ook steeds meer toegepast door chipsfabrikanten. Met opmerkelijke resultaten voor kunstmatige intelligentie. Zo blijken de chips van NVidia, met duizenden parallelle, relatief langzame processorkernen, opmerkelijk goed te zijn in deep learning toepassingen. Google, Amazon en Tesla kopen de chips met vrachtwagens tegelijk op. Voor dingen die volgens het lijstje van Kurzweil pas na 2020 zouden gebeuren. Waar Intel slechts tien procent per jaar groei boekt, kan NVidia soms wel duizenden procenten aan de rekenkracht toevoegen door het inzetten van ontelbare parallelle processoren. Bottleneck is tot nu toe dat programmeurs niet echt vertrouwd zijn met de bijzondere programmeertechniek die hierbij komt kijken, multithreading. Dit is nu ook snel aan het veranderen. Ook heeft NVidia een zeer nuttige toolkit ontwikkeld, CUDA, die het ooit zeer arbeidsintensieve GPU programmeren sterk vereenvoudigde.

3D architectuur
Er gaat veel tijd verloren met het heen en weer sturen van elektronen over lange transportkanalen. Om een indruk te geven: een elektrische impuls reist met tientallen procenten van de lichtsnelheid, rond de 100.000 km per seconde. Moderne processoren functioneren op enkele gigahertz. Dat betekent dat een elektrische impuls in één ‘flop’ slechts enkele centimeter kan reizen. Dit probleem verdwijnt als parallelle processoren op elkaar worden geplaatst. Met deze ’torenflat’ kan de rekenkracht van een veel compactere processor worden verkregen.
Een vergelijkbaar probleem is de opslag van informatie. Door van 2D naar 3D te gaan, verveelvoudigt de opslagcapaciteit.
Samsung produceert  nu 48-laags NAND chips, waardoor ondanks de steeds meer haperende  Wet van Moore toch de hoeveelheid opgeslagen informatie explodeert. Althans, zo kan 0,25 terabyte op een USB stick zonder meer genoemd worden. Veertig van die USB sticks zouden de totale inhoud van een menselijk brein kunnen bevatten.

Slimmere algoritmen
Al is  de hardware nog zo snel, de software achterhaalt haar wel, is een gevleugelde uitspraak in de IT-wereld. Onze programma’s zijn nog steeds verre van volmaakt. Wat als we neurale netwerken inzetten om onze programmeerkunsten te verbeteren? Ook dit gebeurt nu steeds meer. Nvidia heeft bijvoorbeeld een supercomputer draaien, gebouwd van hun eigen chips, die als taak heeft de programmatuur voortdurend te verbeteren. Heeft een onderdeel van een neuraal netwerk een slimme tweak gevonden die de performance een stevige oppepper geeft, dan wordt deze gedeeld met de rest van het netwerk. Dit zou ook met een AI kunnen. Zo kan deze AI zichzelf steeds slimmer maken. Dit scenario is door de filosoof Nick Bostrom reeds beschreven in zijn boek Superintelligence. Wat dan ontstaat is een kunstmatige superintelligentie, die die van de mens verre overtreft. Klaarblijkelijk zit de hardware al dicht tegen het punt aan waarop dit scenario mogelijk wordt. Een aan de ene kant verontrustende, aan de andere kant prikkelende gedachte.

 

4 gedachten over “Omzeilen Wet van Moore leidt tot explosie in rekenkracht”

  1. Erg interessant! In Vernor Vinges ‘klassieke’ singulariteits- roman ”Marooned in Realtime” (1986) kwam al een supercomputer voor met ‘massief parallelle processor infrastructuur’ in de vorm van een hoofdband. Deze kon op draadloze wijze met de hersenen van de drager communiceren zodat deze effectief een uitbreiding van zijn hersencapaciteit ervoer met de bijbehorende boost van zijn geestelijke capaciteiten. In zekere zin was de geest van die persoon bovenmenselijk intelligent geworden. En in

  2. (oeps te snel geplaatst) de sf roman Mother of Storms (1995, Nederlandse titel Moeder der Stormen) van John Barnes komt ook een soort optimalisatie algoritme voor zoals NVIDIA nu ontwikkeld heeft. De geest van de persoon die zich verbind met een supercomputer waarop dit algoritme draait wordt ongewild ook geoptimaliseerd zoadat deze effectief bovenmenselijk wordt. SF blijkt toch wel weer (soms) voorspellende waarde te hebben..

    1. Ook hierover is al een sf verhaal geschreven. Door Harlan Ellison ‘Hoe kan ik schreeuwen zonder mond’ (I Have No Mouth and I Must Scream, 1967). Dit gaat over een super intelligente computer die, zodra die zelfbewustzijn verkreeg, zijn bestaan als zinloos ervoer. Hij (of het?) pleegde daarop geen zelfmoord maar ervoer wel een allesbeheersende haat tegen de mensheid die hem dit had aangedaan: ongevraagd tot zelfbewustzijn zijn gebracht. Voor het hem ‘aangedane leed’ roeide deze de gehele mensheid uit op een paar individuen na. Dezen hield de computer in leven om hen tot in eeuwigheid te kunnen kwellen.

Laat een reactie achter