neuraal netwerk

De voorkant van het raadselachtige Antikythera mechanisme, gevonden in de Egeïsche Zee. De oudste analoge computer, volgens velen.

Belgen ontwikkelen totaal nieuw type computer

Voor het eerst zijn computerwetenschappers er in geslaagd opto-elektronische reservoircomputing, een nieuwe vorm van informatieverwerking, in de praktijk te brengen. De eerste resultaten zijn indrukwekkend.

Wat is feedback?
We kennen allemaal positieve en negatieve feedback loops, zij het onder een andere naam. Negatieve feedbackloops houden systemen in evenwicht, terwijl positieve feedback loops juist werken als een versterker. Een voorbeeld van een negatieve feedbackloop is een volstromende badkuip. Als het waterniveau te hoog is, stroomt het water weg. Een positieve feedbackloop is bijvoorbeeld een brand (de hitte veroorzaakt nog meer brand) of de vorming van een ijskap (die zonlicht weerkaatst, waardoor deze afkoelt en zo groeit), waardoor een kleine oorzaak enorme gevolgen krijgt.  De natuur is zo ingewikkeld omdat deze bestaat uit talloze feedback loops die allemaal met elkaar in verbinding staan. Deze ingewikkeldheid schrikte onderzoekers tot nu toe af, maar steeds krachtiger hulpmiddelen voor berekeningen, en het inzicht dat er heel interessante dingen te ontdekken zijn, maken dat toch steeds meer wetenschappers de jungle van complexe feedback loops induiken.

Maakt analoge computer een comeback?
Zowel positieve als negatieve feedback kan je gebruiken als rekenelement voor een computer. Dat is precies wat Yvan Paquot van de Vrije Universiteit van Brussel en enkele collega’s hebben gedaan. Zij beschrijven de eerste praktische uitvoering van een exotische nieuwe vorm van computing die het feedbackmechanisme gebruikt om tot dusver ongekend snelle analoge berekeningen te kunnen uitvoeren. Het inzicht achter hun baanbrekende werk: een feedback loop verwerkt informatie. Bijvoorbeeld: brand -> hitte + brandstof -> nog meer brand. Het berekent dus de gevolgen van het combineren van hitte en brandstof, informatie uit het recente verleden. Die informatie is in de feedback loop opgeslagen.

Wat is een analoge computer?
Er bestaan twee soorten computers. Digitale computers, zoals die waarop ik dit stukje zit te tikken (en u te lezen), en analoge computers, al bekend uit de vroege oudheid, die tot in de jaren vijftig en zestig heel populair waren en in feite een soort model vormen van het systeem dat bestudeerd werd.

De voorkant van het raadselachtige Antikythera mechanisme, gevonden in de Egeïsche Zee. De oudste analoge computer, volgens velen.
De voorkant van het raadselachtige Antikythera mechanisme, gevonden in de Egeïsche Zee. De oudste analoge computer, volgens velen.

Zo gebruikten economen in de jaren vijftig een model met waterbuizen als analoge computer om de gevolgen van bijvoorbeeld een hogere rente op de Nederlandse economie te voorspellen en de resultaten waren niet eens zoveel beroerder als nu. Dergelijke effecten kan je ook bereiken met elektrische schakelingen of mechanische modellen.

Een kenmerkende eigenschap van analoge computers is dat ze continu zijn. Dat wil zeggen: ze werken met een glijdende schaal, niet met gehele getallen, zoals een digitale computer. De voorganger van de rekenmachine was de rekenliniaal (er hing nog zo’n levensgroot stokoud ding  in ons natuurkundelokaal). In feite een analoge computer. De oude garde weeklaagde geregeld dat sinds de invoering van de rekenmachine, leerlingen hun gevoel voor getallen kwijtraakten. Digitale computers zijn sinds de jaren zestig echter zo snel geworden, dat niemand meer geïnteresseerd is in het moeizame gepruts dat werken met een analoge computer met zich meebrengt. Jammer, want de natuur werkt analoog, niet digitaal.

Reservoir computing makkelijker in gebruik dan neuraal netwerk
Het type computer dat Paquot en zijn collega’s hebben gebouwd is een reservoir computer. Het reservoir bestaat uit een redelijk groot aantal knooppunten, nodes, die op toevalige wijze met elkaar zijn verbonden. Elke node gedraagt zich als een niet-lineaire feedback loop. Dit wil zeggen dat het systeem zich chaotisch kan gedragen. In de proefopzet die gekozen is door Paquot en zijn team, werden willekeurige nodes gekozen voor de invoer en andere, eveneens gekozen willekeurige nodes, om de uitvoer te lezen. Het systeem wordt vervolgens getraind om de gewenste berekening te produceren, door de uitvoer-nodes onderling op een bepaalde manier te wegen. Dit werkt veel simpeler dan bij een neuraal netwerk, dat veel lastiger fijn is te stellen. Reservoir computers bestaan al sinds de eeuwwisseling en zijn gebouwd van onderdelen, uiteenlopend van emmers water tot programmeerbare chips om zo feedback loops te creëren. Netwerken met enkele honderden eenheden bleken al in staat om enkele woorden te herkennen.

Rekenen met licht
Uniek aan deze opstelling is dat de onderdelen uit bestaande opto-elektronica bestaan en met de snelheid van het licht werken. Geen positronisch, maar een optisch brein dus. Sorry, Asimov. Elk knooppunt is een optoelektronische ‘ding’ waarbij de hoogte van de spanning bepaalt hoeveel licht er uit wordt gezonden. Deze output-lichtbundel komt in een glasvezel terecht die het licht terug stuurt naar de fotodiode die de spanning opwekt. Een ‘negatieve’ non-lineaire feedback dus met een vorm van (extreem) kortdurend geheugen.

Vijftig knooppunten maken slechts 0,4% fouten in woordherkenning
De onderzoekers slaagden er in om hun vijftig knooppunten, random met elkaar verbonden, taken als het onderscheiden van sinusgolven en blokgolven, en zelfs eenvoudige woordherkenning, te leren. Het ging hier om de door een vrouw gesproken getallen 1 tot 9, die de computer moest leren te herkennen. Hierin slaagde de schakeling in 99,6 % van de gevallen. Twee fouten in vijfhonderd herkende woorden dus. Nog indrukwekkender is de snelheid: het systeem werkt rond een miljoen keer sneller dan eerdere systemen. Een verdere toename met factor honderd tot duizend, waarvoor kant en klare opto-elektronische onderdelen kunnen worden gebruikt, ligt volgens de groep in het verschiet. Kortom: hiermee wordt het interessant voor real-life toepassingen. Zal deze benadering ooit digitale computers overtreffen? Volgens Paquot en zijn groep is dat nog de vraag, maar dat de kans hierop nu behoorlijk groot is geworden is duidelijk.

Reservoir computing: werking van het systeem
Reservoir computing: werking van het systeem

Bron
Yvan Paquot, Optoelectronic Reservoir Computing, Arxiv (2011)

Neuronen kunnen ook uit DNA bestaan in plaats van uit cellen. Wel moet je héél veel geduld hebben...

‘Denkende’ DNA-soep nu een feit

Een brein bestaande uit soep? Niet bepaald een voor de hand liggende combinatie. Toch hebben onderzoekers van Caltech precies dat voor elkaar gekregen. Ze hebben een grote stap voorwaarts gezet in het scheppen van kunstmatige intelligentie. In een reageerbuis. De onderzoekers hebben een kunstmatig neuraal netwerk geschapen, bestaande uit een circuit van met elkaar reagerende moleculen. Het netwerk kan herinneringen op basis van incomplete patronen aanvullen, precies zoals ons brein ook kan.

Soep wordt brein
De Caltech onderzoekers vroegen zich af of de functies van het brein, een uiterst complex orgaan dat uit honderd miljard neuronen bestaat,  konden worden overgenomen door een soep van moleculen die door elkaar heen bewegen. In plaats van signalenuitwisseling door neuronen dus niets anders dan moleculen die door elkaar bewegen. Het antwoord op deze vraag is, zo laat het team zien, ja.

Het neurale netwerk bestond uit 112 verschillende DNA-ketens. Het chemische mengsel speelt in het experiment een bekend geheugenspelletje, waarbij het moet proberen een onbekende proefpersoon (een wetenschapper van het team) te identificeren. De onderzoekers “trainden” de soep om vier wetenschappers te leren kennen. Elke wetenschapper werd vertegenwoordigd door een specifieke, unieke set antwoorden op vier ja-nee vragen, bijvoorbeeld of de wetenschapper een Brit was.

Patroonherkenning

Neuronen kunnen ook uit DNA bestaan in plaats van uit cellen. Wel moet je héél veel geduld hebben...
Neuronen kunnen ook uit DNA bestaan in plaats van uit cellen. Wel moet je héél veel geduld hebben… Bron: Caltech

Na aan een bepaalde collega te denken, geeft een menselijke speler een incomplete verzameling antwoorden (bijvoorbeeld: de wetenschapper is geen Brit, is blond en houdt van surfen). De speler gooit dan DNA ketens in het netwerk die overeen stemmen met deze antwoorden. Het netwerk ‘zoekt’ hier de bijpassende wetenschapper bij (bijvoorbeeld een blonde Amerikaanse natuurkundige die dol is op surfen). Het netwerk bleek ook in staat, vast te stellen dat er onvoldoende informatie is om één van de wetenschappers in zijn geheugen te identificeren. Of, ook handig bij oneerlijke spelers, de menselijke speler er op te wijzen dat zijn antwoorden elkaar tegenspreken. De onderzoekers speelden dit spel met 27 verschillende manieren om de vragen te stellen (van de 81 mogelijk denkbare combinaties). De soep gaf elke keer het goede antwoord, puur door patroonherkenning.

Denkende medicijnen
De denkende soep, in wetenschappelijk termen “biochemische systemen met kunstmatige intelligentie”, kan krachtige toepassingen hebben in de geneeskunde (zie artikel DNA-computer, kopje denkende medicijnen over het onderzoek van Ehud Shapiro), scheikunde en biologisch onderzoek, aldus de onderzoekers. In de toekomst kunnen dergelijke systemen  in cellen actief worden, waarbij ze door het controleren van een aantal chemische vragen kunnen vaststellen of er bijvoorbeeld een aidsvirusdeeltje in de cel zit. Ook scheikundigen kunnen hiermee veel complexere  chemicaliën maken of molecuul voor molecuul nieuwe structuren, bijvoorbeeld nanorobots, bouwen.

Chemische neuronen
De onderzoekers bouwden hun biochemische neurale netwerk op basis van een eenvoudig model van een neuron met een lineaire drempelwaarde. Het modelneuron  krijgt inputsignalen en vermenigvuldigt ze met een positief of negatieve wegingsfactor. Alleen als de gewogen som van inputs een bepaalde drempelwaarde overschrijdt, geeft het neuron een signaal. Dit is een extreme versimpeling van werkelijke neuronen. Weliswaar geven die net als dit kunstneuron maar één signaal, maar echte neuronen kunnen ook de gevoeligheid van collega-neuronen aanpassen en dergelijke. Toch zijn deze kunstneuronen opmerkelijk levensecht. Zelfs dit kleine aantal kan al een hersenachtig gedrag vertonen.

Hoe bouwden ze dit chemische brein?
Om het DNA neurale netwerk te bouwen, gebruikten de onderzoekers een proces genamd strand-displacement cascade. Deze methode gebruikt enkele en gedeeltelijke dubbele DNA-ketens (de bekende DNA-helix). Het enkele  stuk van de dubbele DNA helix steekt uit als een staart. Als een enkele keten een dubbele keten met een ‘staart’ ontmoet,  en de DNA-basen (‘letters’) van de staart komen overeen met de DNA-basen van het loszwevende DNA, dan bindt het loszwevende deel zich aan de staart en verdrijft de dubbele keten. Het verdreven stuk DNA, de output, kan nu weer met een andere stuk DNA gaan reageren. De onderzoekers kunnen het DNA elke gewenste basevolgorde geven en ook de concentraties van elke DNA streng bepalen. Zo kunnen de wetenschappers de soep de unieke patronen ja- en nee-antwoorden aanleren die bij elk van de vier onderzoekers horen. Ze speelden wel een beetje vals. Ze runden namelijk een computersimulatie om te bepalen welke concentraties nodig waren om herinneringen in het DNA neurale netwerk te implanteren.

DNA-brein erg klein en sloom
Hoewel denkende DNA-soep dus in principe kan, is volgens de onderzoekers dit brein vrij beperkt. Meer dan veertig chemische neuronen toevoegen aan de soep is vrijwel onmogelijk, denken de onderzoekers.  Wij hebben er miljarden malen meer. Ook is het systeem erg langzaam. Het kostte acht uur om elke wetenschapper te identificeren. Ook werden de moleculen opgebruikt: na het voltooien van ‘het spel’ moet er weer een nieuw mengsel gemaakt worden. Kortom: wees dus niet bang dat als je morgen op je werk komt, er een grote pot DNA op de plaats van je stoel staat.  Een werkend denkend chemisch systeem in een petrischaaltje verwezenlijken – laat staan in een levend organisme – is een veel ingewikkelder uitdaging. Aan de andere kant, je zou je voor kunnen stellen dat je hier een chemisch systeem omheen bouwt dat na elke cyclus de chemicaliën verwijdert en ververst.

Begon het leven met denkende soep?
Bacteriën zijn opmerkelijk slim als je bedenkt dat het in feite gewoon zakjes chemicaliën zijn. Ze zijn in staat dingen waar te nemen en als antwoord bepaalde dingen te doen, bijvoorbeeld de zweepstaart laten bewegen of een bepaalde stof produceren. Al dat soms complexe gedrag komt voort uit dat zakje chemicaliën. Onderzoeker Qian denkt dat de beperkte vorm van bacteriële intelligentie hierdoor wordt veroorzaakt.

En wie weet is op die manier het eerste leven ontstaan. Samenwerkende moleculen die op een gegeven moment een membraan vormden en met RNA gingen werken. De hier eerder beschreven Voronoi cellen, een soort vloeistofblaasjes, bezitten ook een zeer eenvoudige vorm van informatieverwerkende capaciteit.

Bronnen
Lulu Qian, Erik Winfree, Jehoshua Bruck. Neural network computation with DNA strand displacement cascades. Nature, 2011
First Artificial Neural Network Created out of DNA: Molecular Soup Exhibits Brainlike Behavior, ScienceDaily(2011)