---
title: "Neurale plasticiteit, leren en geheugen"
book: "Universitaire biologie — jaar 3"
subject: biology
language: nl
chapter: 19
exercises: 12
source: https://one-course.com/books/biology/5/nl/chapter/19-neurale-plasticiteit-leren-en-geheugen
---

# Hoofdstuk 19 — Neurale plasticiteit, leren en geheugen

In 1953 verwijderde een chirurg het binnenste deel van beide slaapkwabben van een jongeman met onbehandelbare epilepsie. De aanvallen namen af; de patiënt, vijftig jaar lang bekend als H.M., vormde nooit meer een blijvende herinnering aan een gebeurtenis. Hij kon een gesprek voeren, leerde even goed als ieder ander een ster in een spiegel na te tekenen — en ontkende elke dag de taak ooit te hebben gezien — en hij herinnerde zich zijn jeugd. Het geheugen bleek niet één ding te zijn, en het maken van nieuwe herinneringen aan gebeurtenissen hing af van een structuur ter grootte van een duim. Wat er in een brein verandert wanneer het leert is de oudste vraag van de neurowetenschap, en het antwoord, uitgewerkt in een zeeslak met twintigduizend neuronen en in coupes van de [hippocampus](#def-b3-learning-memory-kinds) van een rat, luidt dat synapsen hun sterkte veranderen naar gelang wat er doorheen gaat — een regel die Donald Hebb in 1949 raadde en die een molecuul, de [NMDA-receptor](#prop-b3-learning-memory-nmda), bleek uit te voeren. Dit hoofdstuk behandelt die regel en haar machinerie, de schakelingen die haar gebruiken om plaatsen en gebeurtenissen op te slaan, de wiskunde die zegt wat zo’n stelsel kan leren en hoeveel het kan bevatten, en het beloningssignaal dat het vertelt wat de moeite van het leren waard is.

## 19.1 Soorten geheugen en waar zij huizen

**Definitie 19.1 (Vormen van leren en geheugen).**

Het eenvoudigste leren is *niet-associatief*: *gewenning*, een afnemend antwoord op een herhaalde onschadelijke prikkel, en *sensitisatie*, een versterkt antwoord na een schadelijke. *Associatief* leren verbindt twee gebeurtenissen: bij *klassieke conditionering* (Pavlov) gaat een neutrale prikkel die een beloning of een straf voorspelt het antwoord oproepen; bij *operante conditionering* wordt een handeling die wordt beloond herhaald. Het menselijke geheugen valt uiteen in het *declaratieve* geheugen — feiten en gebeurtenissen, bewust opgeroepen, afhankelijk van de *hippocampus* en de mediale slaapkwab — en het *niet-declaratieve* geheugen — vaardigheden en gewoonten (striatum, [kleine hersenen](https://one-course.com/books/biology/5/nl/chapter/17-organisatie-van-zenuwstelsels#def-b3-nervous-systems-plan)), geconditioneerde angst (amygdala), priming (schors) — dat in het presteren tot uiting komt zonder herinnering. Een herinnering wordt eerst in een labiele kortetermijnvorm vastgehouden, die seconden tot uren duurt, en wordt in uren tot jaren *geconsolideerd* tot een stabiele langetermijnvorm die de hippocampus niet meer nodig heeft en in de schors huist.

**Bewijsmateriaal.** Scoville en Milner (1957) beschreven H.M.: na verwijdering van beide hippocampi en de aangrenzende schors waren zijn verstand en zijn herinneringen van vóór de operatie grotendeels ongeschonden en was zijn werkgeheugen normaal zolang hij zijn aandacht ergens op hield, maar hij kon geen nieuwe herinnering aan enige gebeurtenis of enig feit vormen. Hij leerde motorische vaardigheden in de loop van dagen in een normaal tempo terwijl hij ontkende te hebben geoefend — vaardigheidsgeheugen had de [hippocampus](#def-b3-learning-memory-kinds) dus niet nodig — en hij herinnerde zich het verre verleden beter dan de jaren vlak voor de operatie, zodat de [hippocampus](#def-b3-learning-memory-kinds) nodig was om declaratieve herinneringen vast te leggen en ze een tijd lang vast te houden, maar niet om ze voorgoed te bewaren. Apen en ratten met overeenkomstige laesies vertoonden dezelfde scheiding, en de studie van één enkele patiënt heeft het vakgebied opnieuw ingericht. ∎

## 19.2 De regel van Hebb en haar molecuul

**Definitie 19.2 (Hebbiaanse plasticiteit, LTP en LTD).**

Hebb (1949) stelde voor dat wanneer een presynaptisch neuron herhaaldelijk deelneemt aan het vuren van een postsynaptisch neuron, de verbinding ertussen wordt versterkt — “cellen die samen vuren, groeien samen”. *Langetermijnpotentiëring* (LTP) is de proefondervindelijke vorm daarvan: een korte reeks prikkels met hoge frequentie op een baan laat de synapsen die zij activeerde urenlang sterker achter in een coupe en wekenlang in een dier. LTP is *invoerspecifiek* (alleen de geprikkelde synapsen veranderen), *associatief* (een zwakke invoer die met een sterke naar dezelfde cel wordt gepaard, wordt gepotentieerd) en vergt *samenwerking* tussen invoeren om de cel te depolariseren. *Langetermijndepressie* (LTD) is het omgekeerde, voortgebracht door langdurige activiteit met lage frequentie. Bij *pulstijdafhankelijke plasticiteit* wordt het teken door de volgorde bepaald: een presynaptische puls enkele milliseconden *vóór* de postsynaptische versterkt de synaps, een puls vlak *erna* verzwakt haar, binnen een venster van ongeveer $20\,\mathrm{ms}$ aan weerszijden — zodat een synaps leert te voorspellen en niet slechts samen te hangen.

**Propositie 19.3 (De NMDA-receptor als gelijktijdigheidsmelder).**

Bij prikkelende synapsen werkt glutamaat op twee receptoren. De *AMPA*-receptor gaat open bij binding en draagt de gewone synaptische stroom. De *NMDA*-receptor bindt glutamaat maar wordt bij de rustpotentiaal geblokkeerd door een magnesiumion in zijn porie; alleen wanneer het postsynaptische membraan is gedepolariseerd — door vele invoeren tegelijk, of door een terugwaarts lopende actiepotentiaal — wordt het magnesium uitgedreven en geleidt het kanaal, waarmee het calcium binnenlaat. De [NMDA-receptor](#prop-b3-learning-memory-nmda) gaat dus alleen open wanneer de presynaptische afgifte (glutamaat) samenvalt met postsynaptische activiteit (depolarisatie): hij is de “en”-poort van Hebb in één enkel eiwit. Het calcium dat een *[dendritische doorn](#prop-b3-learning-memory-nmda)* binnenkomt activeert het kinase *CaMKII*, dat [AMPA-receptoren](#prop-b3-learning-memory-nmda) fosforyleert en er meer van uit een voorraad de synaps in drijft — de synaps is binnen minuten sterker (vroege LTP). Een grote, trage stijging van calcium activeert in plaats daarvan het fosfatase calcineurine, dat [AMPA-receptoren](#prop-b3-learning-memory-nmda) weghaalt: LTD. Potentiëring die meer dan enkele uren duurt (late LTP) vergt nieuw eiwit: kinasen bereiken de kern, de transcriptiefactor *CREB* zet genen aan, en de doorn groeit en kan zich splitsen — dezelfde eis van genexpressie die het kortetermijngeheugen van het langetermijngeheugen scheidt in elk bestudeerd dier.

**Bewijsmateriaal.** Bliss en Lømo (1973) prikkelden de perforante baan naar de [hippocampus](#def-b3-learning-memory-kinds) van een konijn met een reeks pulsen en vonden het opgewekte antwoord uren daarna nog vergroot — de eerste LTP. Collingridge (1983) toonde aan dat een blokker van de [NMDA-receptor](#prop-b3-learning-memory-nmda) (AP5) het opwekken van LTP verhinderde maar het gewone synaptische antwoord niet; Morris (1986) bracht AP5 in de [hippocampus](#def-b3-learning-memory-kinds) van ratten en vond dat zij de plaats van een verborgen platform in een bassin met water niet meer konden leren terwijl zij normaal zwommen en zagen; en muizen bij wie de [NMDA-receptor](#prop-b3-learning-memory-nmda) alleen in het CA1-gebied van de [hippocampus](#def-b3-learning-memory-kinds) was verwijderd misten daar zowel de LTP als het ruimtelijke geheugen. Dezelfde receptor, op dezelfde plaats, was nodig voor de synaptische verandering en voor het leren. ∎

![De NMDA-receptor als de poort van Hebb. Glutamaat alleen opent AMPA-receptoren; het NMDA-kanaal geleidt pas wanneer de doorn ook gedepolariseerd is en zijn magnesium vertrekt. Het calcium dat dan binnenkomt bepaalt de toekomst van de synaps: een snelle grote stijging versterkt haar, een trage kleine verzwakt haar.](https://one-course.com/images/onecourse/chapters/biology-5/b3-learning-memory/fig-a712382e9760.svg)

*De [NMDA-receptor](#prop-b3-learning-memory-nmda) als de poort van Hebb. Glutamaat alleen opent [AMPA-receptoren](#prop-b3-learning-memory-nmda); het NMDA-kanaal geleidt pas wanneer de doorn ook gedepolariseerd is en zijn magnesium vertrekt. Het calcium dat dan binnenkomt bepaalt de toekomst van de synaps: een snelle grote stijging versterkt haar, een trage kleine verzwakt haar.*

![Links: langetermijnpotentiëring — na een korte tetanus blijft het antwoord van de geprikkelde baan urenlang vergroot terwijl een niet geprikkelde baan naar dezelfde cellen onveranderd blijft (invoerspecificiteit). Rechts: het venster van de pulstijd — de synaps versterkt als de presynaptische puls voorop loopt en verzwakt als zij achterblijft.](https://one-course.com/images/onecourse/chapters/biology-5/b3-learning-memory/fig-c600dc07169d.svg)

*Links: [langetermijnpotentiëring](#def-b3-learning-memory-ltp) — na een korte tetanus blijft het antwoord van de geprikkelde baan urenlang vergroot terwijl een niet geprikkelde baan naar dezelfde cellen onveranderd blijft (invoerspecificiteit). Rechts: het venster van de pulstijd — de synaps versterkt als de presynaptische puls voorop loopt en verzwakt als zij achterblijft.*

**Stelling 19.4 (Wat een hebbiaanse synaps leert).**

Zij een neuron dat invoeren $\mathbf{x} = (x_{1},\dots,x_{n})$ ontvangt via gewichten $\mathbf{w}$ en lineair antwoordt, $y = \mathbf{w}\cdot\mathbf{x}$. De [regel van Hebb](#def-b3-learning-memory-ltp), $\Delta\mathbf{w} = \eta\, y\,\mathbf{x}$, geeft gemiddeld over de invoeren

$$
\langle\Delta\mathbf{w}\rangle = \eta\,C\,\mathbf{w}, \qquad C =
\langle\mathbf{x}\mathbf{x}^{\mathsf{T}}\rangle ,
$$

waarin $C$ de correlatiematrix van de invoeren is. De gewichten groeien onbegrensd, en groeien het snelst langs de eigenvector van $C$ met de grootste eigenwaarde: de synaps gaat het invoerpatroon waarnemen dat het vaakst aanwezig is — de *hoofdcomponent* van haar invoeren. Met een term die grote gewichten bestraft, de *[regel van Oja](#thm-b3-learning-memory-hebb)* $\Delta\mathbf{w} = \eta\, y\,(\mathbf{x} - y\,\mathbf{w})$, nadert de gewichtsvector die eigenvector, genormeerd tot lengte één, en wordt het neuron een stabiele melder van de overheersende correlatie in wat het ziet.

**Bewijs.** Invullen van $y = \mathbf{w}\cdot\mathbf{x} = \mathbf{x}^{\mathsf{T}}
\mathbf{w}$ in de [regel van Hebb](#def-b3-learning-memory-ltp) geeft $\Delta\mathbf{w} = \eta\,\mathbf{x}
\mathbf{x}^{\mathsf{T}}\mathbf{w}$, waarvan het gemiddelde over de invoeren (met een traag veranderende $\mathbf{w}$) gelijk is aan $\eta C\mathbf{w}$. $C$ is symmetrisch en positief semidefiniet, dus heeft zij loodrechte eigenvectoren $\mathbf{e}_{k}$ met eigenwaarden $\lambda_{k} \ge 0$; schrijft men $\mathbf{w} = \sum_{k}
a_{k}\mathbf{e}_{k}$, dan voldoet elke component aan $\Delta a_{k} = \eta\lambda_{k}
a_{k}$ en groeit zij als $(1 + \eta\lambda_{k})^{t}$, zodat de component langs de grootste eigenwaarde de richting van $\mathbf{w}$ gaat overheersen terwijl de lengte divergeert. De [regel van Oja](#thm-b3-learning-memory-hebb) middelt tot $\eta(C\mathbf{w} -
(\mathbf{w}^{\mathsf{T}}C\mathbf{w})\mathbf{w})$; in een vast punt geldt $C\mathbf{w} = (\mathbf{w}^{\mathsf{T}}C\mathbf{w})\mathbf{w}$, dus is $\mathbf{w}$ een eigenvector met $\lambda = \mathbf{w}^{\mathsf{T}}
C\mathbf{w} = \lambda|\mathbf{w}|^{2}$, en dus $|\mathbf{w}| = 1$; het vaste punt langs de grootste eigenwaarde is het stabiele (een verstoring naar een andere eigenvector krimpt, omdat de eigenwaarde daarvan kleiner is), wat hier wordt aangenomen. ∎

**Voorbeeld 19.5 (Twee invoeren).**

Een neuron ontvangt twee invoeren die gewoonlijk samen actief zijn, dus $C =
\begin{pmatrix} 1 & 0.8 \\ 0.8 & 1\end{pmatrix}$. De eigenvectoren zijn $(1,1)/\sqrt{2}$ met eigenwaarde $1.8$ en $(1,-1)/\sqrt{2}$ met eigenwaarde $0.2$. Uitgaande van $\mathbf{w} = (1, 0)$ draait de [regel van Hebb](#def-b3-learning-memory-ltp) na vele kleine stappen $\mathbf{w}$ naar $(1,1)$: het neuron leert op de twee invoeren *samen* te antwoorden, en de zeldzame gelegenheden waarop er maar één vuurt te negeren — het heeft de correlatie eruit gehaald. Met de [regel van Oja](#thm-b3-learning-memory-hebb) komen de gewichten uit op $(0.71, 0.71)$. Dat is de zin waarin hebbiaanse synapsen leren wat samengaat, en daarom volgt de associatieve eigenschap van LTP, het paren van een zwakke invoer met een sterke, uit de regel.

## 19.3 Een slak die leert

**Propositie 19.6 (Sensitisatie bij Aplysia).**

De zeeslak *Aplysia* trekt haar kieuw terug wanneer haar sifon wordt aangeraakt, een reflex van een paar dozijn herkenbare neuronen. Een schok op de staart *sensitiseert* haar: het terugtrekken bij een lichte aanraking wordt versterkt, minuten lang na één schok en weken lang na meerdere. Kandel en collega’s (jaren 1970–1990) herleidden de verandering tot de synaps tussen het sensorische neuron van de sifon en het motorneuron van de kieuw. De schok op de staart prikkelt een [interneuron](https://one-course.com/books/biology/5/nl/chapter/17-organisatie-van-zenuwstelsels#def-b3-nervous-systems-cells) dat serotonine op het uiteinde van het sensorische neuron afgeeft; serotonine verhoogt het cyclische AMP, dat proteïnekinase A activeert, dat een kaliumkanaal fosforyleert en sluit; de actiepotentialen van het uiteinde worden breder, er komt meer calcium binnen en er wordt per puls meer overdrachtsstof afgegeven — *[presynaptische facilitatie](#prop-b3-learning-memory-aplysia)*, een covalente verandering die minuten duurt. Herhaalde schokken sturen het kinase naar de kern, waar het CREB activeert, dat genen aanzet die nieuwe synaptische uiteinden bouwen: het langetermijngeheugen bestaat uit meer synapsen, en het wordt geblokkeerd door remmers van de eiwitsynthese die tijdens de training worden gegeven maar niet erna. *[Gewenning](#def-b3-learning-memory-kinds)* is het omgekeerde, een verzwakking van dezelfde synaps; en *klassieke [conditionering](#def-b3-learning-memory-kinds)*, het paren van de aanraking met de schok, versterkt de facilitatie bij de synapsen die vlak voor de aankomst van de serotonine actief waren — een hebbiaanse gelijktijdigheid die presynaptisch is verwezenlijkt, door een adenylylcyclase dat door calcium en serotonine samen wordt geprikkeld.

![De schakeling van de sensitisatie bij Aplysia. Serotonine uit een interneuron werkt op het sensorische uiteinde, en dezelfde synaps draagt het kortetermijngeheugen als een gefosforyleerd kanaal en het langetermijngeheugen als nieuwe uiteinden.](https://one-course.com/images/onecourse/chapters/biology-5/b3-learning-memory/fig-1d8d7cbd2c1a.svg)

*De schakeling van de [sensitisatie](#def-b3-learning-memory-kinds) bij *Aplysia*. Serotonine uit een [interneuron](https://one-course.com/books/biology/5/nl/chapter/17-organisatie-van-zenuwstelsels#def-b3-nervous-systems-cells) werkt op het sensorische uiteinde, en dezelfde synaps draagt het kortetermijngeheugen als een gefosforyleerd kanaal en het langetermijngeheugen als nieuwe uiteinden.*

![Links: Aplysia californica, wier weinige en grote neuronen het mogelijk maken de synaps van een herinnering te vinden en te meten. Rechts: een dendriet bezaaid met doornen, elk de postsynaptische zijde van één prikkelende synaps en elk een compartiment waarvan het calcium het eigen lot beslist.](https://one-course.com/images/onecourse/chapters/biology-5/b3-learning-memory/img-6a3240160043.jpg)

![Links: Aplysia californica, wier weinige en grote neuronen het mogelijk maken de synaps van een herinnering te vinden en te meten. Rechts: een dendriet bezaaid met doornen, elk de postsynaptische zijde van één prikkelende synaps en elk een compartiment waarvan het calcium het eigen lot beslist.](https://one-course.com/images/onecourse/chapters/biology-5/b3-learning-memory/img-4e926feb6c9b.jpg)

*Links: *Aplysia californica*, wier weinige en grote neuronen het mogelijk maken de synaps van een herinnering te vinden en te meten. Rechts: een dendriet bezaaid met doornen, elk de postsynaptische zijde van één prikkelende synaps en elk een compartiment waarvan het calcium het eigen lot beslist.*

## 19.4 Schakelingen voor plaatsen en gebeurtenissen

**Definitie 19.7 (De schakeling van de hippocampus).**

De invoer uit de schors bereikt de [hippocampus](#def-b3-learning-memory-kinds) via de entorhinale schors en doorloopt drie trappen: de *gyrus dentatus*, wier korrelcellen talrijker zijn dan hun invoeren en spaarzaam vuren (waarmee zij gelijkende patronen scheiden); *CA3*, wier piramidecellen onderling terugkerend zijn verbonden en elk duizenden synapsen van andere ontvangen — een *auto-associatief* netwerk dat een opgeslagen patroon uit een fragment kan aanvullen; en *CA1*, die de uitvoer van CA3 met de rechtstreekse invoer vergelijkt en het resultaat aan de schors teruggeeft. Bij een rat die een arena verkent vuurt een piramidecel van de [hippocampus](#def-b3-learning-memory-kinds) alleen wanneer het dier zich op één plaats bevindt — een *plaatscel* (O’Keefe, 1971) — en enkele honderden ervan brengen de arena in kaart; stroomopwaarts, in de entorhinale schors, vuren *roostercellen* (Moser, 2005) op de hoekpunten van een zeshoekig rooster dat de ruimte bedekt, een coördinatenstelsel waaruit de plaatsvelden worden opgebouwd. Tijdens de slaap en de rust worden de reeksen plaatscellen die tijdens een tocht hebben gevuurd op hoge snelheid *herafgespeeld*, en het blokkeren daarvan schaadt de herinnering aan de tocht: de [hippocampus](#def-b3-learning-memory-kinds) repeteert de paden van de dag voor de schors.

![Links: de lus van de hippocampus — scheiding in de gyrus dentatus, opslag en aanvulling in het terugkerende CA3, vergelijking in CA1. Rechts: elke plaatscel vuurt in één gebied van een arena; samen brengen zij de ruimte in kaart.](https://one-course.com/images/onecourse/chapters/biology-5/b3-learning-memory/fig-9df2dfb6a762.svg)

*Links: de lus van de [hippocampus](#def-b3-learning-memory-kinds) — scheiding in de [gyrus dentatus](#def-b3-learning-memory-hippocampus), opslag en aanvulling in het terugkerende [CA3](#def-b3-learning-memory-hippocampus), vergelijking in [CA1](#def-b3-learning-memory-hippocampus). Rechts: elke [plaatscel](#def-b3-learning-memory-hippocampus) vuurt in één gebied van een arena; samen brengen zij de ruimte in kaart.*

**Propositie 19.8 (Hoeveel een auto-associatief netwerk bevat).**

Een netwerk van $N$ neuronen, elk met alle andere verbonden met hebbiaanse gewichten $w_{ij} \propto \sum_{\mu}\xi_{i}^{\mu}\xi_{j}^{\mu}$ gesommeerd over de opgeslagen binaire patronen $\xi^{\mu}$, haalt een opgeslagen patroon uit een aangetaste of onvolledige aanwijzing terug door erin te bezinken als in een attractor (Hopfield, 1982). Dat lukt betrouwbaar tot ongeveer $P
\approx 0.14N$ willekeurige patronen; daarboven storen de patronen elkaar en stort het terughalen in. Het [CA3](#def-b3-learning-memory-hippocampus) van een rat, met zo’n $3\times 10^{5}$ piramidecellen, zou naar deze schatting zo’n $4\times 10^{4}$ patronen kunnen bevatten — de orde van het aantal verschillende plaatsen of episoden dat een dier in een seizoen tegenkomt — en het spaarzame vuren (enkele procenten van de cellen actief in enig patroon) verhoogt de capaciteit nog. [Patroonaanvulling](#def-b3-learning-memory-hippocampus) uit een aanwijzing is wat een geur of een hoek een heel tafereel laat oproepen; de prijs is dat gelijkende herinneringen samenvloeien, wat de scheiding door de [gyrus dentatus](#def-b3-learning-memory-hippocampus) tegengaat.

**Bewijs.** *Op dit niveau zonder bewijs aangenomen.* ∎

**Methode 19.9 (Geheugen en zijn mechanisme toetsen).**

(1) Een ruimtelijke taak: het [waterdoolhof van Morris](#met-b3-learning-memory-tests) — een rat zwemt in ondoorzichtig water naar een platform dat op een vaste plaats verborgen ligt, leert de positie ervan in de loop van dagen uit de aanwijzingen in de kamer, en wordt getoetst aan de tijd die hij in het juiste kwadrant zoekt wanneer het platform is weggehaald; laesies van de [hippocampus](#def-b3-learning-memory-kinds), blokkers van NMDA en het verlies van LTP heffen het leren elk op. (2) Een associatieve taak: angstconditionering — een toon die met een schok aan de poot wordt gepaard gaat verstijven oproepen; de herinnering hangt af van de amygdala, en een versie die aan de omgeving is gebonden van de [hippocampus](#def-b3-learning-memory-kinds). (3) Een toets van het mechanisme: blokkeer de kandidaat (een geneesmiddel, een uitschakeling beperkt tot één gebied en één tijdstip) en laat zien dat het leren mislukt terwijl de waarneming en de beweging dat niet doen. (4) Het engram: merk de neuronen die tijdens het leren actief zijn met een lichtgevoelig kanaal ([Hoofdstuk 17](https://one-course.com/books/biology/5/nl/chapter/17-organisatie-van-zenuwstelsels#ch-b3-nervous-systems)) en activeer ze later opnieuw met licht — het dier verstijft in een veilige omgeving, alsof het zich herinnert; het stilleggen ervan blokkeert het oproepen. Het geheugen zit in aanwijsbare cellen en hun synapsen, en kan worden aan- en uitgezet.

![Een doorsnede door de hippocampus van een knaagdier: de gebogen band piramidecellen (groen) van CA3 naar CA1 en de daarin grijpende gyrus dentatus (rood). Elke ruimtelijke herinnering van het dier gaat door deze lus.](https://one-course.com/images/onecourse/chapters/biology-5/b3-learning-memory/img-a28a1b3bb794.jpg)

*Een doorsnede door de [hippocampus](#def-b3-learning-memory-kinds) van een knaagdier: de gebogen band piramidecellen (groen) van [CA3](#def-b3-learning-memory-hippocampus) naar [CA1](#def-b3-learning-memory-hippocampus) en de daarin grijpende [gyrus dentatus](#def-b3-learning-memory-hippocampus) (rood). Elke ruimtelijke herinnering van het dier gaat door deze lus.*

## 19.5 Beloning, voorspelling en de plasticiteit van een leven

**Propositie 19.10 (Leren uit de voorspellingsfout).**

Zij $V$ de waarde die een dier aan een aanwijzing hecht en $\lambda$ de beloning die erop volgt. De [regel van Rescorla–Wagner](#prop-b3-learning-memory-rescorla) (1972) zegt dat de waarde bij elke poging verandert met een deel $\alpha$ van de *voorspellingsfout*:

$$
\Delta V = \alpha\,(\lambda - V), \qquad
V_{n} = \lambda\bigl(1 - (1-\alpha)^{n}\bigr) ,
$$

zodat het leren eerst snel gaat en vertraagt naarmate de voorspelling beter wordt, stopt zodra de beloning volledig is voorspeld, en omkeert (uitdoving) wanneer de beloning wordt onthouden. Worden twee aanwijzingen samen aangeboden, dan delen zij één voorspelling, zodat een aanwijzing die niets toevoegt aan een reeds gemaakte voorspelling niet wordt geleerd (*blokkering*). Schultz (1997) mat de dopamineneuronen van de middenhersenen bij apen en vond dat zij vuren bij een onverwachte beloning, zwijgen bij een volledig voorspelde, en onder hun rustniveau duiken wanneer een voorspelde beloning uitblijft: zij zenden $\lambda - V$, de voorspellingsfout zelf, uit naar het striatum en de schors, waar dopamine de plasticiteit vrijgeeft bij de synapsen die kort tevoren actief waren. Leren wat een beloning voorspelt is hebbiaanse plasticiteit met een derde factor die zegt of de uitkomst beter of slechter was dan verwacht — en verslavende middelen, die de dopamine rechtstreeks aandrijven, vervalsen een blijvend “beter dan verwacht”.

**Bewijs.** De recursie $V_{n+1} = V_{n} + \alpha(\lambda - V_{n})$ geeft $\lambda - V_{n+1} = (1-\alpha)(\lambda - V_{n})$, dus krimpt de fout meetkundig, $\lambda - V_{n} = (1-\alpha)^{n}\lambda$ vanaf $V_{0} =
0$, waaruit de formule volgt. Voor twee aanwijzingen $A$ en $B$ die samen worden aangeboden is de voorspelling $V_{A} + V_{B}$; is $A$ eerst tot $V_{A} = \lambda$ getraind, dan is de fout bij de samengestelde pogingen nul en verwerft $B$ niets. ∎

![Links: de leerkromme van Rescorla–Wagner met = 0.2 — een meetkundige nadering van de waarde van de beloning, daarna uitdoving wanneer de beloning stopt. Rechts: dopamineneuronen melden de voorspellingsfout — een salvo bij een verrassing, niets bij een voorspelde beloning, een duik wanneer een voorspelde beloning uitblijft.](https://one-course.com/images/onecourse/chapters/biology-5/b3-learning-memory/fig-1e456075da40.svg)

*Links: de leerkromme van Rescorla–Wagner met $\alpha = 0.2$ — een meetkundige nadering van de waarde van de beloning, daarna uitdoving wanneer de beloning stopt. Rechts: dopamineneuronen melden de voorspellingsfout — een salvo bij een verrassing, niets bij een voorspelde beloning, een duik wanneer een voorspelde beloning uitblijft.*

**Definitie 19.11 (Kritieke perioden en de ziekten van de plasticiteit).**

De plasticiteit is het grootst in vensters van de ontwikkeling. Hubel en Wiesel (jaren 1960) bedekten één oog van een kitten gedurende enkele weken na de geboorte: de visuele schors, die normaal door beide ogen in afwisselende kolommen wordt aangedreven, werd bijna geheel door het open oog aangedreven, en het beroofde oog bleef levenslang functioneel blind — terwijl dezelfde beroving bij een volwassen kat niets veranderde. Zulke *kritieke perioden*, voor het zien, voor de taal, voor de zang van vogels, sluiten wanneer de remmende schakelingen rijpen en de extracellulaire matrix verstijft, en zij laten zich met geneesmiddelen en training een weinig heropenen. De pathologieën van de plasticiteit zijn een kwestie van dosis en doel: *verslaving* is leren dat door een vervalste voorspellingsfout wordt gedreven en gewoonten bouwt die het genot overleven; posttraumatische stress is een angstherinnering die door stresshormonen te sterk is geconsolideerd; en de *ziekte van Alzheimer* begint waar het declaratieve geheugen begint, in de entorhinale schors en de [hippocampus](#def-b3-learning-memory-kinds), met het verlies van synapsen — dat de dementie beter volgt dan enige telling van plaques — vóór het verlies van neuronen.

**Opmerking 19.12 (Waaruit het geheugen bestaat).**

Een herinnering is geen opname maar een verandering in de sterkten en de aantallen van synapsen, verdeeld over de cellen die actief waren toen zij werd gemaakt, vastgelegd door een regel die versterkt wat samen vuurt, vrijgegeven door een signaal dat zegt of de uitkomst ertoe deed, en in de slaap gerepeteerd tot de schors haar zelf vasthoudt. De regel is die van Hebb, de poort is de [NMDA-receptor](#prop-b3-learning-memory-nmda), het signaal is dopamine, de repetitie is het [herafspelen](#def-b3-learning-memory-hippocampus), en de wiskunde zegt wat zo’n stelsel kan bevatten en waarom het het gelijkende verwart. Elk experiment dat een herinnering heeft aan- of uitgezet — met een blokker, een gen, een lichtstraal — heeft haar in die synapsen en in die cellen gevonden. H.M. stierf in 2008; zijn brein, in coupes gesneden en afgebeeld, toonde de laesie die het vakgebied had onderwezen, en niets meer.

## 19.6 Opgaven

**Oefening 19.1 ★.**

Onderscheid het declaratieve van het niet-declaratieve geheugen aan de hand van de prestaties van H.M., en noem voor elk van vier soorten niet-declaratief geheugen een hersengebied.

**Oplossing van Oefening 19.1.**

Het declaratieve geheugen (feiten, gebeurtenissen) was bij H.M. opgeheven — hij kon zich niets nieuws herinneren — terwijl het niet-declaratieve geheugen bleef bestaan: hij leerde normaal in de spiegel tekenen zonder zich de sessies te herinneren. Vaardigheden: striatum en [kleine hersenen](https://one-course.com/books/biology/5/nl/chapter/17-organisatie-van-zenuwstelsels#def-b3-nervous-systems-plan); geconditioneerde angst: amygdala; geconditioneerde motorische reflexen: [kleine hersenen](https://one-course.com/books/biology/5/nl/chapter/17-organisatie-van-zenuwstelsels#def-b3-nervous-systems-plan); priming: sensorische schors.

**Oefening 19.2 ★.**

Formuleer het postulaat van Hebb en de drie eigenschappen van LTP die eruit volgen.

**Oplossing van Oefening 19.2.**

Wanneer een presynaptische cel herhaaldelijk bijdraagt aan het vuren van een postsynaptische cel, versterkt hun verbinding. Daaruit volgt dat LTP invoerspecifiek is (alleen de actieve synapsen, die deelnamen, veranderen), associatief (een zwakke invoer die actief is terwijl de cel onder een sterke vuurt, wordt versterkt) en samenwerkend (er moeten genoeg invoeren samen werken om de cel te laten vuren).

**Oefening 19.3 ★.**

Leg uit waarom de [NMDA-receptor](#prop-b3-learning-memory-nmda) een gelijktijdigheidsmelder is, en wat er met LTP gebeurt wanneer zijn blokker AP5 vóór en wanneer hij ná de tetanus wordt toegediend.

**Oplossing van Oefening 19.3.**

Hij geleidt alleen wanneer glutamaat is gebonden (de presynaptische cel heeft gevuurd) *én* het membraan genoeg is gedepolariseerd om het magnesium uit te drijven (de postsynaptische cel is actief): beide voorwaarden van de [regel van Hebb](#def-b3-learning-memory-ltp) in één eiwit. AP5 vóór de tetanus: geen calcium naar binnen, geen LTP, hoewel de overdracht via [AMPA-receptoren](#prop-b3-learning-memory-nmda) normaal is. AP5 erna: reeds opgewekte LTP blijft onaangetast — de receptor is nodig voor de opwekking, niet voor het behoud.

**Oefening 19.4 ★.**

Wat onderscheidt bij *Aplysia* de kortdurende van de langdurige [sensitisatie](#def-b3-learning-memory-kinds) op moleculair niveau, en welk experiment laat dat zien?

**Oplossing van Oefening 19.4.**

Kortdurend: covalente wijziging van bestaande eiwitten — PKA fosforyleert en sluit een kaliumkanaal, waardoor de puls breder wordt en er meer wordt afgegeven; geen nieuw eiwit. Langdurig: PKA activeert CREB, er worden nieuwe genen afgeschreven en er groeien nieuwe synaptische uiteinden. Een remmer van de eiwitsynthese die tijdens herhaalde training wordt gegeven laat de kortdurende facilitatie ongemoeid en heft de herinnering op die dagen later wordt gemeten; erna gegeven doet hij niets.

**Oefening 19.5 ★★.**

Hoeveel pogingen zijn er bij $\alpha = 0.3$ nodig tot $V$ $90\,\%$ van $\lambda$ bereikt? Als de beloning daarna wordt onthouden, hoeveel pogingen tot $V$ onder $10\,\%$ zakt? Waarom zijn verwerving en uitdoving in dit model symmetrisch, en zijn zij dat bij dieren?

**Oplossing van Oefening 19.5.**

$0.7^{n} \le 0.1$: $n \ge 6.5$, dus $7$ pogingen. Vanaf $0.9\lambda$: $0.9\times 0.7^{n} < 0.1$, opnieuw $7$ pogingen. Symmetrisch omdat dezelfde $\alpha$ beide richtingen regeert. Bij dieren verloopt de uitdoving meestal trager en keert de oorspronkelijke herinnering na rust terug (spontaan herstel): uitdoving is nieuw leren dat het oude onderdrukt, niet het uitwissen ervan.

**Oefening 19.6 ★★.**

Twee invoeren hebben $C = \begin{pmatrix}1 & 0.5\\ 0.5 & 1\end{pmatrix}$. Bepaal de eigenvectoren en eigenwaarden, en zeg naar welke richting de [regel van Hebb](#def-b3-learning-memory-ltp) de gewichten draait en wat het neuron dan waarneemt. Pas de [regel van Oja](#thm-b3-learning-memory-hebb) één stap toe vanaf $\mathbf{w} = (1,0)$ met invoer $\mathbf{x}
= (1,1)$ en $\eta = 0.1$.

**Oplossing van Oefening 19.6.**

Eigenvectoren $(1,1)/\sqrt{2}$ met eigenwaarde $1.5$ en $(1,-1)/\sqrt{2}$ met $0.5$; Hebb draait $\mathbf{w}$ naar $(1,1)$, en het neuron gaat de twee invoeren waarnemen wanneer zij samen vuren. De stap van Oja: $y = 1$, $\Delta\mathbf{w} = 0.1\times 1\times((1,1) - 1\times(1,0)) = (0,0.1)$, dus $\mathbf{w} = (1, 0.1)$.

**Oefening 19.7 ★★.**

Een doorn heeft een volume van $0.1\,\mathrm{fL}$. Het binnenkomen van $500$ calciumionen verhoogt de vrije concentratie erin met hoeveel (in $\text{µ}\mathrm{mol}/\mathrm{L}$), als $95\,\%$ onmiddellijk door buffers wordt gebonden? Vergelijk met de rustwaarde van $0.1\,\text{µ}\mathrm{mol}/\mathrm{L}$ en met de $K_{d}$ van calmoduline, de activator van CaMKII, ongeveer $1\,\text{µ}\mathrm{mol}/\mathrm{L}$.

**Oplossing van Oefening 19.7.**

$500\times 0.05 = 25$ vrije ionen; $25/6\times 10^{23} = 4.2\times 10^{-23}$ mol in $10^{-16}$ L: $0.42\,\text{µ}\mathrm{mol}/\mathrm{L}$, viermaal de rustwaarde maar onder de $K_{d}$ van calmoduline — slechts gedeeltelijke activering; er zijn enkele kanaalopeningen tegelijk nodig om het micromolaire bereik te bereiken dat CaMKII aanzet.

**Oefening 19.8 ★★.**

Verklaar de blokkering met de [regel van Rescorla–Wagner](#prop-b3-learning-memory-rescorla) en geef voor elke fase de bijbehorende meting aan de dopamineneuronen.

**Oplossing van Oefening 19.8.**

A wordt getraind tot $V_{A} = \lambda$: dopamine vuurt in salvo’s bij de eerste pogingen en zwijgt zodra de beloning is voorspeld. Bij de samengestelde pogingen is de voorspelling $V_{A} + V_{B} = \lambda$ al juist, is de fout nul, zwijgt de dopamine en verandert $V_{B}$ nooit: B is geblokkeerd. Alleen aangeboden roept B geen antwoord op; volgt er daarna een beloning op B alleen, dan is die onverwacht en vuurt de dopamine in salvo’s.

**Oefening 19.9 ★★.**

Voorspel de uitkomst van (a) verwijdering van de [NMDA-receptor](#prop-b3-learning-memory-nmda) beperkt tot [CA1](#def-b3-learning-memory-hippocampus), (b) een remmer van de eiwitsynthese tijdens de training gegeven, (c) dezelfde remmer een dag later gegeven, (d) optogenetische heractivering, in een nieuwe omgeving, van de cellen van de [gyrus dentatus](#def-b3-learning-memory-hippocampus) die tijdens een angstconditionering actief waren.

**Oplossing van Oefening 19.9.**

(a) Geen LTP in [CA1](#def-b3-learning-memory-hippocampus) en een tekort in het ruimtelijke geheugen, met het overige leren ongeschonden. (b) Kortetermijngeheugen normaal, langetermijngeheugen afwezig na $24\,\mathrm{h}$. (c) Geen effect — de [consolidatie](#def-b3-learning-memory-kinds) is voorbij (tenzij de herinnering wordt heractiveerd, want dan wordt zij weer labiel). (d) De muis verstijft in de veilige omgeving: de herinnering wordt kunstmatig opgeroepen door de cellen die haar codeerden opnieuw te activeren.

**Oefening 19.10 ★★★.**

Laat zien dat onder de [regel van Hebb](#def-b3-learning-memory-ltp) alleen de lengte van $\mathbf{w}$ onbegrensd groeit, en dat de [regel van Oja](#thm-b3-learning-memory-hebb) in elk vast punt $|\mathbf{w}| = 1$ geeft. Waarom is onbegrensde groei biologisch een probleem, en welke mechanismen (synaptische schaling, LTD, slaap) zouden met de normerende term kunnen overeenkomen?

**Oplossing van Oefening 19.10.**

$\Delta|\mathbf{w}|^{2} \approx 2\mathbf{w}\cdot\Delta\mathbf{w} = 2\eta
y^{2} \ge 0$: de lengte neemt nooit af en groeit telkens wanneer het neuron vuurt. In een vast punt van Oja geldt $C\mathbf{w} = (\mathbf{w}^{\mathsf{T}}C
\mathbf{w})\mathbf{w}$, dus is $\mathbf{w}$ een eigenvector met $\lambda =
\lambda|\mathbf{w}|^{2}$, en dus $|\mathbf{w}| = 1$. Onbegrensde groei zou elke synaps verzadigen, de selectiviteit opheffen en een op hol geslagen prikkeling aandrijven; de biologische normeerders zijn de synaptische schaling (alle synapsen van een neuron omlaag geschaald wanneer het te actief is), LTD, en het omlaag schalen van synapsen tijdens de slaap.

**Oefening 19.11 ★★★.**

Het [CA3](#def-b3-learning-memory-hippocampus) van een rat heeft $3\times 10^{5}$ cellen, dat van een mens ongeveer $2\times 10^{6}$. Schat de capaciteit van Hopfield van elk. Waarom is die schatting een slechte maat voor het aantal herinneringen dat een mens bewaart, en wat voegt de rol van de [hippocampus](#def-b3-learning-memory-kinds) bij de [consolidatie](#def-b3-learning-memory-kinds) aan het beeld toe?

**Oplossing van Oefening 19.11.**

Rat: $0.14\times 3\times 10^{5} \approx 4\times 10^{4}$; mens: $0.14
\times 2\times 10^{6} \approx 3\times 10^{5}$. De schatting veronderstelt willekeurige dichte patronen en volledige verbondenheid; echte patronen zijn spaarzaam (wat de capaciteit sterk verhoogt) en gestructureerd, en de [hippocampus](#def-b3-learning-memory-kinds) is een tijdelijke opslag die herinneringen doorgeeft aan een schors van $10^{10}$ neuronen — de opslag voor het leven is de schors, en het getal van de [hippocampus](#def-b3-learning-memory-kinds) is een buffergrootte, geen telling van herinneringen.

**Oefening 19.12 ★★★.**

Kittens die weken lang het zicht in één oog missen verliezen het gebied van de schors van dat oog; volwassen dieren niet. Verklaar met hebbiaanse mededinging waarom het open oog wint, waarom beroving van beide ogen minder effect heeft dan van één, en wat de [kritieke periode](#def-b3-learning-memory-critical) afsluit.

**Oplossing van Oefening 19.12.**

De invoeren van het open oog hangen samen met het vuren van de cel in de schors en worden versterkt; die van het gesloten oog niet, en onder mededinging om een beperkt totaalgewicht verzwakken zij — Hebb plus normering. Met beide ogen gesloten wordt geen van beide invoeren begunstigd, zodat zij allebei (zwak) gebied behouden en het effect milder is. De periode sluit wanneer de remmende schakelingen rijpen, de perineuronale netten rond de synapsen verstijven en de subeenheden van de [NMDA-receptor](#prop-b3-learning-memory-nmda) in een minder toegeeflijke vorm veranderen.

## 19.7 Vraagstuk: een synaps die onthoudt

**Probleem 19.1.**

Weekendvraagstuk — een herinnering gevolgd van het calcium in een doorn tot een rat in een doolhof: de calciumrekenkunde van de opwekking, een hebbiaans neuron dat convergeert naar wat zijn invoeren delen, een leerkromme geklokt door de voorspellingsfout, en de capaciteit van een hippocampus, eindigend bij de calciumconcentratie die LTP opwekt, het aantal pogingen dat een rat nodig heeft en de patronen die zijn CA3 kan bevatten

Gegevens: een doorn met een volume van $0.08\,\mathrm{fL}$; elk NMDA-kanaal draagt $10^{3}$ Ca$^{2+}$ per opening van $50\,\mathrm{ms}$; een synaps heeft $10$ [NMDA-receptoren](#prop-b3-learning-memory-nmda); $98\,\%$ van het binnenkomende calcium wordt gebufferd; vrij calcium in rust $0.1\,\text{µ}\mathrm{mol}/\mathrm{L}$; CaMKII wordt geactiveerd boven $2\,\text{µ}\mathrm{mol}/\mathrm{L}$ vrij calcium, calcineurine tussen $0.3$ en $1\,\text{µ}\mathrm{mol}/\mathrm{L}$. Hebb: twee invoeren met $C = \begin{pmatrix}1 &
0.6\\ 0.6 & 1\end{pmatrix}$, $\eta = 0.1$. Rescorla–Wagner: $\alpha =
0.15$. Capaciteit: [CA3](#def-b3-learning-memory-hippocampus) van een rat $3\times 10^{5}$ cellen, $P = 0.14N$; een rat verkent $20$ nieuwe plaatsen per dag.

**Deel I — Calcium.**

1. Alle tien [NMDA-receptoren](#prop-b3-learning-memory-nmda) gaan eenmaal open. Hoeveel calciumionen komen er binnen, hoeveel blijven er vrij, en welke stijging van de concentratie is dat in de doorn?
2. Wordt CaMKII geactiveerd? En als er maar twee receptoren opengaan (glutamaat afgegeven maar de doorn nauwelijks gedepolariseerd)?
3. Welk enzym bevindt zich met twee open receptoren in zijn bereik, en wat gebeurt er met de synaps? Leg uit hoe één ion zowel LTP als LTD kan voortbrengen.
4. Calcium wordt met een tijdconstante van $20\,\mathrm{ms}$ weggepompt. Waarom moeten invoeren binnen tientallen milliseconden aankomen om hun calcium op te tellen, en hoe legt dit het venster van de pulstijd vast?
5. Een doorn ligt $0.5\,\text{µ}\mathrm{m}$ van zijn buur op de dendriet. Leg uit waarom de buffering en de nauwe hals van de doorn het calciumsignaal in één doorn houden, en waarom dat van belang is voor de invoerspecificiteit.
6. De blokkade door magnesium wordt bij ongeveer $-30\,\mathrm{mV}$ opgeheven. Eén AMPA-synaps depolariseert de doorn met $5\,\mathrm{mV}$ vanaf $-70\,\mathrm{mV}$ . Hoeveel gelijktijdige invoeren (of wat anders) zijn er nodig om [NMDA-receptoren](#prop-b3-learning-memory-nmda) te deblokkeren? Wat zegt dit over de samenwerking?

**Deel II — Een hebbiaans neuron.**

7. Bepaal de eigenwaarden en eigenvectoren van $C$ .
8. Pas vanaf $\mathbf{w} = (1, 0)$ de gemiddelde [regel van Hebb](#def-b3-learning-memory-ltp) $\mathbf{w} \leftarrow \mathbf{w} + \eta C\mathbf{w}$ drie stappen toe. Wat is na elke stap de hoek van $\mathbf{w}$ met de richting $(1,1)$ ?
9. Wat is na vele stappen de verhouding $w_{2}/w_{1}$ , en wat gebeurt er met $|\mathbf{w}|$ ?
10. Pas de gemiddelde [regel van Oja](#thm-b3-learning-memory-hebb) $\mathbf{w} \leftarrow \mathbf{w} +  \eta\,(C\mathbf{w} - (\mathbf{w}^{\mathsf{T}}C\mathbf{w})  \mathbf{w})$ één stap toe vanaf $(0.8, 0.8)$ . Waarheen beweegt zij?
11. Het neuron antwoordt nu op de twee invoeren samen. Als invoer 2 alleen vuurt (zeldzaam), wat is dan $y$ ten opzichte van het gezamenlijke geval, met $\mathbf{w} = (0.71, 0.71)$ ?
12. Leg in één zin uit hoe de associativiteit van LTP (een zwakke invoer die met een sterke wordt gepaard, wordt versterkt) deze stelling in werking is.

**Deel III — Leerkromme.**

13. Bereken met $\alpha = 0.15$ de waarde van $V_{n}/\lambda$ na $5$ , $10$ en $20$ pogingen.
14. Hoeveel pogingen zijn er nodig om $95\,\%$ van $\lambda$ te bereiken?
15. Een rat leert een doolhof in ongeveer dat aantal pogingen. Voorspelt het model sneller leren in pogingen als de beloning wordt verdubbeld? Wat verandert er?
16. Aanwijzing A wordt tot de asymptoot getraind, daarna worden A en B $20$ pogingen lang samen met dezelfde beloning aangeboden. Wat is $V_{B}$ ? Wat doen de dopamineneuronen bij de samengestelde pogingen?
17. De beloning volgt nu op B alleen. Beschrijf de voorspellingsfout en het dopamine-antwoord bij de eerste poging, en het verloop van $V_{B}$ .
18. Een geneesmiddel verhoogt de dopamine ongeacht de uitkomst. Leg met de regel uit waarom de handelingen die aan het middel voorafgaan worden geleerd alsof zij werden beloond, wat de gevolgen ervan ook zijn.

**Deel IV — De [hippocampus](#def-b3-learning-memory-kinds).**

19. De capaciteit van Hopfield van het [CA3](#def-b3-learning-memory-hippocampus) van de rat.
20. Hoe lang duurt het bij $20$ nieuwe plaatsen per dag voordat de capaciteit is bereikt? Wat moet er gebeuren opdat het dier kan blijven leren?
21. De [consolidatie](#def-b3-learning-memory-kinds) draagt herinneringen in de loop van weken over aan de schors. Leg uit waarom een trage overdracht oude herinneringen in de schors beschermt (catastrofale storing) en waarom de [hippocampus](#def-b3-learning-memory-kinds) een tijdelijke opslag is.
22. Als $3\,\%$ van de CA3-cellen in enig patroon actief is, hoeveel cellen coderen dan één plaats, en hoeveel patronen zouden er te onderscheiden zijn als patronen minder dan de helft van hun cellen mochten delen? (Beredeneer in grote lijnen waarom spaarzame codering de capaciteit verhoogt.)
23. Het [herafspelen](#def-b3-learning-memory-hippocampus) tijdens de slaap perst een tocht van $10\,\mathrm{s}$ samen tot $0.5\,\mathrm{s}$ . Welke afstand tussen het vuren van plaatscellen in de tocht wordt bij een venster van de pulstijd van $20\,\mathrm{ms}$ hebbiaans in het [herafspelen](#def-b3-learning-memory-hippocampus) ? Waarom zou dat het nut van de samenpersing kunnen zijn?
24. De herinnering aan het doolhof overleeft een laesie van de [hippocampus](#def-b3-learning-memory-kinds) die een maand na de training wordt gemaakt, maar niet een die een dag erna wordt gemaakt. Leg dat uit, met het verliespatroon van H.M.
25. Vat samen: de concentratie vrij calcium na tien NMDA-openingen (vraag 1), het aantal pogingen tot $95\,\%$ leren (vraag 14), en de capaciteit van het [CA3](#def-b3-learning-memory-hippocampus) van de rat (vraag 19).

**Oplossing van Probleem 19.1.**

**1.** $10\times 10^{3} = 10^{4}$ ionen; $2\,\%$ vrij, $200$; $200/6\times 10^{23} = 3.3\times 10^{-22}$ mol in $8\times 10^{-17}$ L: $4.2\,\text{µ}\mathrm{mol}/\mathrm{L}$. **2.** Ja, boven de drempel van $2\,\text{µ}\mathrm{mol}/\mathrm{L}$. Twee receptoren: $40$ vrije ionen, $0.83\,\text{µ}\mathrm{mol}/\mathrm{L}$ — daaronder. **3.** Bij $0.83\,\text{µ}\mathrm{mol}/\mathrm{L}$ is calcineurine actief en CaMKII niet: [AMPA-receptoren](#prop-b3-learning-memory-nmda) worden weggehaald en de synaps verzwakt (LTD). Eén ion, twee enzymen met verschillende affiniteit: een grote snelle stijging bereikt het kinase, een kleine trage alleen het fosfatase. **4.** Een tweede invoer binnen enkele tijdconstanten voegt zijn calcium toe aan wat er van de eerste over is; na $50\,\mathrm{ms}$ is er bijna niets meer. De eis van gelijktijdigheid bij NMDA en het verval met $20\,\mathrm{ms}$ geven samen een venster van zo’n $20\,\mathrm{ms}$ aan weerszijden — het venster van de pulstijd. **5.** Buffers vangen het meeste calcium binnen een fractie van een micrometer en de nauwe hals van de doorn vertraagt de diffusie naar de dendriet, zodat de stijging blijft in de doorn die actief was; een buur op $0.5\,\text{µ}\mathrm{m}$ merkt niets, en alleen de actieve synaps verandert. **6.** $(70 - 30)/5 = 8$ gelijktijdige invoeren, of een terugwaarts lopende actiepotentiaal vanuit het cellichaam: één enkele synaps kan haar eigen [NMDA-receptoren](#prop-b3-learning-memory-nmda) niet deblokkeren — de samenwerking zit in de natuurkunde ingebouwd. **7.** $(1,1)/\sqrt{2}$ met eigenwaarde $1.6$; $(1,-1)/\sqrt{2}$ met $0.4$. **8.** $C\mathbf{w}_{0} = (1, 0.6)$, $\mathbf{w}_{1} = (1.10,
0.06)$, hoek met $(1,1)$: $45^{\circ} - 3.1^{\circ} = 41.9^{\circ}$. $\mathbf{w}_{2} = (1.21, 0.13)$: $38.8^{\circ}$. $\mathbf{w}_{3} = (1.34,
0.22)$: $35.8^{\circ}$. **9.** $w_{2}/w_{1} \to 1$ terwijl $|\mathbf{w}|$ onbegrensd groeit (met een factor $1.16$ per stap). **10.** $C\mathbf{w} = (1.28, 1.28)$; $\mathbf{w}^{\mathsf{T}}C
\mathbf{w} = 2.05$; $\Delta\mathbf{w} = 0.1\times(1.28 - 2.05\times 0.8)
= -0.036$ voor elk: $\mathbf{w} = (0.76, 0.76)$, krimpend naar de eenheidsvector $(0.71, 0.71)$. **11.** Samen $y = 1.42$; invoer 2 alleen $y = 0.71$, de helft. **12.** De zwakke invoer vuurt terwijl de sterke de cel aandrijft, dus hangt zij samen met de uitvoer en versterkt de [regel van Hebb](#def-b3-learning-memory-ltp) haar — het neuron leert het samen voorkomen. **13.** $1 - 0.85^{n}$: $0.56$, $0.80$, $0.96$. **14.** $0.85^{n} \le 0.05$: $n \ge 18.5$, dus $19$ pogingen. **15.** Nee: het deel van de asymptoot dat na $n$ pogingen is bereikt hangt niet van $\lambda$ af; de asymptoot verdubbelt. Een grotere beloning kan $\alpha$ verhogen (opvallendheid), en een gedragsdrempel op de *absolute* waarde wordt eerder bereikt. **16.** $V_{B} = 0$: geblokkeerd. Het samengestelde geheel is volledig voorspeld, de fout is nul, de dopamineneuronen zwijgen. **17.** B alleen voorspelt niets, dus is de fout $\lambda$ en vuurt de dopamine in salvo’s; $V_{B}$ stijgt daarna als bij de verwerving, $\lambda(1 -
0.85^{n})$. **18.** Het middel levert het salvo dat “beter dan voorspeld” betekent na alles wat eraan voorafging; de regel verhoogt bij elke gelegenheid de waarde van die aanwijzingen en handelingen, zodat zij waarde verwerven onafhankelijk van enige werkelijke uitkomst — het zoeken wordt dwangmatig. **19.** $0.14\times 3\times 10^{5} \approx 4.2\times 10^{4}$. **20.** $4.2\times 10^{4}/20 = 2100$ dagen, ongeveer zes jaar; de [consolidatie](#def-b3-learning-memory-kinds) moet herinneringen naar de schors verplaatsen en het vergeten moet de opslag vrijmaken. **21.** Nieuwe patronen snel in de schors schrijven zou de synapsen overschrijven die oude coderen (catastrofale storing); traag, afwisselend [herafspelen](#def-b3-learning-memory-hippocampus) laat de schors het nieuwe met het oude verweven, terwijl de [hippocampus](#def-b3-learning-memory-kinds) de nieuwe herinnering ondertussen vasthoudt — een snelle buffer die een trage opslag voedt. **22.** $0.03\times 3\times 10^{5} = 9000$ cellen per plaats. Spaarzame patronen overlappen weinig, zodat er veel meer kunnen worden opgeslagen voordat hun storing het terughalen bederft; de capaciteit stijgt sneller dan $N$ naarmate de patronen spaarzamer worden, ten koste van meer cellen aan specificiteit per patroon. **23.** Samenpersing met een factor $20$: cellen die in de tocht $400\,\mathrm{ms}$ uiteen vuren, vuren in het [herafspelen](#def-b3-learning-memory-hippocampus) $20\,\mathrm{ms}$ uiteen — binnen het venster van de pulstijd. Het nut van de samenpersing is reeksen die te traag zijn om in werkelijke tijd te worden verbonden binnen hebbiaans bereik te brengen. **24.** Na een dag hangt de herinnering nog van de [hippocampus](#def-b3-learning-memory-kinds) af; na een maand is zij in de schors geconsolideerd en heeft zij hem niet meer nodig — precies het naar tijd gelaagde verlies van H.M., met de recente herinneringen verdwenen en de verre gespaard. **25.** Ongeveer $4.2\,\text{µ}\mathrm{mol}/\mathrm{L}$ vrij calcium na tien openingen; $19$ pogingen tot $95\,\%$; zo’n $4\times 10^{4}$ patronen in het [CA3](#def-b3-learning-memory-hippocampus) van de rat.