Biologia universitária — 3.º ano · Bachelor Year 3

19Plasticidade Neural, Aprendizado e Memória

Em 1953 um cirurgião removeu a parte interna dos dois lobos temporais de um jovem com epilepsia intratável. As crises diminuíram; o paciente, conhecido por cinquenta anos como H.M., nunca mais formou uma memória duradoura de um acontecimento. Ele conseguia manter uma conversa, aprender a traçar uma estrela num espelho tão bem quanto qualquer um — e negar, a cada dia, jamais ter visto a tarefa — e lembrava-se da infância. A memória, veio a se descobrir, não era uma coisa só, e a formação de novas memórias de acontecimentos dependia de uma estrutura do tamanho de um polegar. O que muda num encéfalo quando ele aprende é a mais antiga pergunta da neurociência, e sua resposta, elaborada numa lesma marinha de vinte mil neurônios e em fatias de hipocampo de rato, é que as sinapses mudam sua força conforme o que passa por elas — uma regra que Donald Hebb adivinhou em 1949 e que uma molécula, o receptor NMDA, acabou por implementar. Este capítulo trata dessa regra e de sua maquinaria, dos circuitos que a usam para armazenar lugares e acontecimentos, da matemática que diz o que um sistema desses pode aprender e quanto pode guardar, e do sinal de recompensa que lhe diz o que vale a pena aprender.

19.1 Tipos de memória e onde eles moram

Definição 19.1 (Formas de aprendizado e de memória)

O aprendizado mais simples é o não associativo: a habituação, uma resposta que declina a um estímulo inofensivo repetido, e a sensibilização, uma resposta reforçada depois de um estímulo nocivo. O aprendizado associativo liga dois acontecimentos: no condicionamento clássico (Pavlov) um estímulo neutro que prevê uma recompensa ou uma punição passa a provocar a resposta; no condicionamento operante uma ação que é recompensada é repetida. A memória humana se divide em memória declarativa — fatos e acontecimentos, evocados conscientemente, dependentes do hipocampo e do lobo temporal medial — e memória não declarativa — habilidades e hábitos (estriado, cerebelo), medo condicionado (amígdala), priming (córtex) —, expressa no desempenho sem recordação. Uma memória é guardada primeiro numa forma lábil de curto prazo, que dura de segundos a horas, e é consolidada ao longo de horas a anos numa forma estável de longo prazo, que já não precisa do hipocampo e reside no córtex.

Evidência. Scoville e Milner (1957) relataram o caso de H.M.: depois da remoção dos dois hipocampos e do córtex vizinho, sua inteligência e suas memórias anteriores à operação estavam em grande parte intactas, sua memória de trabalho era normal enquanto ele prestasse atenção em algo, mas ele não conseguia formar nenhuma memória nova de um acontecimento ou de um fato. Ele aprendia habilidades motoras em ritmo normal ao longo de dias, negando ter praticado — de modo que a memória de habilidades não precisava do hipocampo — e lembrava melhor o passado remoto que os anos imediatamente anteriores à cirurgia, de modo que o hipocampo era necessário para registrar e, por um tempo, para guardar memórias declarativas, mas não para armazená-las para sempre. Macacos e ratos com lesões equivalentes mostraram a mesma dissociação, e o estudo de um único paciente reorganizou o campo. ∎

19.2 A regra de Hebb e sua molécula

Definição 19.2 (Plasticidade hebbiana, LTP e LTD)

Hebb (1949) propôs que, quando um neurônio pré-sináptico participa repetidamente do disparo de um pós-sináptico, a conexão entre eles é fortalecida — “células que disparam juntas conectam-se”. A potenciação de longa duração (LTP) é sua forma experimental: uma salva breve de estimulação em alta frequência de uma via deixa as sinapses que ela ativou mais fortes por horas numa fatia e por semanas num animal. A LTP é específica da entrada (só as sinapses estimuladas mudam), associativa (uma entrada fraca pareada com uma forte para a mesma célula é potenciada) e exige cooperatividade entre as entradas para despolarizar a célula. A depressão de longa duração (LTD) é seu oposto, produzida por atividade prolongada em baixa frequência. Na plasticidade dependente do tempo de disparo, o sinal é dado pela ordem: um disparo pré-sináptico alguns milissegundos antes do pós-sináptico fortalece a sinapse; um logo depois a enfraquece, dentro de uma janela de cerca de $20\,\mathrm{ms}$ para cada lado — de modo que uma sinapse aprende a prever, e não apenas a correlacionar.

Proposição 19.3 (O receptor NMDA como detector de coincidências)

Nas sinapses excitatórias o glutamato age sobre dois receptores. O receptor AMPA abre ao ligar e conduz a corrente sináptica comum. O receptor NMDA liga glutamato, mas fica bloqueado no potencial de repouso por um íon de magnésio em seu poro; só quando a membrana pós-sináptica está despolarizada — por muitas entradas ao mesmo tempo ou por um potencial de ação retropropagado — é que o magnésio é expulso e o canal conduz, deixando entrar cálcio. O receptor NMDA abre, portanto, apenas quando a liberação pré-sináptica (glutamato) coincide com a atividade pós-sináptica (despolarização): é a porta “e” de Hebb numa única proteína. O cálcio que entra numa espinha dendrítica ativa a quinase CaMKII, que fosforila os receptores AMPA e leva mais deles para a sinapse a partir de uma reserva — a sinapse fica mais forte em minutos (LTP inicial). Uma elevação de cálcio grande e lenta ativa, em vez disso, a fosfatase calcineurina, que retira receptores AMPA: a LTD. A potenciação que dura mais de algumas horas (LTP tardia) precisa de proteína nova: quinases chegam ao núcleo, o fator de transcrição CREB liga genes, e a espinha cresce e pode se dividir — a mesma exigência de expressão gênica que separa a memória de curto prazo da de longo prazo em todo animal estudado.

Evidência. Bliss e Lømo (1973) estimularam a via perfurante que entra no hipocampo de coelho com um trem de pulsos e encontraram a resposta evocada aumentada por horas depois — a primeira LTP. Collingridge (1983) mostrou que um bloqueador do receptor NMDA (AP5) impedia a indução da LTP, mas não a resposta sináptica comum; Morris (1986) infundiu AP5 no hipocampo de ratos e verificou que eles já não conseguiam aprender a posição de uma plataforma escondida numa piscina, embora nadassem e enxergassem normalmente; e camundongos em que o receptor NMDA foi deletado apenas na região CA1 do hipocampo não tinham nem LTP ali nem memória espacial. O mesmo receptor, no mesmo lugar, era necessário para a mudança sináptica e para o aprendizado. ∎

O receptor NMDA como porta de Hebb. O glutamato sozinho abre os receptores AMPA; o canal NMDA só conduz quando a espinha está também despolarizada e seu magnésio sai. O cálcio que então entra decide o futuro da sinapse: uma elevação rápida e grande a fortalece; uma lenta e pequena a enfraquece.

À esquerda: a potenciação de longa duração — depois de um tétano breve a resposta da via estimulada permanece aumentada por horas, enquanto uma via não estimulada para as mesmas células fica inalterada (especificidade de entrada). À direita: a janela de tempo de disparo — a sinapse se fortalece se o disparo pré-sináptico vem na frente e se enfraquece se vem atrás.

Teorema 19.4 (O que uma sinapse hebbiana aprende)

Seja um neurônio que recebe entradas $\mathbf{x} = (x_{1},\dots,x_{n})$ por pesos $\mathbf{w}$ e responde linearmente, $y = \mathbf{w}\cdot\mathbf{x}$ . A regra de Hebb, $\Delta\mathbf{w} = \eta\, y\,\mathbf{x}$ , dá, em média sobre as entradas,

\langle\Delta\mathbf{w}\rangle = \eta\,C\,\mathbf{w}, \qquad C = \langle\mathbf{x}\mathbf{x}^{\mathsf{T}}\rangle ,

onde $C$ é a matriz de correlação das entradas. Os pesos crescem sem limite, e crescem mais depressa ao longo do autovetor de $C$ de maior autovalor: a sinapse passa a detectar o padrão de entrada mais frequentemente presente — o componente principal de suas entradas. Com um termo que penaliza pesos grandes, a regra de Oja $\Delta\mathbf{w} = \eta\, y\,(\mathbf{x} - y\,\mathbf{w})$ , o vetor de pesos converge para esse autovetor normalizado a comprimento unitário, e o neurônio se torna um detector estável da correlação dominante naquilo que vê.

Demonstração. Substituindo $y = \mathbf{w}\cdot\mathbf{x} = \mathbf{x}^{\mathsf{T}} \mathbf{w}$ na regra de Hebb obtém-se $\Delta\mathbf{w} = \eta\,\mathbf{x} \mathbf{x}^{\mathsf{T}}\mathbf{w}$ , cuja média sobre as entradas (com $\mathbf{w}$ variando lentamente) é $\eta C\mathbf{w}$ . $C$ é simétrica e semidefinida positiva, de modo que tem autovetores ortogonais $\mathbf{e}_{k}$ com autovalores $\lambda_{k} \ge 0$ ; escrevendo $\mathbf{w} = \sum_{k} a_{k}\mathbf{e}_{k}$ , cada componente obedece a $\Delta a_{k} = \eta\lambda_{k} a_{k}$ e cresce como $(1 + \eta\lambda_{k})^{t}$ , de modo que o componente ao longo do maior autovalor passa a dominar a direção de $\mathbf{w}$ enquanto seu comprimento diverge. A regra de Oja tem média $\eta(C\mathbf{w} - (\mathbf{w}^{\mathsf{T}}C\mathbf{w})\mathbf{w})$ ; num ponto fixo, $C\mathbf{w} = (\mathbf{w}^{\mathsf{T}}C\mathbf{w})\mathbf{w}$ , de modo que $\mathbf{w}$ é um autovetor com $\lambda = \mathbf{w}^{\mathsf{T}} C\mathbf{w} = \lambda|\mathbf{w}|^{2}$ , e daí $|\mathbf{w}| = 1$ ; o ponto fixo ao longo do maior autovalor é o estável (uma perturbação em direção a outro autovetor encolhe, já que o autovalor desse autovetor é menor), o que aqui se admite. ∎

Exemplo 19.5 (Duas entradas)

Um neurônio recebe duas entradas que costumam estar ativas juntas, de modo que $C = \begin{pmatrix} 1 & 0.8 \\ 0.8 & 1\end{pmatrix}$ . Os autovetores são $(1,1)/\sqrt{2}$ com autovalor $1.8$ e $(1,-1)/\sqrt{2}$ com autovalor $0.2$ . Partindo de $\mathbf{w} = (1, 0)$ , a regra de Hebb, após muitos passos pequenos, gira $\mathbf{w}$ em direção a $(1,1)$ : o neurônio aprende a responder às duas entradas juntas e a ignorar as raras ocasiões em que só uma dispara — ele extraiu a correlação. Com a regra de Oja os pesos se acomodam em $(0.71, 0.71)$ . É nesse sentido que as sinapses hebbianas aprendem o que anda junto, e é por isso que a propriedade associativa da LTP, parear uma entrada fraca com uma forte, decorre da regra.

19.3 Uma lesma que aprende

Proposição 19.6 (Sensibilização na Aplysia)

A lesma marinha Aplysia retrai a brânquia quando seu sifão é tocado, um reflexo de algumas dezenas de neurônios identificáveis. Um choque na cauda a sensibiliza: a retração a um toque leve fica reforçada, por minutos após um choque e por semanas após vários. Kandel e colaboradores (dos anos 1970 aos 1990) rastrearam a mudança até a sinapse entre o neurônio sensorial do sifão e o neurônio motor da brânquia. O choque na cauda excita um interneurônio que libera serotonina sobre o terminal do neurônio sensorial; a serotonina eleva o AMP cíclico, que ativa a proteína quinase A, que fosforila e fecha um canal de potássio; os potenciais de ação do terminal se alargam, mais cálcio entra e mais transmissor é liberado por disparo — a facilitação pré-sináptica, uma mudança covalente que dura minutos. Choques repetidos mandam a quinase ao núcleo, onde ela ativa o CREB, que liga genes que constroem novos terminais sinápticos: a memória de longo prazo são mais sinapses, e ela é bloqueada por inibidores da síntese proteica dados durante o treino, mas não depois. A habituação é o oposto, uma depressão da mesma sinapse; e o condicionamento clássico, parear o toque com o choque, reforça a facilitação nas sinapses que estavam ativas pouco antes de a serotonina chegar — uma coincidência hebbiana implementada de modo pré-sináptico, por uma adenilil ciclase estimulada pelo cálcio e pela serotonina juntos.

O circuito da sensibilização da Aplysia. A serotonina de um interneurônio age sobre o terminal sensorial, e a mesma sinapse carrega a memória de curto prazo como um canal fosforilado e a de longo prazo como novos terminais. — O circuito da sensibilização da *Aplysia*. A serotonina de um interneurônio age sobre o terminal sensorial, e a mesma sinapse carrega a memória de curto prazo como um canal fosforilado e a de longo prazo como novos terminais.

À esquerda: Aplysia californica, cujos neurônios, poucos e grandes, permitem encontrar e registrar a sinapse de uma memória. À direita: um dendrito cravejado de espinhas, cada uma o lado pós-sináptico de uma sinapse excitatória e cada uma um compartimento cujo cálcio decide seu próprio destino. — À esquerda: *Aplysia californica*, cujos neurônios, poucos e grandes, permitem encontrar e registrar a sinapse de uma memória. À direita: um dendrito cravejado de espinhas, cada uma o lado pós-sináptico de uma sinapse excitatória e cada uma um compartimento cujo cálcio decide seu próprio destino.

19.4 Circuitos para lugares e acontecimentos

Definição 19.7 (O circuito hipocampal)

A entrada cortical chega ao hipocampo pelo córtex entorrinal e passa por três estágios: o giro denteado, cujas células granulares excedem em número suas entradas e disparam de modo esparso (separando padrões parecidos); a CA3, cujas células piramidais se conectam recorrentemente entre si, cada uma recebendo milhares de sinapses de outras — uma rede autoassociativa capaz de completar um padrão armazenado a partir de um fragmento; e a CA1, que compara a saída da CA3 com a entrada direta e devolve o resultado ao córtex. Num rato que explora uma arena, uma célula piramidal do hipocampo dispara apenas quando o animal está num lugar — uma célula de lugar (O’Keefe, 1971) — e algumas centenas delas mapeiam a arena; no córtex entorrinal a montante, as células de grade (Moser, 2005) disparam nos vértices de uma malha hexagonal que cobre o espaço, um sistema de coordenadas a partir do qual os campos de lugar são construídos. Durante o sono e o repouso as sequências de células de lugar que dispararam durante um percurso são reativadas em alta velocidade, e bloquear essa reativação prejudica a memória do percurso: o hipocampo ensaia ao córtex os caminhos do dia.

À esquerda: a alça hipocampal — separação no giro denteado, armazenamento e completamento na CA3 recorrente, comparação na CA1. À direita: cada célula de lugar dispara numa região da arena; juntas, elas mapeiam o espaço.

Proposição 19.8 (Quanto guarda uma rede autoassociativa)

Uma rede de $N$ neurônios, cada um conectado a todos os outros com pesos hebbianos $w_{ij} \propto \sum_{\mu}\xi_{i}^{\mu}\xi_{j}^{\mu}$ somados sobre os padrões binários armazenados $\xi^{\mu}$ , recupera um padrão armazenado a partir de uma pista corrompida ou parcial acomodando-se nele como num atrator (Hopfield, 1982). Ela o faz de modo confiável para até cerca de $P \approx 0.14N$ padrões aleatórios; além disso os padrões interferem e a recuperação desmorona. A CA3 de um rato, com uns $3\times 10^{5}$ células piramidais, poderia por essa estimativa guardar uns $4\times 10^{4}$ padrões — a ordem dos lugares ou episódios distintos que um animal encontra numa estação — e seu disparo esparso (alguns por cento das células ativas em qualquer padrão) eleva mais ainda a capacidade. O completamento de padrões a partir de uma pista é o que permite que um cheiro ou uma esquina evoquem uma cena inteira; o preço é que memórias parecidas se fundem, o que a separação do giro denteado combate.

Demonstração. Admitido neste nível. ∎

Método 19.9 (Testar a memória e seu mecanismo)

(1) Uma tarefa espacial: o labirinto aquático de Morris — um rato nada em água opaca até uma plataforma escondida num lugar fixo, aprende sua posição pelas pistas da sala ao longo de dias, e é testado pelo tempo que passa procurando no quadrante certo quando a plataforma é retirada; lesões do hipocampo, bloqueadores de NMDA e a perda da LTP abolem, cada um, o aprendizado. (2) Uma tarefa associativa: o condicionamento de medo — um tom pareado com um choque na pata passa a provocar imobilidade; a memória depende da amígdala, e uma versão específica de contexto, do hipocampo. (3) Um teste de mecanismo: bloqueie o candidato (um fármaco, um nocaute restrito a uma região e a um tempo) e mostre que o aprendizado falha enquanto a percepção e o movimento não. (4) O engrama: marque os neurônios ativos durante o aprendizado com um canal sensível à luz (Capítulo 17) e depois reative-os com luz — o animal se imobiliza num contexto seguro, como se se lembrasse; silenciá-los bloqueia a evocação. A memória está em células identificáveis e em suas sinapses, e pode ser ligada e desligada.

Um corte do hipocampo de roedor: a faixa curva de células piramidais (verde) da CA3 à CA1 e o giro denteado entrelaçado (vermelho). Toda memória espacial do animal passa por essa alça.

19.5 Recompensa, predição e a plasticidade de uma vida

Proposição 19.10 (Aprender por erro de predição)

Seja $V$ o valor que um animal atribui a uma pista e $\lambda$ a recompensa que a segue. A regra de Rescorla–Wagner (1972) diz que a cada tentativa o valor muda por uma fração $\alpha$ do erro de predição:

\Delta V = \alpha\,(\lambda - V), \qquad V_{n} = \lambda\bigl(1 - (1-\alpha)^{n}\bigr) ,

de modo que o aprendizado é rápido no início e desacelera à medida que a predição melhora, para quando a recompensa é plenamente prevista e se inverte (extinção) quando a recompensa é retirada. Quando duas pistas são apresentadas juntas elas compartilham uma predição, de modo que uma pista que nada acrescenta a uma predição já feita não é aprendida (o bloqueio). Schultz (1997) registrou neurônios dopaminérgicos do mesencéfalo de macacos e verificou que eles disparam a uma recompensa inesperada, silenciam a uma plenamente prevista e caem abaixo da linha de base quando uma recompensa prevista não chega: eles transmitem $\lambda - V$ , o próprio erro de predição, ao estriado e ao córtex, onde a dopamina libera a plasticidade nas sinapses que estiveram ativas há pouco. Aprender o que prevê recompensa é plasticidade hebbiana com um terceiro fator que diz se o desfecho foi melhor ou pior que o esperado — e as drogas de abuso, ao acionarem a dopamina diretamente, falsificam um permanente “melhor que o esperado”.

Demonstração. A recorrência $V_{n+1} = V_{n} + \alpha(\lambda - V_{n})$ dá $\lambda - V_{n+1} = (1-\alpha)(\lambda - V_{n})$ , de modo que o erro encolhe geometricamente, $\lambda - V_{n} = (1-\alpha)^{n}\lambda$ a partir de $V_{0} = 0$ , donde a fórmula. Para duas pistas $A$ e $B$ apresentadas juntas a predição é $V_{A} + V_{B}$ ; se $A$ foi treinada primeiro até $V_{A} = \lambda$ , o erro nas tentativas compostas é zero e $B$ nada adquire. ∎

À esquerda: a curva de aprendizado de Rescorla–Wagner com = 0.2 — aproximação geométrica do valor da recompensa, e depois a extinção quando a recompensa cessa. À direita: os neurônios dopaminérgicos relatam o erro de predição — uma salva para a surpresa, nada para uma recompensa prevista, uma queda quando uma recompensa prevista falha. — À esquerda: a curva de aprendizado de Rescorla–Wagner com $\alpha = 0.2$ — aproximação geométrica do valor da recompensa, e depois a extinção quando a recompensa cessa. À direita: os neurônios dopaminérgicos relatam o erro de predição — uma salva para a surpresa, nada para uma recompensa prevista, uma queda quando uma recompensa prevista falha.

Definição 19.11 (Períodos críticos e as doenças da plasticidade)

A plasticidade é maior em janelas do desenvolvimento. Hubel e Wiesel (na década de 1960) taparam um olho de um gatinho por algumas semanas após o nascimento: o córtex visual, normalmente acionado pelos dois olhos em colunas alternadas, passou a ser acionado quase inteiramente pelo olho aberto, e o olho privado ficou funcionalmente cego pelo resto da vida — ao passo que a mesma privação num gato adulto nada mudava. Esses períodos críticos, para a visão, para a linguagem, para os cantos das aves, se fecham quando os circuitos inibitórios amadurecem e a matriz extracelular enrijece, e podem ser reabertos um pouco por fármacos e treino. As patologias da plasticidade são de dose e de alvo: a dependência química é aprendizado movido por um erro de predição falsificado, que constrói hábitos que sobrevivem ao prazer; o transtorno de estresse pós-traumático é uma memória de medo superconsolidada por hormônios do estresse; e a doença de Alzheimer começa onde a memória declarativa começa, no córtex entorrinal e no hipocampo, com a perda de sinapses — que acompanha a demência melhor que qualquer contagem de placas — antes da perda de neurônios.

Observação 19.12 (Do que a memória é feita)

Uma memória não é uma gravação, mas uma mudança nas forças e nos números das sinapses, distribuída pelas células que estavam ativas quando ela foi feita, registrada por uma regra que fortalece o que dispara junto, liberada por um sinal que diz se o desfecho importou, e ensaiada no sono até que o córtex a guarde sozinho. A regra é a de Hebb, a porta é o receptor NMDA, o sinal é a dopamina, o ensaio é a reativação, e a matemática diz quanto um sistema desses pode guardar e por que ele confunde o que é parecido. Todo experimento que ligou ou desligou uma memória — por um bloqueador, um gene, uma luz — a encontrou nessas sinapses, nessas células. H.M. morreu em 2008; seu encéfalo, cortado e fotografado, mostrou a lesão que havia ensinado o campo, e nada mais.

19.6 Exercícios

Exercício 19.1 ★

Distinga a memória declarativa da não declarativa pelo desempenho de H.M., e nomeie uma região encefálica para cada um de quatro tipos de memória não declarativa.

Solução

Solução de Exercício 19.1.

A memória declarativa (fatos, acontecimentos) foi abolida em H.M. — ele não conseguia evocar nada de novo — enquanto a memória não declarativa sobreviveu: ele aprendeu o desenho em espelho normalmente, sem se lembrar das sessões. Habilidades: estriado e cerebelo; medo condicionado: amígdala; reflexos motores condicionados: cerebelo; priming: córtex sensorial.

Exercício 19.2 ★

Enuncie o postulado de Hebb e as três propriedades da LTP que dele decorrem.

Solução

Solução de Exercício 19.2.

Quando uma célula pré-sináptica contribui repetidamente para o disparo de uma pós-sináptica, a conexão entre elas se fortalece. Daí a LTP ser específica da entrada (só as sinapses ativas, que participaram, mudam), associativa (uma entrada fraca ativa enquanto a célula dispara sob uma forte é fortalecida) e cooperativa (entradas em número suficiente precisam agir juntas para fazer a célula disparar).

Exercício 19.3 ★

Explique por que o receptor NMDA é um detector de coincidências e o que acontece com a LTP quando seu bloqueador AP5 é aplicado antes e depois do tétano.

Solução

Solução de Exercício 19.3.

Ele só conduz quando o glutamato está ligado (a célula pré-sináptica disparou) e a membrana está despolarizada o bastante para expulsar o magnésio (a célula pós-sináptica está ativa): as duas condições da regra de Hebb numa proteína só. AP5 antes do tétano: nenhuma entrada de cálcio, nenhuma LTP, embora a transmissão pelos receptores AMPA seja normal. AP5 depois: a LTP já induzida não é afetada — o receptor é necessário para a indução, e não para a manutenção.

Exercício 19.4 ★

Na Aplysia, o que distingue a sensibilização de curto prazo da de longo prazo no nível molecular, e que experimento o mostra?

Solução

Solução de Exercício 19.4.

Curto prazo: modificação covalente de proteínas existentes — a PKA fosforila e fecha um canal de potássio, alargando o disparo e aumentando a liberação; nenhuma proteína nova. Longo prazo: a PKA ativa o CREB, genes novos são transcritos e novos terminais sinápticos crescem. Um inibidor da síntese proteica dado durante o treino repetido deixa a facilitação de curto prazo intacta e abole a memória medida dias depois; dado depois, nada faz.

Exercício 19.5 ★★

Com $\alpha = 0.3$ , quantas tentativas até $V$ alcançar $90\,\%$ de $\lambda$ ? Se a recompensa for então retirada, quantas tentativas até $V$ cair abaixo de $10\,\%$ ? Por que a aquisição e a extinção são simétricas neste modelo, e são simétricas nos animais?

Solução

Solução de Exercício 19.5.

$0.7^{n} \le 0.1$ : $n \ge 6.5$ , portanto $7$ tentativas. A partir de $0.9\lambda$ , $0.9\times 0.7^{n} < 0.1$ : de novo $7$ tentativas. Simétricas porque o mesmo $\alpha$ governa as duas direções. Nos animais a extinção costuma ser mais lenta e a memória original volta depois de um descanso (recuperação espontânea): a extinção é aprendizado novo que suprime o velho, e não seu apagamento.

Exercício 19.6 ★★

Duas entradas têm $C = \begin{pmatrix}1 & 0.5\\ 0.5 & 1\end{pmatrix}$ . Encontre os autovetores e os autovalores, e diga para que direção a regra de Hebb gira os pesos e o que o neurônio então detecta. Aplique a regra de Oja por um passo a partir de $\mathbf{w} = (1,0)$ com entrada $\mathbf{x} = (1,1)$ e $\eta = 0.1$ .

Solução

Solução de Exercício 19.6.

Autovetores $(1,1)/\sqrt{2}$ com autovalor $1.5$ e $(1,-1)/\sqrt{2}$ com $0.5$ ; Hebb gira $\mathbf{w}$ em direção a $(1,1)$ , e o neurônio passa a detectar as duas entradas disparando juntas. Passo de Oja: $y = 1$ , $\Delta\mathbf{w} = 0.1\times 1\times((1,1) - 1\times(1,0)) = (0,0.1)$ , de modo que $\mathbf{w} = (1, 0.1)$ .

Exercício 19.7 ★★

Uma espinha tem volume de $0.1\,\mathrm{fL}$ . A entrada de $500$ íons de cálcio eleva sua concentração livre em quanto (em $\text{µ}\mathrm{mol}/\mathrm{L}$ ), se $95\,\%$ são imediatamente ligados por tampões? Compare com o valor de repouso de $0.1\,\text{µ}\mathrm{mol}/\mathrm{L}$ e com o $K_{d}$ da calmodulina, ativadora da CaMKII, de cerca de $1\,\text{µ}\mathrm{mol}/\mathrm{L}$ .

Solução

Solução de Exercício 19.7.

$500\times 0.05 = 25$ íons livres; $25/6\times 10^{23} = 4.2\times 10^{-23}$ mol em $10^{-16}$ L: $0.42\,\text{µ}\mathrm{mol}/\mathrm{L}$ , quatro vezes o nível de repouso, mas abaixo do $K_{d}$ da calmodulina — apenas ativação parcial; são necessárias algumas aberturas de canal juntas para alcançar a faixa micromolar que liga a CaMKII.

Exercício 19.8 ★★

Explique o bloqueio com a regra de Rescorla–Wagner e dê o registro dopaminérgico correspondente a cada etapa.

Solução

Solução de Exercício 19.8.

A é treinada até $V_{A} = \lambda$ : a dopamina dispara em salvas nas primeiras tentativas e silencia à medida que a recompensa passa a ser prevista. Nas tentativas compostas a predição $V_{A} + V_{B} = \lambda$ já é exata, o erro é zero, a dopamina fica em silêncio e $V_{B}$ nunca muda: B é bloqueada. Testada sozinha, B não evoca resposta alguma; se uma recompensa então seguir B sozinha, ela é inesperada e a dopamina dispara em salva.

Exercício 19.9 ★★

Preveja os resultados de (a) deleção do receptor NMDA restrita à CA1, (b) um inibidor da síntese proteica dado durante o treino, (c) o mesmo inibidor dado um dia depois, (d) reativação optogenética das células do giro denteado que estavam ativas durante um condicionamento de medo, num contexto novo.

Solução

Solução de Exercício 19.9.

(a) Nenhuma LTP na CA1 e um déficit de memória espacial, com os demais aprendizados intactos. (b) Memória de curto prazo normal, memória de longo prazo ausente em $24\,\mathrm{h}$ . (c) Nenhum efeito — a consolidação acabou (a menos que a memória seja reativada, quando volta a ficar lábil). (d) O camundongo se imobiliza no contexto seguro: a memória é evocada artificialmente pela reativação das células que a codificaram.

Exercício 19.10 ★★★

Mostre que, só com a regra de Hebb, o comprimento de $\mathbf{w}$ cresce sem limite, e que a regra de Oja tem $|\mathbf{w}| = 1$ em qualquer ponto fixo. Por que o crescimento ilimitado é um problema biológico, e que mecanismos (escalonamento sináptico, LTD, sono) poderiam corresponder ao termo normalizador?

Solução

Solução de Exercício 19.10.

$\Delta|\mathbf{w}|^{2} \approx 2\mathbf{w}\cdot\Delta\mathbf{w} = 2\eta y^{2} \ge 0$ : o comprimento nunca diminui e cresce sempre que o neurônio dispara. Num ponto fixo de Oja, $C\mathbf{w} = (\mathbf{w}^{\mathsf{T}}C \mathbf{w})\mathbf{w}$ , de modo que $\mathbf{w}$ é um autovetor com $\lambda = \lambda|\mathbf{w}|^{2}$ e, portanto, $|\mathbf{w}| = 1$ . O crescimento ilimitado saturaria toda sinapse, aboliria a seletividade e levaria a excitação a disparar sem freio; os normalizadores biológicos são o escalonamento sináptico (todas as sinapses de um neurônio reduzidas quando ele está ativo demais), a LTD e a redução das sinapses durante o sono.

Exercício 19.11 ★★★

A CA3 de um rato tem $3\times 10^{5}$ células; a de um humano, cerca de $2\times 10^{6}$ . Estime a capacidade de Hopfield de cada uma. Por que a estimativa é uma medida ruim de quantas memórias uma pessoa guarda, e o que o papel do hipocampo na consolidação acrescenta ao quadro?

Solução

Solução de Exercício 19.11.

Rato: $0.14\times 3\times 10^{5} \approx 4\times 10^{4}$ ; humano: $0.14 \times 2\times 10^{6} \approx 3\times 10^{5}$ . A estimativa supõe padrões aleatórios e densos e conectividade total; os padrões reais são esparsos (o que eleva muito a capacidade) e estruturados, e o hipocampo é um depósito temporário que entrega memórias a um córtex de $10^{10}$ neurônios — o depósito de uma vida é o córtex, e o número hipocampal é o tamanho de um buffer, e não uma contagem de memórias.

Exercício 19.12 ★★★

Gatinhos privados da visão de um olho por semanas perdem o território cortical desse olho; adultos não. Explique, pela competição hebbiana, por que o olho aberto vence, por que a privação binocular tem efeito menor que a monocular, e o que fecha o período crítico.

Solução

Solução de Exercício 19.12.

As entradas do olho aberto estão correlacionadas com o disparo da célula cortical e são fortalecidas; as do olho fechado não estão e, sob competição por um peso total limitado, enfraquecem — Hebb mais normalização. Com os dois olhos fechados nenhuma entrada é favorecida, de modo que ambas mantêm (fraco) território e o efeito é mais brando. O período se fecha à medida que os circuitos inibitórios amadurecem, as redes perineuronais enrijecem em volta das sinapses e as subunidades do receptor NMDA mudam para uma forma menos permissiva.

19.7 Problema: Uma Sinapse Que Lembra

Problema 19.1

Problema de fim de semana — uma memória seguida do cálcio numa espinha até um rato num labirinto: a aritmética de cálcio da indução, um neurônio hebbiano convergindo para o que suas entradas têm em comum, uma curva de aprendizado cronometrada pelo erro de predição e a capacidade de um hipocampo, terminando na concentração de cálcio que induz a LTP, nas tentativas de que um rato precisa e nos padrões que sua CA3 consegue guardar

Dados: uma espinha de volume $0.08\,\mathrm{fL}$ ; cada canal NMDA conduz $10^{3}$ Ca $^{2+}$ por abertura de $50\,\mathrm{ms}$ ; uma sinapse tem $10$ receptores NMDA; $98\,\%$ do cálcio que entra é tamponado; cálcio livre de repouso de $0.1\,\text{µ}\mathrm{mol}/\mathrm{L}$ ; a CaMKII é ativada acima de $2\,\text{µ}\mathrm{mol}/\mathrm{L}$ de cálcio livre, e a calcineurina entre $0.3$ e $1\,\text{µ}\mathrm{mol}/\mathrm{L}$ . Hebb: duas entradas com $C = \begin{pmatrix}1 & 0.6\\ 0.6 & 1\end{pmatrix}$ , $\eta = 0.1$ . Rescorla–Wagner: $\alpha = 0.15$ . Capacidade: CA3 de rato com $3\times 10^{5}$ células, $P = 0.14N$ ; um rato explora $20$ lugares novos por dia.

Parte I — Cálcio.

Os dez receptores NMDA abrem uma vez. Quantos íons de cálcio entram, quantos ficam livres, e que elevação de concentração é essa na espinha?
A CaMKII é ativada? E se apenas dois receptores abrirem (glutamato liberado, mas a espinha mal despolarizada)?
Com dois receptores abertos, que enzima está em sua faixa, e o que acontece com a sinapse? Explique como um mesmo íon pode produzir tanto LTP quanto LTD.
O cálcio é bombeado para fora com constante de tempo de $20\,\mathrm{ms}$ . Por que as entradas precisam chegar dentro de dezenas de milissegundos para somar seu cálcio, e como isso fixa a janela de tempo de disparo?
Uma espinha está a $0.5\,\text{µ}\mathrm{m}$ de sua vizinha no dendrito. Explique por que o tamponamento e o pescoço estreito da espinha mantêm o sinal de cálcio numa só espinha, e por que isso importa para a especificidade de entrada.
O bloqueio por magnésio é aliviado por volta de $-30\,\mathrm{mV}$ . Uma única sinapse AMPA despolariza a espinha em $5\,\mathrm{mV}$ a partir de $-70\,\mathrm{mV}$ . Quantas entradas sincrônicas (ou o que mais) são necessárias para desbloquear os receptores NMDA? O que isso diz sobre a cooperatividade?

Parte II — Um neurônio hebbiano.

Encontre os autovalores e autovetores de $C$ .
Partindo de $\mathbf{w} = (1, 0)$ , aplique a regra de Hebb média $\mathbf{w} \leftarrow \mathbf{w} + \eta C\mathbf{w}$ por três passos. Qual é o ângulo de $\mathbf{w}$ com a direção $(1,1)$ após cada um?
Depois de muitos passos, qual é a razão $w_{2}/w_{1}$ , e o que acontece com $|\mathbf{w}|$ ?
Aplique a regra de Oja média $\mathbf{w} \leftarrow \mathbf{w} + \eta\,(C\mathbf{w} - (\mathbf{w}^{\mathsf{T}}C\mathbf{w}) \mathbf{w})$ por um passo a partir de $(0.8, 0.8)$ . Para onde ela se move?
O neurônio agora responde às duas entradas juntas. Se a entrada 2 disparar sozinha (algo raro), quanto vale $y$ em relação ao caso conjunto, com $\mathbf{w} = (0.71, 0.71)$ ?
Explique numa frase como a associatividade da LTP (uma entrada fraca pareada com uma forte é fortalecida) é este teorema em ação.

Parte III — Curva de aprendizado.

Com $\alpha = 0.15$ , calcule $V_{n}/\lambda$ após $5$ , $10$ e $20$ tentativas.
Quantas tentativas para alcançar $95\,\%$ de $\lambda$ ?
Um rato aprende um labirinto em cerca desse número de tentativas. Se a recompensa for dobrada, o modelo prevê aprendizado mais rápido em tentativas? O que muda?
A pista A é treinada até a assíntota; depois A e B são apresentadas juntas com a mesma recompensa por $20$ tentativas. Quanto vale $V_{B}$ ? O que fazem os neurônios dopaminérgicos nas tentativas compostas?
A recompensa agora segue B sozinha. Descreva o erro de predição e a resposta dopaminérgica da primeira tentativa, e o curso de $V_{B}$ .
Um fármaco eleva a dopamina independentemente do desfecho. Usando a regra, explique por que as ações que precedem o fármaco são aprendidas como se tivessem sido recompensadas, quaisquer que sejam suas consequências.

Parte IV — O hipocampo.

Capacidade de Hopfield da CA3 do rato.
A $20$ lugares novos por dia, quanto tempo até a capacidade ser atingida? O que precisa acontecer para o animal continuar aprendendo?
A consolidação transfere memórias ao córtex ao longo de semanas. Explique por que uma transferência lenta protege as memórias corticais antigas (interferência catastrófica) e por que o hipocampo é um depósito temporário.
Se $3\,\%$ das células da CA3 estão ativas em qualquer padrão, quantas células codificam um lugar, e quantos padrões poderiam ser distinguidos se se exigisse que os padrões compartilhassem menos da metade de suas células? (Argumente qualitativamente por que a codificação esparsa eleva a capacidade.)
A reativação durante o sono comprime um percurso de $10\,\mathrm{s}$ em $0.5\,\mathrm{s}$ . Se a janela de tempo de disparo é de $20\,\mathrm{ms}$ , que separação entre os disparos das células de lugar no percurso se torna hebbiana na reativação? Por que essa pode ser a razão de ser da compressão?
A memória do labirinto sobrevive a uma lesão do hipocampo feita um mês depois do treino, mas não a uma feita um dia depois. Interprete, com o padrão de perda de H.M.
Resuma: a concentração de cálcio livre após dez aberturas de NMDA (questão 1), as tentativas até $95\,\%$ de aprendizado (questão 14) e a capacidade da CA3 do rato (questão 19).

Solução

Solução de Problema 19.1.

1. $10\times 10^{3} = 10^{4}$ íons; $2\,\%$ livres, $200$ ; $200/6\times 10^{23} = 3.3\times 10^{-22}$ mol em $8\times 10^{-17}$ L: $4.2\,\text{µ}\mathrm{mol}/\mathrm{L}$ . 2. Sim, acima do limiar de $2\,\text{µ}\mathrm{mol}/\mathrm{L}$ . Dois receptores: $40$ íons livres, $0.83\,\text{µ}\mathrm{mol}/\mathrm{L}$ — abaixo dele. 3. A $0.83\,\text{µ}\mathrm{mol}/\mathrm{L}$ a calcineurina está ativa e a CaMKII não: os receptores AMPA são retirados e a sinapse enfraquece (LTD). Um íon, duas enzimas de afinidade diferente: uma elevação grande e rápida alcança a quinase; uma pequena e lenta, só a fosfatase. 4. Uma segunda entrada dentro de algumas constantes de tempo soma seu cálcio ao que restou da primeira; depois de $50\,\mathrm{ms}$ quase nada resta. A exigência de coincidência do NMDA e o decaimento de $20\,\mathrm{ms}$ dão juntos uma janela de uns $20\,\mathrm{ms}$ para cada lado — a janela de tempo de disparo. 5. Os tampões capturam a maior parte do cálcio numa fração de micrômetro e o pescoço estreito da espinha retarda a difusão para o dendrito, de modo que a elevação fica na espinha que estava ativa; uma vizinha a $0.5\,\text{µ}\mathrm{m}$ nada percebe, e só a sinapse ativa muda. 6. $(70 - 30)/5 = 8$ entradas sincrônicas, ou um potencial de ação retropropagado do corpo celular: uma sinapse sozinha não consegue desbloquear seus próprios receptores NMDA — a cooperatividade está embutida na física. 7. $(1,1)/\sqrt{2}$ com autovalor $1.6$ ; $(1,-1)/\sqrt{2}$ com $0.4$ . 8. $C\mathbf{w}_{0} = (1, 0.6)$ , $\mathbf{w}_{1} = (1.10, 0.06)$ , ângulo com $(1,1)$ : $45^{\circ} - 3.1^{\circ} = 41.9^{\circ}$ . $\mathbf{w}_{2} = (1.21, 0.13)$ : $38.8^{\circ}$ . $\mathbf{w}_{3} = (1.34, 0.22)$ : $35.8^{\circ}$ . 9. $w_{2}/w_{1} \to 1$ enquanto $|\mathbf{w}|$ cresce sem limite (por um fator $1.16$ a cada passo). 10. $C\mathbf{w} = (1.28, 1.28)$ ; $\mathbf{w}^{\mathsf{T}}C \mathbf{w} = 2.05$ ; $\Delta\mathbf{w} = 0.1\times(1.28 - 2.05\times 0.8) = -0.036$ em cada coordenada: $\mathbf{w} = (0.76, 0.76)$ , encolhendo em direção ao vetor unitário $(0.71, 0.71)$ . 11. Conjunto: $y = 1.42$ ; entrada 2 sozinha: $y = 0.71$ , a metade. 12. A entrada fraca dispara enquanto a forte aciona a célula, de modo que ela fica correlacionada com a saída e a regra de Hebb a fortalece — o neurônio aprende a co-ocorrência. 13. $1 - 0.85^{n}$ : $0.56$ , $0.80$ , $0.96$ . 14. $0.85^{n} \le 0.05$ : $n \ge 18.5$ , portanto $19$ tentativas. 15. Não: a fração da assíntota alcançada após $n$ tentativas não depende de $\lambda$ ; a assíntota é que dobra. Uma recompensa maior pode elevar $\alpha$ (saliência), e um limiar comportamental sobre o valor absoluto é alcançado mais cedo. 16. $V_{B} = 0$ : bloqueada. O composto é plenamente previsto, o erro é zero, e os neurônios dopaminérgicos ficam em silêncio. 17. B sozinha nada prevê, de modo que o erro é $\lambda$ e a dopamina dispara em salva; $V_{B}$ então sobe como na aquisição, $\lambda(1 - 0.85^{n})$ . 18. O fármaco entrega a salva que significa “melhor que o previsto” depois do que quer que a tenha precedido; a regra incrementa o valor dessas pistas e ações a cada ocasião, de modo que elas adquirem valor independentemente de qualquer desfecho real — a busca se torna compulsiva. 19. $0.14\times 3\times 10^{5} \approx 4.2\times 10^{4}$ . 20. $4.2\times 10^{4}/20 = 2100$ dias, cerca de seis anos; a consolidação precisa mover memórias para o córtex e o esquecimento precisa liberar o depósito. 21. Escrever padrões novos depressa no córtex sobrescreveria as sinapses que codificam os antigos (interferência catastrófica); uma reativação lenta e intercalada permite ao córtex integrar o novo com o velho, enquanto o hipocampo guarda a memória nova nesse meio-tempo — um buffer rápido alimentando um depósito lento. 22. $0.03\times 3\times 10^{5} = 9000$ células por lugar. Os padrões esparsos se sobrepõem pouco, de modo que muitos mais podem ser armazenados antes que sua interferência corrompa a recuperação; a capacidade sobe mais depressa que $N$ à medida que os padrões ficam mais esparsos, ao custo de cada padrão usar a especificidade de mais células. 23. Compressão de $20$ vezes: células que disparam com $400\,\mathrm{ms}$ de intervalo no percurso disparam com $20\,\mathrm{ms}$ de intervalo na reativação — dentro da janela de tempo de disparo. A razão de ser da compressão é trazer para o alcance hebbiano sequências lentas demais para serem associadas em tempo real. 24. Com um dia, a memória ainda depende do hipocampo; com um mês, ela já foi consolidada no córtex e não precisa mais dele — exatamente a perda temporalmente graduada de H.M., com as memórias recentes perdidas e as remotas poupadas. 25. Cerca de $4.2\,\text{µ}\mathrm{mol}/\mathrm{L}$ de cálcio livre após dez aberturas; $19$ tentativas para $95\,\%$ ; uns $4\times 10^{4}$ padrões na CA3 do rato.

Termos definidos neste capítulo

Ver todos os 479 termos do glossário