Research: TITANS – Google’s Test-Time Learning Architectuur

Deze research is de basis voor het artikel “Google TITANS: AI die van je léért”.

Google Research’s TITANS (Test-time Training for Artificial Neural Systems) architectuur, gepubliceerd op 31 december 2024, vertegenwoordigt een fundamentele verschuiving in het ontwerp van kunstmatige geheugensystemen voor language models. Het systeem introduceert test-time learning: de capaciteit om tijdens inferentie (gebruik) te leren in plaats van uitsluitend tijdens de trainingsfase.

Kernbevindingen:

1. Theoretische doorbraak: TITANS transcendeert de TC0 complexiteitsklasse, waarmee het provably problemen kan oplossen die standaard Transformers niet kunnen oplossen, zelfs niet met oneindige parameters (Theorem 4.1, Behrouz et al., 2024).
2. Empirische prestatie: Modellen van 170M-760M parameters overtreffen GPT-4 (~1.8T parameters) op BABILong, een benchmark voor lange-context redeneren en informatieterughaling.
3. Architecturale innovatie: Een hybride drie-geheugensysteem geïnspireerd door cognitieve neurowetenschappen: werkgeheugen (attention), adaptief langetermijngeheugen (neural memory module), en persistente taakkennis.
4. Neurobiologische grondslag: Implementatie van surprise-gated encoding, vergelijkbaar met noradrenerge modulatie van hippocampale plasticiteit, en adaptive forgetting volgens de synaptic homeostasis hypothesis.
5. Praktische beperkingen: Onafhankelijk onderzoek (Di Nepi et al., 2025) toont aan dat frozen backbone modellen suboptimale prestaties leveren, consistent met Complementary Learning Systems theorie.

Positionering: TITANS is geen incrementele verbetering van Transformers, maar een fundamenteel nieuwe architectuur die online learning integreert als kernmechanisme. Het lost niet het quadratische attention probleem op via efficiëntere berekening, maar omzeilt het door een alternatief geheugensysteem dat lineair schaalt met sequence lengte.

Probleemstelling: De fundamentele beperkingen van Transformer-architecturen

Het Quadratic Attention probleem

Het attention mechanisme in Transformers (Vaswani et al., 2017) berekent voor elke token zijn relatie met alle andere tokens in de context. Deze operatie heeft O(n²) tijdcomplexiteit en O(n²) geheugencomplexiteit:

Computationele groei bij contextverlenging:

Deze kwadratische groei maakt lange contexten computationeel onhaalbaar. Empirisch onderzoek (Kuratov et al., 2024) toont dat large language models effectief slechts 10-20% van hun geclaimde context window gebruiken.

Waarom huidige LLM’s statisch zijn tijdens inferentie

Een fundamentele maar zelden gearticuleerde constraint: multi-user deployment architectuur. Productie LLM’s worden door miljoenen gebruikers simultaan gebruikt:

User A ---> [Gedeeld Statisch Model]   (geen modificaties)    

Als het model zou leren van User A’s input, zou dit User B’s ervaring beïnvloeden. Dit creëert een engineering constraint: modellen moeten statisch blijven tijdens inferentie. Deze constraint is niet theoretisch maar praktisch - het is technisch mogelijk om tijdens inferentie te leren, maar economisch en architecturaal onpraktisch voor cloud-gebaseerde services.

Bestaande oplossingen en hun trade-offs

Geen van deze oplossingen lost het fundamentele probleem op: hoe creëer je echt langetermijngeheugen zonder ofwel kwadratische kosten ofwel significant informatieverlies?

Neurowetenschappelijke fundamenten

Atkinson-Shiffrin model en Cowan’s revisie

Het Atkinson-Shiffrin modal model (1968) introduceerde de conceptuele scheiding tussen geheugensystemen. Nelson Cowan’s empirische revisie (2001, 2010) verfijnde dit met moderne neurobiologische data:

Cruciaal inzicht voor TITANS: Deze systemen opereren op verschillende tijdschalen met verschillende update rules. Werkgeheugen gebruikt actieve neurale firing (metabolisch duur, capaciteitsbeperkt). Langetermijngeheugen gebruikt synaptische plasticiteit (traag te vormen, maar persistent en high-capacity).

De fundamentele architecturale fout van Transformers: attention is computationeel analoog aan werkgeheugen (actieve vergelijking van alle elementen), maar wordt gedwongen ook als langetermijnopslag te functioneren. Dit is cognitief-wetenschappelijk incoherent.

Hippocampale indexeringstheorie

Teyler en DiScenna’s indexing theory (1986) stelt dat de hippocampus geen memories direct opslaat, maar indices: pointers naar gedistribueerde patronen in de neocortex. Tijdens slaap en rust “replayed” de hippocampus deze indices, waarbij kennis geleidelijk naar de neocortex wordt overgedragen (systems consolidation, Frankland & Bontempi, 2005).

Dit lost het stability-plasticity dilemma op: hoe leer je nieuwe dingen zonder catastrophically old memories te vergeten?

TITANS’ implementatie:

• Memory matrix M = de “index” (hippocampaal analogon)
• Surprise-gated updates = selectieve encoding
• Momentum decay = progressieve consolidatie

Neurochemie van verrassing en geheugenconsolidatie

McGaugh’s onderzoek (2013) naar emotioneel geheugen identificeerde een specifiek mechanisme: tijdens emotioneel activerende gebeurtenissen releaseert de locus coeruleus (een hersenstamkern) norepinephrine. De basolaterale amygdala, target van dit norepinephrine, moduleert vervolgens hippocampale plasticiteit en geheugenconsolidatie.

De wiskundige signature van dit proces:

Memory strength ? Prediction error × Activation signal

Dit is exact TITANS’ surprise mechanism:

• Prediction error = loss function gradient
• Activation signal = geleerde gating factor (?_t)

TITANS’ momentum term (?t · S{t-1}) modelleert de temporele persistentie van dit modulerend signaal, analoog aan de verlengde noradrenerge modulatie in de neurobiologie.

Synaptic Homeostasis hypothesis

Tononi en Cirelli’s synaptic homeostasis hypothesis (2006) stelt dat tijdens slaap globale synaptische downscaling optreedt: synaptische sterkte wordt proportioneel gereduceerd, waarbij alleen de sterkste connecties behouden blijven.

Functioneel doel: signal-to-noise ratio behouden. Zonder vergeten zouden oude memories nieuwe overschaduwen.

TITANS’ forget gate (?_t):

M_t = (1 – ?t) · M{t-1} + S_t

Wanneer ?_t -> 1, wordt verleden gewist. Wanneer ?_t -> 0, wordt verleden behouden. Cruciaal: ?_t is geleerd en data-afhankelijk, waardoor het model kan beslissen wanneer vergeten gepast is.

Dit contrasteert met recurrent models zoals Mamba, waar vergeten een vaste architecturale eigenschap is, geen adaptive computation.

TITANS architectuur: Technische deep-dive

Het drie-geheugensysteem

TITANS implementeert een “three hyper-head” architectuur (Behrouz et al., 2024):

Input x ? R^(N×d)
    ?
    +-> [Core (Attention)]     -> y1
    +-> [LMM (Neural Memory)]  -> y2  
    +-> [Persistent Memory]    -> y3
           ?
    Combine outputs -> Final output

Component specificaties:

Kritische observatie (Di Nepi et al., 2025): Persistent tokens hebben “negligible or even negative effects” wanneer geïsoleerd. Het is de adaptive neural memory die het verschil maakt.

Test-time Learning mechanisme

Associative Recall Loss

Het geheugensysteem wordt getraind op een associatieve taak. Gegeven input sequence (x1, x2, ..., xn), wordt elke token geprojecteerd naar:

• Key: k_t = x_t · W_k
• Value: v_t = x_t · W_v
• Query: q_t = x_t · W_q

De associative recall loss meet de discrepantie tussen geheugenpredictie en target value:

l(M_{t-1}; x_t) = ||M_{t-1}(k_t) – v_t||2²

De gradient van deze loss is de surprise metric: hoeveel de memory’s predictie afwijkt van de verwachte waarde.

Surprise-gated updates met momentum

TITANS’ geheugen update volgt een modified gradient descent met drie innovaties:

1. Surprise signal met momentum:

S_t = ?t · S{t-1} – ?_t · ?M l(M{t-1}; x_t)

2. Memory update met forgetting:

M_t = (1 – ?t) · M{t-1} + S_t

3. Output retrieval:

y_t = M_t(q_t)

Recursieve expansie van momentum:

S_t = -?t · ?l_t + ?_t · S{t-1}\
= -?t · ?l_t + ?_t · (-?{t-1} · ?l{t-1} + ?{t-1} · S_{t-2})\
= -?i=0t (?j=i+1t ?j) · ?_i · ?l_i

Dit is een exponentially weighted moving average van past gradients, rakend aan Polyak momentum (1964) voor gradient method versnelling.

Forget Gate en Memory Horizon

De effective memory horizon ? wordt bepaald door:

? ? 1 / E[?]

Bij gemiddelde forgetting ? ~ 0.01, “onthoudt” het model ruwweg de laatste 100 surprise updates.

Drie architectuurvarianten

MAC (Memory as Context):
Retrieved memory wordt geconcateneerd aan de attention context. Voordeel: eenvoudige integratie. Nadeel: verhoogt context length.

MAG (Memory as Gate):
Memory moduleert de attention outputs via gating. Voordeel: flexibele modulatie. Nadeel: complexere interactie.

MAL (Memory as Layer):
Memory operates als separate layer parallel aan attention. Voordeel: volledige separatie. Nadeel: extra computatie.

Deep Memory: Waarom diepte belangrijk is

TITANS’ memory kan een multi-layer MLP zijn met L_M >= 1 layers. Experimenten (Behrouz et al., 2024, Section 5.5) tonen:

Theoretische grondslag:

• Lineaire memory (L_M=1) ? online linear regression
• Diepe memory (L_M>=2) ? universal function approximation (Hornik et al., 1989)

De paper concludeert: “it is not always efficient to use deeper memory modules, showing a trade-off between effectiveness and efficiency.”

Fundamentele verschillen met bestaande systemen

TITANS vs RAG (Retrieval-Augmented Generation)

RAG workflow:

1. Externe documenten worden gevectoriseerd (embeddings)
2. Vectoren opgeslagen in vector database
3. Query wordt gevectoriseerd
4. Semantische zoekactie vindt vergelijkbare vectoren
5. Gevonden tekst wordt als platte tekst aan context toegevoegd
6. LLM leest deze tekst als tokens

Cruciaal: De LLM doet niets met de vectoren. Vectoren worden alleen gebruikt voor zoeken. Wat de LLM krijgt is gewoon tekst.

Het systeem leert niet: Elke identieke query triggert dezelfde zoekactie.

TITANS workflow:

1. Tijdens verwerking creëert TITANS keys/values/queries (ook vectoren)
2. Deze worden opgeslagen in neural memory matrix
3. Memory matrix past zichzelf aan tijdens gebruik
4. Surprise-signaal: als predictie fout is, wordt memory sterker bijgewerkt
5. Memory weights worden aangepast via gradient descent – een leerproces, geen opzoekproces

Vergelijkingstabel:

TITANS vs Fine-tuning technieken (LoRA/QLoRA)

LoRA/QLoRA:

• Voegt kleine aanpasbare weights toe aan specifieke layers
• Training gebeurt in een aparte fase (offline)
• Basismodel blijft bevroren
• Output: een aangepast model (statisch tijdens gebruik)

Timeline:

Pre-trained model -> Fine-tuning fase (uren/dagen) -> Aangepast model -> Gebruik (statisch)

TITANS:

• Memory module leert tijdens gebruik zelf (test-time learning)
• Bij elk token wordt memory matrix bijgewerkt
• Real-time, tijdens inferentie
• Geen aparte training-fase nodig

Timeline:

TITANS model -> Gebruik (token 1 -> update memory -> token 2 -> update memory -> ...)

Vergelijkingstabel:

TITANS vs standaard transformers

TITANS is geen Transformer met een memory add-on. Het is een fundamenteel herontwerp:

Niet:

? [Bestaande Transformer] + [Memory laag eromheen]

Wel:

? [Nieuwe architectuur met drie geïntegreerde systemen]

Theoretische doorbraak: TITANS transcendeert TC0 complexiteitsklasse. Dit betekent dat TITANS provably problemen kan oplossen die Transformers in principe niet kunnen, zelfs niet met oneindige parameters.

TC0 limitaties (Merrill et al., 2024): standaard attention, linear recurrent models, en DeltaNet kunnen bepaalde state-tracking problems niet oplossen (permutation composition, entity tracking, code evaluation).

TITANS kan dit wel doordat het dynamische weight updates tijdens inferentie heeft, equivalent aan het runnen van een learning algorithm die arbitrary states kan tracken.

Theoretische doorbraken

Expressiviteit voorbij TC0

Formele stelling (Behrouz et al., 2024):

“Unlike Transformers, diagonal linear recurrent models, and DeltaNet--all limited to TC0--TITANS are capable of solving problems beyond TC0.”

Proof intuition:

1. Standard attention berekent een fixed function van de input (eenmaal getraind)
2. TITANS’ memory verandert zijn weights tijdens inferentie
3. Deze dynamic weight update is equivalent aan het runnen van een learning algorithm
4. Learning algorithms kunnen arbitrary states tracken
5. Daarom kan TITANS problemen oplossen die Transformers niet kunnen

Implicatie: TITANS is niet een efficiëntere Transformer, maar een fundamenteel expressiever systeem.

Connection to online learning theory

TITANS’ update rule implementeert online learning with momentum, connecting to Polyak acceleration (1964) en de delta rule uit klassieke learning theory (Widrow & Hoff, 1960).

De outer product structure:

De gradient kan geschreven worden als:

?M l = (M{t-1} · k_t – v_t) ? k_t^T

Dit is de Hebbian update rule (“neurons that fire together wire together”), preciezer: de delta rule met augmentaties:

M_t = (1 – ?t) · M{t-1} + ?t · (M{t-1} · k_t – v_t) ? k_t^T

Met:

1. Forgetting: de (1-?_t) term
2. Momentum: de ?t S{t-1} term (uit recursie)

Stability-Plasticity trade-off

De forget gate ?_t controleert de learning rate van het systeem:

Dit implementeert de stability-plasticity dilemma oplossing: genoeg plasticiteit om te leren, genoeg stabiliteit om niet te vergeten.

Empirische resultaten

BABILong benchmark prestaties

BABILong (Kuratov et al., 2024) test reasoning over extremely long contexts: niet alleen informatie terughalen, maar logische ketens construeren over scattered facts in miljoenen tokens.

Kerncijfers:

• TITANS 170M-760M parameters: outperform GPT-4 (~1.8T parameters)
• Context windows: succesvol getest tot 2M+ tokens
• Complexity: O(n) in plaats van O(n²)

Wat dit betekent: Een model dat 2000-10,000x kleiner is presteert beter op lange-context taken. Dit is geen marginale verbetering--het suggereert een fundamenteel superieur memory mechanism.

Impact van memory depth op perplexity

Experimenten tonen aan dat deeper memory (L_M >= 2):

1. Maintains better perplexity: “with the increase of memory depth, L_M, the model can achieve better perplexity over all sequence length”
2. Is more robust: “deeper memory modules are more robust to the sequence length when the model has less number of parameters”

Trade-off: diepere memory = betere performance, maar langzamere training en inferentie.

Kritische analyse en beperkingen

Sapienza University onafhankelijk onderzoek

Di Nepi et al. (2025) voerden een independent reimplementation en analyse uit:

Bevinding: “memory alone cannot learn when the backbone is frozen”

Dit is exact wat Complementary Learning Systems theory voorspelt: effectief leren vereist interactie tussen hippocampaal-achtige snelle learning en neocorticale langzame learning.

Frozen Backbone problematiek

Wanneer alleen het memory module leert, maar de core Transformer bevroren blijft:

• Resultaten zijn significant slechter
• Memory kan nieuwe associaties leren, maar kan de semantische representaties niet aanpassen
• Dit limiteert de adaptiviteit van het systeem

Implicatie: TITANS werkt het best wanneer er een zekere mate van flexibiliteit is in het volledige systeem, niet alleen in de memory component.

Persistent Tokens: Beperkte effectiviteit

Het paper introduceert “persistent memory” als een derde component, maar Di Nepi’s analyse toont: “persistent tokens alone have negligible or even negative effects.”

Dit suggereert dat de architecturale innovatie primair in de adaptive neural memory zit, niet in de toevoeging van learnable maar data-independent parameters.

Deployment en praktische implicaties

Multi-user architectuur

TITANS’ test-time learning creëert een fundamentele deployment uitdaging: hoe beheer je lerende systemen in multi-user omgevingen?

Oplossing: Sessie-specifieke memory matrices

Shared Infrastructure:
+- Statisch TITANS model (Core + Persistent) [gedeeld, 1x geladen]
+- Per-sessie memory matrices [uniek per gebruiker]

Session 1 (User A): M1 (learns from User A's context)
Session 2 (User B): M2 (learns from User B's context)
Session 3 (User C): M3 (learns from User C's context)

Wat wordt gedeeld:

• Het statische LLM deel (Core + Persistent Memory weights)
• De pre-trained initiële parameters

Wat wordt NIET gedeeld:

• Memory Matrix die tijdens inferentie bijgewerkt wordt
• Elke sessie heeft eigen, verse memory

Deployment scenario’s

Scenario A: Cloud Service (Multi-tenant)

Centrale GPU cluster:
+- 1x statisch TITANS model (geladen in VRAM)
+- N memory matrices (één per actieve sessie)

Voordeel: Efficiënt gebruik van duur statisch model
Nadeel: Elke actieve sessie vereist eigen memory overhead

Lifecycle per sessie:

1. Start: initialiseer verse memory matrix
2. Gebruik: memory leert van deze specifieke context
3. Einde: verwijder memory (of optioneel: save voor later)
4. Nieuwe sessie: reset naar initiële staat

Scenario B: Lokale installatie

Gebruiker's computer:
+- Download pre-trained TITANS model (~GB's)
+- Bij gebruik: eigen memory matrix wordt aangemaakt

Voordeel: Volledige privacy, geen data naar cloud
Nadeel: Vereist substantiële lokale compute (GPU preferred)

Use case: Privacy-kritische toepassingen, medische of juridische documenten, proprietary business data.

Scenario C: Persistent Personal Memory (Hypothetisch)

Persoonlijke TITANS instance:
+- Statisch basis model (shared)
+- JOUW memory matrix (opgeslagen tussen sessies)

Dit zou betekenen: een TITANS die jouw voorkeuren en context onthoudt tussen sessies. Dit staat niet in het paper en vereist oplossingen voor:

• Long-term memory degradation
• Privacy en veiligheid
• Memory capacity bounds

Trade-offs en kosten

Memory overhead per sessie:

Aanname: memory matrix M met dimensies [d_model × memory_size]

• Voorbeeld: 768 × 2048 = ~1.5M parameters per sessie
• Bij FP16: ~3 MB per actieve sessie
• 1000 simultane gebruikers: ~3 GB extra VRAM

Vergelijking met statische LLM deployment:

Praktische constraint: Voor cloud deployment met miljoenen gebruikers, vereist TITANS significant meer infrastructuur dan statische LLM’s.

Vergelijkende analyse: Memory systemen in AI

Unieke positie van TITANS:

• Enige systeem dat tijdens gebruik leert zonder aparte training-fase
• Combineert snelheid van attention met capaciteit van external memory
• Adaptief zonder permanente modificatie van basis model

Implicaties voor AI-ontwikkeling

Paradigm Shift: Van “groter” naar “slimmer”

De AI-industrie heeft zich decennialang gefocust op scaling: grotere datasets, meer parameters, langere training. TITANS suggereert een alternatieve route: architecturale innovatie geïnspireerd door cognitieve wetenschappen.

760M parameters outperforming 1.8T parameters is geen efficiency trick--het is bewijs dat memorysysteem-ontwerp minstens zo belangrijk is als model size.

Neurowetenschappen als inspiratiebron

TITANS demonstreert de waarde van cross-disciplinary approach:

• Atkinson-Shiffrin (1968) -> drie-geheugensysteem
• McGaugh (2013) -> surprise-gated encoding
• Tononi & Cirelli (2006) -> adaptive forgetting
• Teyler & DiScenna (1986) -> indexing theory

Zes decennia cognitief onderzoek vertaald naar een werkende architectuur.

Vraag voor het veld: Welke andere neurocognitieve principes wachten op implementatie?

Test-Time Learning als onderzoeksrichting

TITANS opent een research direction die decennialang onderbelicht was: learning during inference.

Traditioneel paradigma:

Training (learn) -> Deployment (apply, no learning)

TITANS paradigma:

Training (learn general patterns) -> Deployment (continue learning context-specific patterns)

Dit suggereert dat de dichotomie “training vs inferentie” te rigide is geweest.

Open vragen voor toekomstig onderzoek

1. Kan het backbone ook adaptief zijn? Di Nepi’s bevindingen suggereren dat frozen backbone suboptimaal is. Hoe ontwerp je een systeem waar beide componenten leren zonder catastrophic interference?
2. Hoe schaal je naar miljoenen gebruikers? Huidige implementatie vereist per-sessie memory. Zijn er compression of sharing strategieën die privacy behouden?
3. Kan memory persistent zijn zonder privacy/security issues? Persistent personal memory zou krachtig zijn, maar vereist oplossingen voor data governance.
4. Wat zijn de limits van test-time learning? Hoeveel kan een systeem leren tijdens inferentie zonder vast te lopen in local optima?
5. Generalization beyond long-context tasks? BABILong test voornamelijk retrieval en reasoning. Hoe presteert TITANS op creatieve taken, commonsense reasoning, multi-hop inference?

Conclusies

Samenvatting kernbevindingen

Theoretisch:

• TITANS transcendeert TC0 expressiviteitsklasse (Theorem 4.1)
• Implementeert neurowetenschappelijk gefundeerde memory principles
• Online learning with momentum verbindt klassieke learning theory met moderne architecturen

Empirisch:

• 170M-760M parameters outperform GPT-4 (1.8T) op BABILong
• Effectieve context tot 2M+ tokens
• Linear O(n) complexity vs quadratic O(n²)

Architecturaal:

• Drie-geheugensysteem: attention (short-term), neural memory (adaptive long-term), persistent (task knowledge)
• Test-time learning: weights updaten tijdens inferentie
• Surprise-gated encoding met adaptive forgetting

Theoretische betekenis

TITANS is geen incrementele improvement--het is een proof of concept dat fundamenteel andere architecturen mogelijk zijn. Het toont aan dat:

1. Attention is not all you need: multi-system memory architecturen kunnen superieur zijn
2. Static inferentie is not necessary: online learning tijdens gebruik is feasible
3. Neuroscience provides blueprints: cognitieve modellen kunnen direct implementeerbaar zijn

Praktische uitdagingen

Deployment:

• Multi-user architectuur vereist per-sessie memory overhead
• Schaalbaarheid is complexer dan statische LLM’s
• Cost structure verschilt fundamenteel van huidige cloud services

Limitaties:

• Frozen backbone problematiek (Di Nepi et al.)
• Onbekende performance op niet-long-context taken
• Geen open-source implementatie beschikbaar (reproducibility issues)

Onbeantwoorde vragen:

• Persistent personal memory: mogelijk maar niet geïmplementeerd
• Optimal memory depth: trade-off tussen performance en efficiency
• Integration met bestaande LLM ecosystemen

Toekomstperspectief

TITANS vertegenwoordigt een research direction meer dan een production-ready product. Het opent deuren naar:

Korte termijn (1-2 jaar):

• Hybrid architecturen: TITANS-achtige memory + conventional Transformers
• Specialized applications: document analysis, code understanding, long-form reasoning
• Open-source replications en improvements

Middellange termijn (3-5 jaar):

• Multi-modal TITANS: visual/audio/text memory integration
• Federated learning variants: shared architectuur, private memories
• Continual learning systemen: models die blijven leren zonder catastrophic forgetting

Lange termijn (5+ jaar):

• Fundamentele verschuiving naar adaptive architectures
• Integration van meer neurowetenschappelijke principes (sleep-like consolidation, attention mechanisms, etc.)
• Truly personalized AI: systemen die authentiek van individuele gebruikers leren

De centrale les: AI-vooruitgang komt niet alleen van grotere modellen, maar van slimmer ontwerp geïnspireerd door de systemen die al miljoenen jaren werken--onze eigen brains.