No chapters are available for this episode.
Andrej Karpathy hat kürzlich eine radikal einfache Alternative zu klassischem Retrieval-Augmented Generation (RAG) vorgestellt. Statt Vektordatenbanken, Embeddings und Chunking betreibt der ehemalige Tesla-KI-Chef und OpenAI-Mitgründer ein 400.000-Wort-Forschungs-Wiki in reinem Markdown — mit Obsidian als Editor und Claude Code als Compiler.
Diese Episode erklärt, warum klassisches RAG eine technologische Sackgasse ist. Beim Chunking wird die semantische Architektur langer Dokumente zerstört. Isolierte Vektorschnipsel verlieren jeglichen narrativen Kontext. Ein 40-seitiges Forschungspapier wird zum Aktenvernichter-Opfer. Bei jedem Prompt muss das Modell das Rad neu erfinden, weil kein Gedächtnis aufgebaut wird.
Karpathys Ansatz kehrt das Prinzip um. Das LLM ist kein Suchwerkzeug mehr, sondern ein Compiler. Es liest Rohmaterial vorab und schreibt strukturierte, untereinander verlinkte Markdown-Dateien. Das Wissen wird einmal kompiliert und dann gepflegt, nicht bei jeder Query neu abgerufen. Die Synthese wächst iterativ wie Zinseszins.
Die Architektur besteht aus drei Schichten: einem RAW-Ordner für unstrukturierte Rohdaten, einem Wiki-Ordner mit der von der KI geschriebenen Enzyklopädie und einer Steuerdatei namens CLAUDE.md. Diese Steuerdatei ist das Gehirn des Systems. Sie definiert vier autonome Operationen: Ingest zum Einlesen neuer Quellen, Query für Abfragen, Log zur Protokollierung und Linting als semantischer Gesundheitscheck.
Die Episode behandelt ausführlich die Installation. Obsidian ist kostenlos und dient als IDE. Der Obsidian Web Clipper als Browser-Extension füllt den RAW-Ordner. Local Images Plus sorgt dafür, dass Bilder lokal gespeichert werden. Claude Code fungiert als LLM-Agent. Der Setup dauert etwa 15 Minuten, alles läuft lokal, keine Cloud-Infrastruktur nötig.
Besonders spannend ist das Thema Halluzinationen. Wenn die KI autonom schreibt, drohen dann permanent festgeschriebene Lügen? Karpathy begegnet dem mit einer strengen Zitierpflicht auf Dateiebene. Keine Aussage darf ins Wiki ohne Link zur originalen Rohdatei. Widersprüche werden nicht autonom aufgelöst, sondern mit Contradiction-Tags markiert. Der Mensch wird vom Sucher zum Editor auf höherer kognitiver Ebene.
Die Token-Ersparnis ist dramatisch. Berichte von bis zu 95 Prozent Reduktion sind keine Übertreibung, sondern mathematische Notwendigkeit. Statt hunderte Vektor-Chunks bei jeder Query zu laden, wird nur der Master-Index gelesen und gezielt auf relevante Wiki-Seiten zugegriffen. Praxis-Beispiele: 36 YouTube-Transkripte wurden in 14 Minuten zu einem strukturierten Wiki kompiliert.
Doch das System hat harte Grenzen. Bei etwa 100 bis 500 Artikeln (50.000 bis 100.000 Tokens) bricht der Master-Index unter seinem eigenen Gewicht zusammen. Das Lost-in-the-Middle-Phänomen setzt ein. Für Enterprise-Szenarien ist der lokale Markdown-Ordner ein Governance-Albtraum: keine Role-Based Access Control, Race Conditions bei parallelen Agenten, Datenexfiltration per Rechtsklick auf einen USB-Stick.
Die Enterprise-Antwort heißt Semantic Graph. Active Metadata verbindet jeden Wissensknoten mit dynamischen Sicherheitsprotokollen, etwa via Microsoft EntraID. Rechte werden in Echtzeit berechnet, Updates laufen ereignisgesteuert. Die Episode zeigt den kompletten Spektrum vom persönlichen Second Brain bis zur Konzern-Lösung.
Am Ende bleibt eine unbequeme Frage: Wenn die KI die kognitive Reibung übernimmt — das Wühlen durch chaotische Notizen, das eigene Verknüpfen von Theorien — degradieren wir uns dann zu reinen Kuratoren von Rohdaten? Verändert das, wie unser biologisches Gehirn lernt? Eine Frage, über die es sich nachzudenken lohnt, bevor du dein eigenes Setup konfigurierst.