Von Gauß’ kleinsten Quadraten bis zum Sprachmodell: zwei Eiszeiten, vier Durchbrüche
und ein Rechentrick, der plötzlich alles verändert hat. Zum Mitscrollen, mit fünf
Stationen zum Selberausprobieren.
1805 → heute5 interaktive DemosQuellen verlinkt
Erwartung und Fördergeld über die Zeit — schematisch, nicht gemessen. Die kalten Bänder
sind die beiden „KI-Winter“: Phasen, in denen Geldgeber das Thema fallen ließen, weil die
Versprechen der Vorjahre nicht eingelöst wurden. Der Verlauf ist der rote Faden dieser Seite.
Erst mal sortieren: KI, ML, Deep Learning, LLM
Die vier Begriffe werden ständig synonym benutzt. Sie sind aber ineinander verschachtelt —
jeder innere Ring ist ein Spezialfall des äußeren. Klick dich durch.
Und wie lernt so ein Modell?
Vier Grundformen. Der Unterschied liegt nicht im Algorithmus, sondern darin,
woher das Feedback kommt.
Supervised
Überwachtes Lernen
Jede Zeile hat eine richtige Antwort dabei. Das Modell rät, vergleicht, korrigiert sich —
millionenfach. Die Etiketten muss vorher jemand vergeben haben.
Keine Antworten, nur Daten. Das Modell sucht Struktur: Gruppen, Ausreißer, wiederkehrende
Muster. Was die Gruppen bedeuten, muss der Mensch hinterher deuten.
Beispiel: Kundensegmente, die niemand vorher definiert hat.
Reinforcement
Verstärkendes Lernen
Kein Etikett, sondern eine Belohnung — oft erst ganz am Ende. Das Modell probiert,
bekommt Punkte, probiert wieder. Genau so hat AlphaGo gelernt.
Beispiel: Partie gewonnen = +1. Welcher der 200 Züge war schuld? Das ist die Kunst.
Self-supervised
Selbstüberwachtes Lernen
Der Trick hinter den LLMs: Die Etiketten stecken schon im Text. Verdecke das nächste Wort —
fertig ist die Aufgabe mit richtiger Antwort. Beliebig oft, ohne einen einzigen Menschen.
Deshalb skaliert es: das halbe Internet ist plötzlich Trainingsmaterial.
Station 2 / 5
Mit Etikett oder ohne — derselbe Datensatz, zwei Welten
80 Tiere, für den Rechner nur zwei Zahlen pro Zeile: Gewicht und Schulterhöhe.
Was daraus wird, hängt allein davon ab, ob jemand „Katze“ und „Hund“ drangeschrieben hat.
Die Mathematik ist älter als der Computer
Bevor es die Zeitleiste losgeht, ein Schritt zurück — und zwar um 150 Jahre. Das Verfahren,
mit dem heute ein Sprachmodell trainiert wird, ist im Kern dasselbe, das ein 24-Jähriger
1801 benutzt hat, um einen verlorenen Planeten wiederzufinden.
1. Januar 1801
Ein Planet verschwindet
Giuseppe Piazzi entdeckt in Palermo den Kleinplaneten Ceres. Er verfolgt ihn 41 Tage lang
über einen winzigen Himmelsausschnitt — dann zieht Ceres hinter die Sonne und ist weg.
Niemand weiß, wo er wieder auftauchen wird.
Herbst 1801
Gauß rechnet
Carl Friedrich Gauß, 24 Jahre alt, nimmt die paar Messpunkte und sucht die Bahn, bei der
die Summe der quadrierten Abweichungen zu den Beobachtungen am kleinsten ist.
Dann sagt er vorher, wo Ceres im Dezember stehen wird.
7. Dezember 1801
Ceres steht da, wo Gauß sagt
Franz Xaver von Zach findet ihn nahe der vorhergesagten Stelle wieder. Veröffentlicht
wird die Methode der kleinsten Quadrate 1805 von Legendre und 1809 von Gauß — der
behauptet, sie schon seit 1795 zu benutzen. Der Prioritätsstreit hält bis heute an.
Was hier passiert, ist wörtlich das, was wir heute überwachtes Lernen nennen: Daten rein,
Parameter so lange verstellen, bis der Fehler minimal ist, dann eine Aussage über einen Fall
treffen, den man nie gemessen hat. Nur hieß es damals Ausgleichsrechnung.
Station 1 / 5
Warum „kleinste Quadrate“ wörtlich zu nehmen ist
Zehn Messpunkte, eine Gerade. Der Fehler jedes Punktes wird als Quadrat gezeichnet —
die Fläche ist das, was minimiert wird. Dreh die Gerade und schau der Zahl beim Fallen zu.
Summe der Fehlerquadrate
—
Abstand zum Minimum
—
Vorhersage für Messung 14
—
Und von da sind es nur zwei Schritte
Erster Schritt: Man hängt hinter die Summe eine S-Kurve, die jede Zahl auf einen Wert
zwischen 0 und 1 zusammenquetscht. Aus „wie viel“ wird „wie wahrscheinlich“ — das ist die
logistische Regression, seit den 1940er Jahren in Gebrauch und bis heute das Arbeitspferd
im Kreditscoring, in der Epidemiologie und in der Tarifkalkulation.
Station 2 weiter oben war bereits genau das: Die Trennlinie zwischen Katzen und
Hunden entsteht auf diesem Weg, und die Prozentangabe am neuen Tier kommt aus dieser Kurve.
Die S-Kurve
Links kommt eine gewichtete Summe an — im Beispiel oben der Abstand zur
Trennlinie. Rechts geht eine Wahrscheinlichkeit heraus. Die Kurve dazwischen ist
der ganze Unterschied zwischen „wie viel“ und „wie wahrscheinlich“.
Weit weg von der Linie wird die Kurve flach. Ob ein Tier drei oder sechs
Einheiten auf der Hundeseite liegt, ändert kaum noch etwas — beides heißt „so gut
wie sicher“. Interessant ist nur die Mitte: Beim mittleren Tier sagt das Modell
62 % und damit zugleich, dass es sich nicht sicher ist.
Und woher kommt die Trennlinie? Sie ist das Urbild von ½. Weil die S-Kurve
streng monoton ist, entspricht jeder Wahrscheinlichkeit genau ein Wert der Summe
davor — und ½ entspricht der 0. Die Trennlinie ist also die Menge der Punkte, an
denen die gewichtete Summe verschwindet. Das ist eine Gerade, und deshalb ist die
logistische Regression ein linearer Klassifikator, obwohl sie eine
gekrümmte Kurve enthält.
Zweiter Schritt: Man stapelt sehr viele davon. Der Trick steckt dabei in der S-Kurve
zwischen den Schichten, nicht im Stapeln selbst: Ohne sie wäre das Stapeln
vollkommen sinnlos. Die Verkettung linearer Abbildungen ist wieder eine lineare
Abbildung — fünfzig Schichten könnten dann exakt dasselbe wie eine einzige. Erst weil
zwischen den Schichten gekrümmt wird, kann eine Trennlinie aufhören, gerade zu sein.
Warum Stapeln überhaupt etwas bringt
Zweimal dieselben Daten: Eine Klasse umschließt die andere. Links das Beste, was
eine einzelne logistische Regression hinbekommt — rechts, was zwei Schichten
daraus machen.
Die Krümmung kommt allein von der S-Kurve. Ließe man sie weg und stapelte
nur die gewichteten Summen, bliebe wieder eine einzige lineare Abbildung übrig —
W₂(W₁x) = (W₂W₁)x. Fünfzig
Schichten hätten dann exakt die Ausdruckskraft von einer.
Links ist übrigens keine Drehung besser als die gezeichnete: Weil keine Halbebene
einen Ring von seinem Inneren trennt, kommt eine Gerade hier über das Raten der
größeren Gruppe nicht hinaus — bei 16 zu 26 Punkten sind das rund 62 %.
Wie aus vier solchen Geraden ein geschlossenes Quadrat wird — mit allen siebzehn Zahlen
zum Nachrechnen — steht auf einer eigenen Seite:
Vier Geraden ergeben ein Quadrat.
Zwei weitere Dinge ändern sich beim Stapeln, und beide sind unbequem. Erstens sagt
niemand den mittleren Neuronen, was sie darstellen sollen — anders als bei „Gewicht“
und „Schulterhöhe“ gibt es dort kein Etikett, die Zwischengrößen entstehen allein aus
dem zurückgerechneten Fehler. Zweitens verliert die Fehlerfläche ihre Konvexität: Eine
einzelne logistische Regression hat genau ein Minimum, und der Gradientenabstieg findet
es beweisbar. Ein Netz hat viele, dazu Sattelpunkte und Plateaus. Aus einem gelösten
Optimierungsproblem wird ab hier eine empirische Disziplin.
Ein Neuron ist eine logistische Regression
Eingänge mal Gewicht, aufsummiert, Schwellenwert dazu, durch die S-Kurve —
fertig. Mehr steckt in einer einzelnen Recheneinheit nicht drin.
Das ist der gesamte Baustein. Was ein Netz mächtig macht,
ist nicht die einzelne Einheit, sondern dass die mittleren Schichten Zwischengrößen
erfinden dürfen, die niemand vorgegeben hat — bei Bildern etwa erst Kanten, dann Formen,
dann Gesichter.
Damit ist der Bogen gespannt: Backpropagation von 1986 ist nichts anderes als Gauß’ Idee,
angewandt auf einen solchen Stapel — Fehler messen, ausrechnen, welche Stellschraube wie
stark schuld war, ein Stück nachjustieren, von vorn. Bei Gauß waren es sechs Bahnparameter.
Bei Claude sind es einige hundert Milliarden.
Die Zeitleiste
Jeder Eintrag lässt sich aufklappen. Die Schiene links wird kalt, wenn das Geld ausbleibt.
1943 — 1973
Gründung und erste Euphorie
Eine Handvoll Leute erfindet ein Forschungsfeld, gibt ihm einen Namen — und verschätzt
sich beim Zeitplan um mehrere Jahrzehnte.
1943Das künstliche Neuron auf dem Papier›
Warren McCulloch (Neurologe) und Walter Pitts (Logiker) beschreiben eine Nervenzelle
als simplen Schalter: Sie summiert ihre Eingänge, und wenn die Summe eine Schwelle
überschreitet, feuert sie. Mehr nicht.
Warum es zähltDas ist bis heute die Recheneinheit in jedem
neuronalen Netz. Ein GPT-Modell besteht aus Milliarden dieser Schalter — die Idee ist
über 80 Jahre alt, es fehlte nur die Rechenleistung.
1950Turing stellt die Frage falsch — mit Absicht›
Alan Turing eröffnet seinen Aufsatz „Computing Machinery and Intelligence“ mit
„Können Maschinen denken?“ — und erklärt die Frage sofort für unbrauchbar, weil
niemand „denken“ definieren kann. Sein Ersatz: das Imitationsspiel. Wenn ein
Mensch im schriftlichen Dialog nicht unterscheiden kann, ob er mit Mensch oder
Maschine schreibt, sollen wir aufhören zu streiten.
Warum es zähltTuring verschiebt das Kriterium von „was ist im
Inneren?“ auf „was kommt heraus?“. Genau diese Verschiebung diskutieren wir bei
LLMs heute wieder — nur mit umgekehrtem Vorzeichen.
1956Der Begriff wird erfunden: Dartmouth›
John McCarthy braucht 1955 einen Titel für einen Förderantrag an die
Rockefeller Foundation. Er will sich von der damals dominierenden „Kybernetik“
absetzen und schreibt „Artificial Intelligence“ — nach eigener Aussage vor
allem, um Diskussionen mit Norbert Wiener aus dem Weg zu gehen. Im Sommer 1956
treffen sich rund zehn Forscher acht Wochen lang in Dartmouth.
Im Antrag steht der Satz, jedes Merkmal von Intelligenz lasse sich so präzise
beschreiben, dass eine Maschine es simulieren könne. Man rechnete mit
nennenswerten Fortschritten binnen eines Sommers.
Warum es zähltZweierlei entsteht hier gleichzeitig.
Erstens der Name: „Artificial Intelligence“ war eine Abgrenzung gegen die
Kybernetik, kein definierter Fachbegriff. Zweitens die erste Terminzusage
des Feldes — nennenswerte Fortschritte binnen eines Sommers.
Beides hat sich gehalten: griffige Namen, die vor der Sache da sind, und
Fristen, die zu kurz gesetzt werden.
1958Das Perzeptron — eine Maschine, die lernt›
Frank Rosenblatt baut am Cornell Aeronautical Laboratory das Mark I Perceptron:
keine Software, sondern Hardware mit Potentiometern, die von Motoren verstellt werden.
Es lernt, einfache Muster zu unterscheiden — indem es rät und bei Fehlern die
Gewichte nachjustiert.
Warum es zähltErstmals wird ein Programm nicht mit Regeln
gefüttert, sondern mit Beispielen. Das ist exakt die Trennlinie aus Station 2 —
die New York Times prophezeit prompt eine Maschine, die bald laufen, sprechen und
sich ihrer selbst bewusst sein werde.
1966ELIZA und der erste Chatbot-Effekt›
Joseph Weizenbaum programmiert am MIT ELIZA — 200 Zeilen Mustererkennung, die einen
Psychotherapeuten imitieren: „Ich habe Probleme mit meinem Vater“ → „Erzählen Sie mir
mehr über Ihren Vater.“ Kein Verständnis, nur Umformulierung.
Weizenbaum ist entsetzt, wie ernst die Leute das nehmen. Seine eigene Sekretärin
bittet ihn, den Raum zu verlassen, damit sie ungestört „reden“ kann.
Warum es zähltDer ELIZA-Effekt: Menschen unterstellen einem
System Verstehen, sobald die Sprache stimmt. Das ist keine historische Anekdote,
das ist der Alltag im Umgang mit heutigen Chatbots.
1969Minsky & Papert zerlegen das Perzeptron›
Marvin Minsky und Seymour Papert beweisen in ihrem Buch „Perceptrons“: Ein einlagiges
Perzeptron kann nicht einmal „entweder oder“ (XOR) lernen. Es kann nur eine gerade
Linie ziehen — und manche Probleme brauchen eben keine Gerade.
Warum es zähltMathematisch korrekt, in der Wirkung verheerend.
Die Lösung — mehrere Schichten übereinander — war bekannt, aber niemand wusste, wie
man sie trainiert. Die Antwort darauf kommt erst 17 Jahre später. In der Zwischenzeit
versiegt die Förderung für neuronale Netze fast vollständig.
1974 — 1980
Der erste KI-Winter
Nicht die Technik scheitert zuerst, sondern das Versprechen. Wer 1958 vollautomatische
Übersetzung „in wenigen Jahren“ ankündigt, bekommt 1974 kein Geld mehr.
1973Der Lighthill-Report dreht Großbritannien den Hahn zu›
Der Mathematiker James Lighthill begutachtet im Auftrag des britischen Forschungsrats
das Feld und kommt zum Schluss: In keinem Bereich habe die KI-Forschung die
angekündigten Ergebnisse geliefert. Sein Kernvorwurf ist die
kombinatorische Explosion — Verfahren, die im Spielzeug-Beispiel funktionieren,
ersticken an realistischen Problemgrößen.
Warum es zähltGenau dieses Argument probierst du gleich an
Station 3 selbst aus. Und es ist der Grund, warum Deep Blue erst 24 Jahre später
gewinnen konnte.
1974–80Was in der Kälte trotzdem passierte›
Winter heißt nicht Stillstand, sondern Förderstopp. Wesentliche Bausteine entstehen
trotzdem — das Backpropagation-Verfahren etwa wird in dieser Zeit mehrfach
unabhängig hergeleitet (Seppo Linnainmaa 1970, Paul Werbos 1974), nur beachtet es
niemand.
Warum es zähltEin Muster, das sich wiederholt: Die Ideen sind
meist Jahrzehnte vor ihrer Wirkung da. Was fehlt, sind Daten und Rechenleistung.
1980 — 1987
Expertensysteme: KI wird kurz profitabel
Der Ausweg aus dem Winter heißt Bescheidenheit. Statt „allgemeine Intelligenz“ nur noch
ein eng umrissenes Fachgebiet — und darin sehr viele handgeschriebene Wenn-dann-Regeln.
1980XCON konfiguriert Computer — und spart echtes Geld›
Digital Equipment Corporation setzt XCON (auch R1) ein, um Bestellungen für
VAX-Rechner zu konfigurieren: Welche Karte passt in welchen Slot, welches Kabel
fehlt noch? Anfangs rund 750 Regeln, später mehrere tausend. Das System spart dem
Konzern nach eigenen Angaben zweistellige Millionenbeträge pro Jahr.
Verwandt: MYCIN aus Stanford diagnostiziert Blutinfektionen und schlägt Antibiotika
vor — in Tests auf dem Niveau von Fachärzten. Eingesetzt wurde es nie; Haftungs-
und Akzeptanzfragen. Auch das kommt uns bekannt vor.
Warum es zähltErster kommerzieller Erfolg der KI. Und die
Systeme waren vollständig erklärbar — man konnte jede Entscheidung bis zur
Regel zurückverfolgen. Genau das haben wir seither verloren.
1986Backpropagation kommt an›
David Rumelhart, Geoffrey Hinton und Ronald Williams veröffentlichen in Nature
die Lernregel für mehrschichtige Netze. Die Idee: Man misst den Fehler am Ausgang und
rechnet ihn Schicht für Schicht rückwärts, um zu bestimmen, welche Gewichte wie stark
schuld waren. Im Kern ist das die Kettenregel aus der Schulmathematik.
Warum es zähltDas ist die Antwort auf Minsky & Papert
und bis heute der Trainingsalgorithmus praktisch jedes neuronalen Netzes — von 1986 bis
zum aktuellen Sprachmodell hat sich daran nichts Grundsätzliches geändert.
1989LeCun liest Postleitzahlen›
Yann LeCun trainiert bei AT&T Bell Labs ein faltendes Netz (CNN) darauf,
handgeschriebene Ziffern auf Briefumschlägen zu erkennen. Das System geht in den
Produktivbetrieb und liest zeitweise einen erheblichen Teil der US-Schecks.
Warum es zähltDer erste breite Praxiseinsatz eines tiefen
Netzes — 23 Jahre vor dem großen Deep-Learning-Boom. Die Architektur stimmte
bereits, es fehlten Daten und GPUs.
1987 — 1993
Der zweite KI-Winter
Expertensysteme haben ein Skalierungsproblem: Bei 10.000 Regeln widersprechen sich die
Regeln gegenseitig, und jede Änderung an der Realität muss von Hand nachgepflegt werden.
Gleichzeitig bricht der Markt für die spezialisierte LISP-Hardware zusammen — normale
Arbeitsplatzrechner sind inzwischen schneller und viel billiger.
1987Wartung frisst den Nutzen›
Die Systeme sind spröde: Sie sind exzellent innerhalb ihres Regelwerks und
vollkommen hilflos einen Schritt daneben. Wissen aus Expertenköpfen in Regeln zu
überführen („knowledge acquisition bottleneck“) erweist sich als der teuerste Teil
des Projekts — und er hört nie auf.
Warum es zähltDie Lehre, die den nächsten Aufschwung
ermöglicht: Regeln von Hand schreiben skaliert nicht. Regeln aus Daten lernen schon.
Ab hier gewinnt Machine Learning.
1997Nebenbei: LSTM›
Sepp Hochreiter und Jürgen Schmidhuber lösen mit dem LSTM das Problem, dass Netze
über lange Sequenzen hinweg „vergessen“. Es wird zwei Jahrzehnte lang die Grundlage
für Spracherkennung und maschinelle Übersetzung — bis 2017 der Transformer kommt.
Warum es zähltWieder das Muster: veröffentlicht 1997,
flächendeckend wirksam ab etwa 2015.
Mai 1997
Deep Blue — Rohe Gewalt, sehr gut organisiert
Der erste Moment, in dem eine Maschine öffentlich sichtbar einen Menschen in dessen
Paradedisziplin schlägt. Und ausgerechnet dieser Sieg enthält kein maschinelles
Lernen.
19973½ : 2½ gegen Garri Kasparow›
Ein Jahr zuvor hatte Kasparow dieselbe Maschine noch 4:2 geschlagen. Die
überarbeitete Version bewertet rund 200 Millionen Stellungen pro Sekunde auf
Spezialchips. Ihre Schachkenntnis stammt aber komplett von Menschen: Großmeister
Joel Benjamin half, die Bewertungsfunktion zu justieren — Figurenwert,
Königssicherheit, Bauernstruktur, alles von Hand gewichtet.
Kasparow verlor die entscheidende Partie nach einem frühen Fehler in einer bekannten
Eröffnungsvariante. Legendär wurde ein für ihn unerklärlicher Zug der Maschine, den
er für Zeichen überlegener Tiefe hielt — Entwickler erklärten ihn später mit einem
Fehlerfall, der zu einem Zufallszug führte.
Warum es zähltDeep Blue ist die Krönung des alten Paradigmas:
Der Mensch liefert das Wissen, die Maschine liefert die Geschwindigkeit. Übertragbar
war davon: nichts. Deep Blue konnte ausschließlich Schach.
Station 3 / 5
Die kombinatorische Explosion — zum Anfassen
Jeder Zug öffnet neue Antwortzüge. Klick dich Ebene für Ebene tiefer und schau zu,
wie die Zahlen davonlaufen. Genau das meinte Lighthill 1973.
Halbzüge vorausgerechnet
1
Stellungen auf dieser Ebene
35
Deep Blue braucht dafür
0,2 Mikrosekunden
2006 — 2015
Deep Learning: Als drei Dinge gleichzeitig da waren
Die Verfahren waren alt — LeCuns faltendes Netz las 1989 bereits Postleitzahlen im
Produktivbetrieb, siehe oben. Neu waren: sehr viele beschriftete Daten, Grafikkarten
als billige Rechenknechte — und ein paar handwerkliche Tricks, die tiefe Netze
überhaupt erst zuverlässig trainierbar machten. Diese Jahreszahlen datieren
die Verbreitung, nicht die Erfindung.
2009ImageNet — jemand baut den Datensatz›
Fei-Fei Li lässt über Amazon Mechanical Turk Millionen Bilder von Menschen
beschriften — rund 14 Millionen Bilder in gut 20.000 Kategorien. Die Fachwelt hält
das für eine Fleißarbeit ohne Erkenntniswert.
Warum es zähltOhne ImageNet kein AlexNet. Die unromantische
Wahrheit der KI-Geschichte: Sehr oft ist der Datensatz der Durchbruch, nicht der
Algorithmus.
2012AlexNet — der Knall›
Alex Krizhevsky, Ilya Sutskever und Geoffrey Hinton gewinnen den ImageNet-Wettbewerb
mit einem tiefen Faltungsnetz, trainiert auf zwei handelsüblichen Gaming-Grafikkarten.
Die Fehlerquote fällt von 26 % auf 15 %. Der Abstand zum zweiten Platz ist so groß,
dass innerhalb eines Jahres praktisch das gesamte Feld die Methode wechselt.
Warum es zähltDer Bruch mit dem Feature Engineering: Vorher
überlegten Menschen, welche Bildmerkmale wichtig sind (Kanten, Ecken, Texturen).
Ab jetzt findet das Netz die Merkmale selbst — und findet bessere.
Die Zahlen dahinterDer Wettbewerb nutzte nicht die
ganze Datenbank, sondern 1000 der gut 20.000 Kategorien: 1.281.167
Trainingsbilder und 100.000 Testbilder, deren Labels nie veröffentlicht
wurden — man reichte Vorhersagen ein und bekam eine Zahl zurück. Die 15 %
sind der Top-5-Fehler: Das Netz gibt fünf Vorschläge ab, und bei rund
15.300 Bildern war die richtige Kategorie unter keinem davon. Mit nur
einem Versuch lag AlexNet bei 37,5 %.
2014GANs: Zwei Netze, die sich gegenseitig hochschaukeln›
Ian Goodfellow stellt Netze gegeneinander: Eines erzeugt Fälschungen, das andere
versucht sie zu entlarven. Beide werden dabei besser. Die ersten fotorealistischen
Gesichter erfundener Menschen entstehen so.
Warum es zähltDer Beginn der generativen KI im Bildbereich —
und der Punkt, ab dem „Foto“ aufhört, ein Beweis zu sein. Heute dominieren
Diffusionsmodelle, die Idee des Trainings gegen einen Gegenspieler ist geblieben.
2010 — 2017
DeepMind und AlphaGo — Intuition wird trainierbar
Go galt als das Spiel, bei dem Computer noch Jahrzehnte brauchen würden. Es gibt mehr
legale Go-Stellungen als Atome im beobachtbaren Universum — Durchrechnen ist prinzipiell
ausgeschlossen. Die Firma, die es trotzdem löste, hatte sich genau darauf vorbereitet.
2010Eine Londoner Firma mit einem ungewöhnlichen Plan›
Demis Hassabis, Shane Legg und Mustafa Suleyman gründen DeepMind. Hassabis’
Lebenslauf ist selbst schon eine Antwort auf die Frage, wie man an KI herangeht:
Schachmeister mit dreizehn, mit siebzehn Mitentwickler des Computerspiels
Theme Park, danach Promotion in kognitiver Neurowissenschaft über
Gedächtnis und Vorstellungskraft.
Das erklärte Ziel war nie ein einzelnes Produkt, sondern „Intelligenz lösen und
damit alles andere lösen“. Als Trainingsumgebung wählte man Spiele — weil sie
klare Regeln, unbegrenzt viele Durchläufe und eine eindeutige Erfolgsmessung
liefern. 2014 kauft Google die Firma für einen Betrag in der Größenordnung von
einer halben Milliarde Dollar; Teil der Vereinbarung ist ein Ethikgremium und
der Ausschluss militärischer Nutzung.
Warum es zähltEin Labor, das ausdrücklich Grundlagenforschung
betreibt, in einem Konzern. Ohne diese Konstruktion gäbe es weder AlphaGo noch
AlphaFold — beides Projekte, die sich nicht mit einer Quartalsplanung
rechtfertigen lassen.
2013–15Erst Atari: ein Programm lernt 49 Spiele aus dem Bildschirmbild›
Vor Go kommt DQN — ein Netz, das klassische Atari-Spiele allein aus den Pixeln des
Bildschirms und dem Punktestand lernt. Kein Regelwissen, keine
spielspezifische Programmierung: derselbe Algorithmus, dieselben
Einstellungen für alle 49 Spiele. In etwa der Hälfte erreicht es
menschliches Niveau oder besser. Die Arbeit erscheint 2015 in Nature.
Berühmt wurde die Beobachtung bei Breakout: Nach einigen hundert Partien
entdeckt das System von selbst, dass es sich lohnt, einen Tunnel an den Rand zu
graben und den Ball hinter der Mauer einzusperren — eine Strategie, die niemand
einprogrammiert hatte.
Warum es zähltHier wird zum ersten Mal sichtbar, was
Reinforcement Learning mit tiefen Netzen leistet: keine Lösung für ein Problem,
sondern ein Verfahren, das sich viele Probleme selbst erschließt. Genau dieser
Baukasten wird auf Go angesetzt.
Okt 2015Der Sieg, den ein halbes Jahr niemand erfuhr›
AlphaGo schlägt den amtierenden Europameister Fan Hui 5:0 — der erste Sieg eines
Programms gegen einen Go-Profi auf dem vollen 19×19-Brett ohne Vorgabesteine.
Das Ergebnis bleibt bis zur Veröffentlichung in Nature im Januar 2016
unter Verschluss. Die Fachwelt hatte solche Fortschritte erst für das nächste
Jahrzehnt erwartet.
Warum es zähltDer Zeitpunkt der Ankündigung war strategisch:
Zwischen Paper und dem Match gegen Lee Sedol lagen nur acht Wochen — zu wenig,
um sich vorzubereiten.
März 20164 : 1 gegen Lee Sedol — Zug 37 und Zug 78›
Fünf Partien in Seoul, eine Million Dollar Preisgeld, geschätzt zweihundert
Millionen Zuschauer weltweit. Lee Sedol, seit einem Jahrzehnt einer der besten
Spieler der Welt, hatte vorab mit 5:0 oder 4:1 für sich gerechnet.
Zug 37, Partie zwei: AlphaGo setzt eine Schulterberührung auf der fünften
Linie — einen Zug, den nach damaliger Lehre kein Profi spielt. Die Kommentatoren
halten ihn zuerst für einen Fehler, Lee verlässt sichtlich irritiert den Raum.
Der Zug entscheidet die Partie. Die vom System selbst geschätzte
Wahrscheinlichkeit, dass ein Mensch ihn gespielt hätte: etwa eins zu zehntausend.
Zug 78, Partie vier: Lee antwortet mit einem Keil zwischen die weißen
Steine, der in Korea seither „der göttliche Zug“ heißt. AlphaGos Bewertung bricht
danach zusammen, es spielt mehrere schwache Züge und verliert. Es bleibt die
einzige Partie, die ein Mensch in offizieller Wertung gegen diese
Programmlinie gewinnt.
Warum es zähltNicht der Sieg ist die Nachricht, sondern
Zug 37: Das System hat nicht menschliches Spiel perfektioniert, es hat etwas
gefunden, das Menschen in 2.500 Jahren übersehen hatten. Und Zug 78 zeigt die
Kehrseite — verlässt man den Bereich, für den trainiert wurde, kann die
Einschätzung schlagartig unbrauchbar werden. Beides gilt für heutige Modelle
unverändert.
2017Ke Jie, dann AlphaGo Zero — und der Mensch fällt weg›
Im Mai 2017 schlägt AlphaGo den damaligen Weltranglistenersten Ke Jie im
chinesischen Wuzhen 3:0 und wird anschließend aus dem Wettkampf genommen.
Im Oktober folgt AlphaGo Zero: kein menschliches Spielmaterial mehr, nur
die Regeln und Partien gegen sich selbst. Nach drei Tagen schlägt es die
Lee-Sedol-Version 100:0. Zwei Monate später verallgemeinert AlphaZero
dasselbe Verfahren auf Schach und Shogi und spielt nach wenigen Stunden
Selbstspiel auf einem Niveau, das die jahrzehntelang optimierten
Spezialprogramme übertrifft. 2019 kommt MuZero dazu — es lernt sogar
ohne die Regeln zu kennen.
Warum es zähltDie menschlichen Trainingsdaten waren nicht
nur verzichtbar, sie waren ein Nachteil: Ohne sie wurde das System besser. Das
ist die unbequemste Erkenntnis dieser Geschichte — und die Gegenthese zu allem,
was danach mit Sprachmodellen passiert ist, die ausschließlich von menschlichem
Material leben.
2019Lee Sedol hört auf›
Lee Sedol beendet seine Profilaufbahn und nennt die KI als Grund: Selbst wer
Nummer eins werde, stehe nun einer Instanz gegenüber, die nicht zu schlagen sei.
Im Go selbst ist das Ergebnis ambivalenter, als diese Geste vermuten lässt: Die
Eröffnungstheorie wurde binnen weniger Jahre umgeschrieben, lange verpönte Züge
sind rehabilitiert, und Profis trainieren heute selbstverständlich mit
KI-Analyse. Das Spiel ist nicht gestorben, es hat sich verändert.
Warum es zähltDie ehrlichste verfügbare Fallstudie dafür,
was passiert, wenn eine Maschine ein Feld übernimmt: nicht Verschwinden, sondern
Verschiebung dessen, worin die menschliche Leistung besteht.
Was AlphaGo anders macht als Deep Blue
Beide durchsuchen einen Zugbaum. Der Unterschied liegt darin, wer
entscheidet, welche Äste überhaupt betrachtet werden — und woher die Bewertung kommt.
Deep Blue brauchte Breite, AlphaGo brauchte Urteil. Das Policy-Netz
wirft von 250 möglichen Zügen die meisten weg, bevor gerechnet wird; das Value-Netz
ersetzt die Bewertungsfunktion, die im Go niemand aufschreiben konnte. Die Suche
selbst — Monte Carlo Tree Search — spielt die verbliebenen Äste stichprobenartig zu
Ende, statt sie vollständig aufzuklappen.
2020 — 2021
AlphaFold — als das Spielzeug die Wissenschaft erreicht
Der Moment, in dem KI aufhört, Spiele zu gewinnen, und anfängt, ein 50 Jahre offenes
naturwissenschaftliches Problem zu lösen.
2020Das Faltungsproblem, gelöst bei CASP14›
Proteine sind Ketten aus Aminosäuren, die sich in eine dreidimensionale Form falten —
und nur diese Form bestimmt ihre Funktion. Die Kette kennt man leicht, die Form nur
über aufwendige Kristallografie: oft Jahre Laborarbeit pro Protein.
Bei CASP14, dem alle zwei Jahre stattfindenden Blindtest der Fachwelt, erreicht
DeepMinds AlphaFold 2 eine Genauigkeit, die mit experimenteller Messung
vergleichbar ist. Die Organisatoren erklären das Kernproblem im Wesentlichen für
gelöst. 2021 wird der Code offengelegt, danach entsteht eine Datenbank mit über
200 Millionen vorhergesagten Strukturen — praktisch alle bekannten Proteine.
Warum es zähltDrei Dinge machen das bemerkenswert: (1) Es ist derselbe
Werkzeugkasten wie bei den Sprachmodellen — Aufmerksamkeitsmechanismen, nur auf
Aminosäuren statt Wörter. (2) Der Nutzen ist sofort greifbar: Medikamentenforschung,
Enzymdesign, Malaria-Impfstoffe. (3) 2024 gab es dafür den Chemie-Nobelpreis
(Hassabis, Jumper) — im selben Jahr, in dem der Physik-Nobelpreis an Hopfield und
Hinton für die Grundlagen neuronaler Netze ging.
2017 — heute
Transformer und die Sprachmodelle
Eine Architektur aus dem Jahr 2017, ein Trainingsziel aus der Grundschule und sehr,
sehr viel Rechenleistung.
2017„Attention Is All You Need“›
Acht Google-Forscher stellen den Transformer vor. Bisherige Sprachmodelle lasen Text
Wort für Wort in Reihe — schlecht parallelisierbar und vergesslich. Der Transformer
sieht den ganzen Abschnitt auf einmal und lernt für jedes Wort, auf welche
anderen Wörter es achten muss (Attention). In „Der Anwalt gab dem Mandanten
seine Akte, weil er sie brauchte“ lernt das Modell, worauf sich „er“ bezieht.
Warum es zähltDer entscheidende Nebeneffekt: Das Ganze läuft
massiv parallel auf GPUs. Damit wird das Training auf Internet-Maßstab erstmals
bezahlbar. Das T in GPT steht für Transformer — und AlphaFold nutzt dieselbe Idee.
2020GPT-3 und die Skalierungsgesetze›
175 Milliarden Parameter. Die eigentliche Entdeckung ist aber nicht die Größe,
sondern ihre Vorhersagbarkeit: Modellgröße, Datenmenge und Rechenaufwand hängen mit
der Qualität über erstaunlich glatte Kurven zusammen. Man kann vor dem Training
ausrechnen, wie gut das Ergebnis wird.
Dazu kommt ein unerwartetes Verhalten: Aufgaben, für die niemand trainiert hat —
Übersetzen, Zusammenfassen, Code — funktionieren ab einer gewissen Größe plötzlich,
allein aufgrund weniger Beispiele im Prompt.
Warum es zähltAb hier ist KI-Fortschritt zum Teil eine
Investitionsentscheidung: mehr Rechenzeit rein, bessere Modelle raus. Das erklärt die
Milliardensummen — und die Rechenzentrumsdebatte.
2022ChatGPT: nicht neue Technik, neue Verpackung›
Am 30. November 2022 veröffentlicht OpenAI ChatGPT. Das zugrundeliegende Modell ist
Monate alt. Neu ist zweierlei: ein Chatfenster, das jeder bedienen kann, und
RLHF — Menschen bewerten Antworten, das Modell wird darauf trainiert, die
bevorzugten zu treffen. Aus einem Textvervollständiger wird ein Assistent, der
Anweisungen befolgt.
Warum es zähltRund 100 Millionen Nutzer in zwei Monaten. Die
Lehre daraus: Der Unterschied zwischen „interessantes Modell“ und „alle reden
darüber“ war nicht die Modellqualität, sondern die Bedienoberfläche.
2023 →Multimodal, Reasoning, Agenten›
Seither drei Entwicklungslinien: multimodal — ein Modell verarbeitet Text,
Bild, Audio und Video gemeinsam. Reasoning — Modelle, die vor der Antwort
erst intern eine Gedankenkette produzieren; Rechenzeit wird von der Trainings- in
die Antwortphase verschoben. Agenten — Modelle bekommen Werkzeuge (Suche,
Datenbank, Terminal) und arbeiten mehrstufige Aufgaben selbstständig ab.
Warum es zähltDie dritte Linie ist die, die unsere Arbeit
direkt betrifft: nicht „das Modell schreibt Text“, sondern „das Modell bedient
Systeme“ — und das ist die Linie, an der die Technik den Arbeitsalltag erreicht.
Station 4 / 5
Was ein Sprachmodell wirklich tut
Es sagt das nächste Textstück voraus. Immer nur das nächste. Alles andere —
Übersetzen, Zusammenfassen, Programmieren — fällt aus dieser einen Fähigkeit ab.
Klick auf ein Wort, um es zu übernehmen.
1,00
Hinweis: vorberechnete Beispielwerte zur Veranschaulichung, hier läuft kein echtes Modell.
Ein reales Modell verteilt die Wahrscheinlichkeit über rund 100.000 mögliche Textstücke —
hier siehst du jeweils die besten fünf.
Unter der Haube: Wie ein LLM heute gebaut ist
Vier Bilder, dann ist der Aufbau eines Modells wie Claude erklärt — und danach der ehrliche
Teil: welche Angaben dazu öffentlich sind und welche nicht.
Attention: worauf ein Wort schaut
Klick ein Wort an. Die Bögen zeigen, aus welchen anderen Wörtern es
Information zieht — je dicker, desto stärker. Genau das lernt ein Transformer, und zwar
für jedes Wort gleichzeitig.
Das ist die Auflösung des Bezugs. Damit „er“ richtig verstanden wird, muss
das Modell lernen, dass dieses Wort auf „Mandanten“ zeigt und nicht auf „Anwalt“ — kein
Mensch hat ihm das gesagt, das ergibt sich aus der Vorhersageaufgabe.
Beispielwerte zur Veranschaulichung. Ein echtes Modell
hat dutzende solcher Aufmerksamkeitsköpfe pro Block, die verschiedene Dinge verfolgen.
Drei Bauformen — und warum heute alle dasselbe nehmen
Derselbe Transformer, drei Verdrahtungen. Der Unterschied ist nur, wer
wen sehen darf.
Die mittlere Spalte hat gewonnen. Weil ein Modell, das nur fortsetzt, mit
genug Größe auch alles andere kann: Man schreibt die Klassifikationsaufgabe einfach als Text
hin und lässt sie fortsetzen. Encoder-Decoder lebt weiter, wo Ein- und Ausgabe wirklich
verschiedene Sprachen sind — Übersetzung, oder Aminosäurekette zu Proteinstruktur.
Was in einem einzelnen Block passiert
Zwei Rechenschritte und zwei Abkürzungen. Mehr ist ein Transformer-Block
nicht — er wird nur sehr oft gestapelt.
Die gestrichelten Abkürzungen sind der unscheinbare Trick. Sie lassen den
ursprünglichen Wert unverändert durch, jede Schicht addiert nur eine Korrektur dazu. Ohne
sie ließen sich tiefe Netze gar nicht trainieren — das war 2015 die Erfindung, die Netze
von einem Dutzend auf hunderte Schichten gebracht hat.
Der ganze Weg, einmal durch
Für jedes einzelne Token wird diese Kette komplett durchgerechnet.
Deshalb kostet ein langer Text so viel. Und deshalb ist das Kontextfenster
eine harte Grenze und kein Gedächtnis: Was nicht mehr hineinpasst, existiert für das Modell
im nächsten Durchlauf schlicht nicht.
Wie aus einem Textfortsetzer ein Assistent wird
Die Architektur oben ist nur das Blech. Was ein Modell im Alltag brauchbar macht, entsteht
in vier Phasen. Klick dich durch.
Und was weiß man nun konkret über Claude?
Weniger, als man denkt — und das gilt für praktisch alle Anbieter gleichermaßen. Die Bauform
ist bekannt, die Maße sind es nicht.
Öffentlich bekannt
Bauform: Decoder-only Transformer — dieselbe Familie wie GPT und Gemini
Multimodal: Text und Bilder gehen hinein, Text kommt heraus
Kontextfenster in der Größenordnung von 200.000 Token, bei einzelnen Modellen mehr
Constitutional AI: das Modell überarbeitet eigene Antworten anhand einer schriftlichen Verfassung
Extended Thinking und Werkzeugnutzung, angebunden über den offenen Standard MCP
Modellkarten und Sicherheitseinstufungen werden bei jedem Release veröffentlicht
Nicht öffentlich
Die Parameterzahl. Jede kursierende Zahl ist geschätzt oder erfunden
Anzahl und Breite der Schichten, Zahl der Aufmerksamkeitsköpfe
Zusammensetzung und Umfang der Trainingsdaten
Ob und wo Mixture-of-Experts eingesetzt wird
Rechenkosten und Dauer des Trainings
Praktische Konsequenz: Wenn jemand sagt, Modell X habe Y Milliarden Parameter —
nach der Quelle fragen. Bei den offenen Modellen (Llama, Mistral, Qwen) stimmen solche Zahlen,
bei den geschlossenen sind sie Kaffeesatz.
Ausblick: Wie lange kann eine KI am Stück arbeiten?
Die interessanteste Messgröße der letzten Jahre stammt vom Evaluations-Institut METR, nicht
von einem Anbieter. Sie fragt nach der Dauer statt nach der Klugheit: „wie lange am
Stück“ — und liefert damit die einzige Zahl auf dieser Seite, die nach vorn zeigt.
METRs eigene Definition: der 50-%-Zeithorizont ist die Aufgabenlänge — gemessen daran,
wie lange ein menschlicher Fachmann dafür braucht —, bei der man mit 50 % Zuversicht
vorhersagt, dass das Modell sie schafft. Ein Horizont von einer Stunde heißt also nicht, dass
das Modell eine Stunde rechnet. Gemeint sind Aufgaben, für die ein Profi rund eine Stunde
braucht.
Station 5 / 5
26 Modelle, sieben Jahre, logarithmische Achse
Achtung auf die y-Achse: Jeder Schritt nach oben ist eine Verzehnfachung. Eine gerade
Linie in diesem Bild bedeutet exponentielles Wachstum. Gefüllte Punkte waren zu ihrer
Zeit das jeweils beste gemessene Modell.
jetzt
Verdopplung alle
—
Trendlinie sagt dort
—
Zuletzt gemessen
—
Alle 26 Messpunkte anzeigen
Modell
Veröffentlicht
50 %
80 %
Was die Kurve nicht sagt
Gemessen wird eine sehr bestimmte Sorte Arbeit. METR: „Unsere Aufgabenverteilung
besteht überwiegend aus Software-Engineering-, Machine-Learning- oder
IT-Sicherheitsaufgaben.“ Kein Kundengespräch, keine unklare Anforderung, kein
Hausvokabular, keine Verantwortung.
Über 16 Stunden ist die Messung unzuverlässig — sagt METR selbst, und schließt
solche Punkte aus der Trendrechnung aus. Der jüngste Messpunkt liegt bereits darüber.
Die menschlichen Vergleichszeiten sind teils geschätzt. Von den langen Aufgaben
(8 Stunden und mehr) ist nur bei fünf von 31 die Menschenzeit tatsächlich gemessen. Und
die Vergleichspersonen arbeiten ohne Projektkontext — Fachleute im eigenen Revier sind
schneller.
50 % Trefferquote ist für den Produktivbetrieb wenig. Der Umschalter oben zeigt
es: Bei 80 % fällt der Horizont um rund den Faktor fünf.
Der Trend hängt an der Aufgabenauswahl. Beim Übergang von Version 1.0 auf 1.1
verschoben sich einzelne Modelle um bis zu 55 % — nach oben wie nach unten. Eine Kurve,
deren Messlatte sich ändert, ist kein Naturgesetz.
Nicht alle Modelle sind gemessen (METR nennt Kapazitätsgrenzen), und die
Horizonte unterscheiden sich stark je nach Aufgabengebiet.
Nicht „wann kommt die AGI“. Sondern: Welche unserer Aufgaben dauern weniger als zwei
Stunden, lassen sich klar beschreiben und maschinell überprüfen? Genau die sind heute
schon dran. Alles, was Kontext aus dem Haus, Abstimmung oder Verantwortung braucht, kommt auf
dieser Kurve überhaupt nicht vor. Das ist der größere Teil unserer Arbeit.
Der erste blinde Fleck: die physische Welt
Der Zeithorizont im vorigen Abschnitt misst ausschließlich Aufgaben am Bildschirm. Sobald
etwas angefasst werden muss, gelten andere Regeln — und ausgerechnet dort sind die
Fortschritte am schwersten vorherzusagen.
Moravecs Paradox, 1988
Hans Moravec hat die Beobachtung formuliert, die sich durch diese ganze Geschichte zieht:
Was Menschen schwerfällt, fällt Maschinen leicht — und umgekehrt. Schach auf
Großmeisterniveau: 1997 erledigt. Eine Tasse aus einem unaufgeräumten Regal nehmen, ohne sie
fallen zu lassen: bis heute ein Forschungsthema.
Moravecs Erklärung ist evolutionär: Wahrnehmung und Bewegung sind seit Hunderten von
Millionen Jahren im Training, abstraktes Schließen erst seit wenigen zehntausend. Das
Schwierige wirkt für uns leicht, weil es unbewusst und ausgereift abläuft.
Warum der Sprung so groß ist
Es ist nicht nur „schwerer“. Es ist eine andere Art von Aufgabe.
Der Unterschied ist der geschlossene Kreis. Ein Sprachmodell gibt Text
aus; stimmt er nicht, liest ihn ein Mensch und fragt neu. Ein Roboter verändert mit jeder
Handlung die Welt, die er im nächsten Schritt wahrnimmt — Fehler summieren sich statt
stehenzubleiben, und es gibt kein Zurücknehmen. Dazu kommt der Datenunterschied: Text war
schon da, Bewegungsdaten müssen erst erzeugt werden.
Was sich seit etwa 2022 verändert hat
Ansatz
Ein Modell für viele Roboter
Statt für jeden Greifer ein eigenes Programm: Vision-Language-Action-Modelle. Sie
bekommen ein Kamerabild und einen Auftrag in normaler Sprache und geben direkt
Gelenkbefehle aus — dieselbe Bauform wie ein Sprachmodell, nur mit Motorbefehlen
statt Wörtern als Ausgabe.
Googles RT-1 und RT-2 haben das ab 2022 gezeigt: Weltwissen aus dem
Web landet in Roboterhandlungen.
Daten
Gemeinsame Datensätze
Das Nadelöhr ist nicht die Rechenleistung, sondern das Material. Beim Projekt
Open X-Embodiment haben über dreißig Labore ihre Aufzeichnungen
zusammengelegt — Daten von mehr als zwanzig Robotertypen, weit über eine Million
aufgezeichneter Handlungen.
Der bewusste Nachbau dessen, was ImageNet 2009 für die Bilderkennung war.
Umweg
Üben in der Simulation
Weil echte Bewegungsdaten teuer sind, wird zunehmend in physikalischen Simulationen
trainiert und das Gelernte auf die echte Maschine übertragen. Dazu kommen
Weltmodelle: Systeme, die vorhersagen, wie eine Szene weitergeht — Übungsgelände
ohne Hardware.
Der Haken heißt Sim-to-Real-Lücke: Simulierte Physik ist nie ganz die echte.
Geld
Humanoide als Wette
Eine Reihe gut finanzierter Unternehmen baut menschenähnliche Roboter — die Idee
dahinter: Wenn eine Maschine die Form eines Menschen hat, passt sie in eine Welt, die
für Menschen gebaut ist, und kann von menschlichen Vorführungen lernen.
Ob die Menschenform der richtige Weg ist, ist offen und wird
in der Fachwelt kontrovers diskutiert.
Wie man Ankündigungen in diesem Feld liest
Vorführung ist nicht Serienbetrieb. Ein Video zeigt einen gelungenen Durchlauf.
Die interessante Zahl ist die Erfolgsquote über hundert Versuche in einer Umgebung, die
vorher nicht eingerichtet wurde.
Ferngesteuert oder autonom? Manche eindrucksvolle Aufnahme entsteht mit einem
Menschen an der Fernsteuerung — was legitim ist, weil daraus Trainingsdaten werden,
aber etwas anderes bedeutet.
Geschwindigkeit zählt. Viele Vorführungen laufen deutlich beschleunigt.
Und die Gegenprobe: Bei Deep Blue, AlphaGo und AlphaFold ließ sich
der Erfolg an einer Zahl festmachen — Partie gewonnen, Struktur getroffen. Für „räumt
eine Küche auf“ gibt es diese Zahl noch nicht. Das ist kein Detail, sondern der Grund,
warum sich der Fortschritt hier so schlecht messen lässt.
Der zweite blinde Fleck: die halbe Landkarte
Diese Zeitleiste erzählt bis hierher eine angelsächsische Geschichte — Dartmouth, Bell Labs,
London, San Francisco. Das war bis etwa 2023 halbwegs vollständig. Heute ist es das nicht mehr.
Der Moment, an dem das breit auffiel, war der 27. Januar 2025. Das chinesische Labor
DeepSeek hatte kurz zuvor ein frei herunterladbares Modell veröffentlicht, das mit den
besten geschlossenen Modellen mithielt — und dessen Trainingskosten mit einer Zahl angegeben
wurden, die um eine Größenordnung unter dem lag, was man erwartet hatte. Die
US-Technologiebörsen reagierten mit dem größten Tagesverlust, den ein einzelnes Unternehmen
dort je erlebt hat.
Die genannte Summe bezog sich nur auf den finalen Trainingslauf, nicht auf Forschung,
Personal und Vorversuche — der Vergleich war also unfair. Das Ergebnis blieb trotzdem
bestehen: Der Abstand war deutlich kleiner als angenommen, und das Modell lag offen.
Ursache
Knappheit erzeugt Effizienz
Seit 2022 dürfen die schnellsten KI-Chips nicht mehr nach China exportiert werden.
Die Antwort der dortigen Labore war nicht Aufgeben, sondern ein Forschungsschwerpunkt
auf Sparsamkeit: bessere Architekturen, gemischte Expertenmodelle, bei denen pro Anfrage
nur ein Bruchteil der Parameter rechnet, aggressive Quantisierung.
Ein Teil dieser Techniken wird inzwischen weltweit übernommen.
Strategie
Offene Gewichte als Hebel
Auffällig ist, wie veröffentlicht wird: Viele chinesische Spitzenmodelle sind
frei herunterladbar, teils unter sehr freizügigen Lizenzen. Wer die Modelle stellt, auf
denen andere aufbauen, setzt die Standards — unabhängig davon, wer das beste
geschlossene Modell hat.
Ein erheblicher Teil der weltweit angepassten offenen Modelle
baut inzwischen auf chinesischen Grundmodellen auf.
Robotik
Wo beide Themen zusammenlaufen
China installiert seit Jahren etwa so viele Industrieroboter wie der gesamte Rest der
Welt zusammen und hat eine dichte Zulieferkette für Motoren, Getriebe und Sensorik. Für
Physical AI ist das die entscheidende Ausgangslage — hier zählt nicht nur das Modell,
sondern wer die Hardware in Stückzahlen bauen kann.
Humanoide aus chinesischer Produktion liegen preislich weit unter
westlichen Vergleichsmodellen.
Forschung
Nicht mehr nur Menge
Bei der Zahl der KI-Veröffentlichungen liegt China seit Jahren vorn; das galt lange als
Mengeneffekt. Inzwischen ist der Vorsprung auch bei den viel zitierten Arbeiten
sichtbar — und die einschlägigen Konferenzbeiträge stammen zu einem großen Teil aus
chinesischen Instituten.
Staatliches Ziel seit 2017: bis 2030 weltweit führend zu sein.
Wo hier Vorsicht angebracht ist
Zahlen sind schwer zu prüfen. Trainingskosten, Chipbestände und Nutzerzahlen
lassen sich von außen kaum verifizieren — in keine Richtung. Sowohl Untertreibung als
auch Übertreibung haben hier ihre Interessenten.
Ranglisten sind nicht das Geschäft. Ein Modell, das in Vergleichstests vorn
liegt, sagt wenig darüber, was zuverlässig im Betrieb läuft — das gilt für alle Anbieter.
Datenschutz und Rechtslage sind bei der Auswahl eines Anbieters die härtere
Frage als das Ranking. Wer offene Gewichte selbst betreibt, hat eine andere Situation
als wer eine fremde Schnittstelle anruft.
Und der Rest der Welt ist auch da: Frankreich, Kanada, Israel, die
Vereinigten Arabischen Emirate und Japan haben eigene, teils offene Modelle. Die
Zweiteilung USA-gegen-China ist selbst schon eine Vereinfachung.
Dieser Abschnitt beschreibt die Lage bis Anfang 2026 und ist der Teil dieser Seite, der am
schnellsten veraltet — ein Abgleich mit dem aktuellen Stand lohnt sich.
Vier Systeme, vier Paradigmen
Die vier Schlüsselsysteme nebeneinander — der Unterschied liegt jedes Mal darin,
woher das Wissen kommt.
System
Jahr
Woher kommt das Wissen?
Was war neu
Übertragbar auf anderes?
Deep Blue
1997
Von Menschen einprogrammiert: Bewertungsfunktion, Eröffnungsbuch
Spezialhardware, 200 Mio. Stellungen/Sek.
Nein — konnte nur Schach
AlphaGo
2016
Erst aus menschlichen Partien, dann aus Spielen gegen sich selbst
Teilweise — AlphaZero lernte auch Schach und Shogi
AlphaFold
2020
Aus 170.000 experimentell bestimmten Proteinstrukturen
Erstes gelöstes Grundlagenproblem der Naturwissenschaft
Die Methode ja, das Modell nein
LLM
2020 →
Aus Text im Internet-Maßstab, ohne menschliche Beschriftung
Eine Aufgabe (nächstes Wort) erzeugt hunderte Fähigkeiten
Ja — das ist der eigentliche Bruch
Vier Sätze zum Mitnehmen
01 · Muster
Die Ideen sind alt, die Bedingungen sind neu
Kleinste Quadrate 1805, Neuron 1943, Backpropagation 1986, Transformer 2017. Was sich
geändert hat, sind Daten und Rechenleistung — nicht die Mathematik. Das relativiert Prognosen in beide Richtungen.
02 · Muster
Die Torpfosten wandern
Schach galt als Inbegriff des Denkens — bis eine Maschine es konnte, dann war es „nur
Rechnen“. Larry Tesler: KI sei alles, was noch nicht funktioniert. Rechne damit, dass
die heutigen Fähigkeiten in fünf Jahren als selbstverständlich gelten.
03 · Muster
Zwei Winter kamen nach Übertreibung, nicht nach Scheitern
Beide Male funktionierte die Technik durchaus — nur nicht so, wie versprochen. Wer heute
Erwartungen setzt, entscheidet mit darüber, ob es einen dritten Winter gibt.
04 · Muster
Die Karte ist größer als der Ausschnitt
Was gemessen wird — Aufgaben am Bildschirm, in englischer Sprache, aus einer Handvoll
Labore — ist nicht das ganze Feld. Die physische Welt und ein Gutteil der Weltkarte
kommen in den meisten Kurven schlicht nicht vor. Wer nur den Ausschnitt sieht,
überschätzt und unterschätzt gleichzeitig.
Spickzettel
Zum Nachschlagen, wenn eine der Vokabeln fehlt.
Begriff
Seit
In einem Satz
Künstliche Intelligenz
1956
Oberbegriff für alles, was Maschinen Aufgaben lösen lässt, die man beim Menschen „intelligent“ nennen würde.
Machine Learning
1959
Teilgebiet der KI: Regeln werden aus Beispielen gelernt statt programmiert.
Neuronales Netz
1943
Rechenmodell aus Schichten einfacher Schalter mit einstellbaren Gewichten.
Deep Learning
1989 · 2012
Neuronale Netze mit vielen Schichten; die relevanten Merkmale werden mitgelernt. Lief bei LeCun 1989 schon im Produktivbetrieb — durchgesetzt hat es sich erst 2012 mit ImageNet und Grafikkarten.
Backpropagation
1986
Verfahren, um den Fehler rückwärts durchs Netz zu verteilen — der Trainingsmotor.
Transformer
2017
Architektur, die für jedes Wort lernt, auf welche anderen Wörter es achten muss.
Token
—
Kleinste Verarbeitungseinheit eines Sprachmodells; oft ein Wortteil, nicht ein Wort.
Parameter
—
Die einstellbaren Zahlen im Netz — die Stellschrauben, die beim Training justiert werden.
LLM
2018
Großes Sprachmodell: Transformer, trainiert auf Vorhersage des nächsten Tokens.
RLHF
2022
Nachtraining anhand menschlicher Präferenzen — macht aus dem Textvervollständiger einen Assistenten.