KI-Benchmarks: Prof. Alex Smola über ihren blinden Fleck
Prof. Dr. Alexander Smola ist einer der am häufigsten zitierten Machine-Learning-Forscher der Welt und Gründer von Boson AI. Im Interview mit Leonard Schmedding erklärt er, warum gängige KI-Benchmarks oft die falsche Sache messen. Sein Team zeigte: Ein halbes Dutzend Tests genügt, um fast jedes Modell zu bewerten.
KI-Benchmarks messen oft die falsche Sache
Ein Beispiel macht das Problem greifbar. Jemand erwähnt seiner KI beiläufig, er lade abends noch Ausrüstung für eine Ausstellung ins Auto. Das eine Modell antwortet nur mit klingt nach einem soliden Plan. Das andere Modell denkt mit.
Es liefert ungefragt eine Packliste. Es rät sogar, das Auto in umgekehrter Aufbau-Reihenfolge zu beladen. So kommt vor Ort alles in der richtigen Reihenfolge heraus. Eine Praktikantin in Toronto baute daraus ein ganzes Forschungsprojekt.
Das Team zeigte Menschen beide Antwort-Typen. Die Nutzer bevorzugten klar die proaktiven Modelle. Danach testete Boson AI Frontier-Modelle wie ChatGPT, Claude, Qwen und DeepSeek. ChatGPT schnitt bei dieser Proaktivität am besten ab. Modelle mit aktivem Chat-System lagen vorn.
Die spannende Erkenntnis: Die Modelle können das längst. Nur fragt die Fähigkeit kaum jemand ab. Genau hier versagen die üblichen KI-Benchmarks.
Warum ein halbes Dutzend KI-Benchmarks reicht
Smolas Team stieß auf ein zweites Muster. Die Leistung über verschiedene Benchmarks korreliert stark. Ein Modell, das einen Coding-Test meistert, meistert meist auch die anderen vier. Bei Mathematik gilt dasselbe.
Boson AI hatte irgendwann Dutzende Benchmarks im Einsatz. Jeder Test kostet Rechenzeit und Geld. Also stellte das Team die Kernfrage. Wie viele Tests braucht es tatsächlich?
Die Antwort ist mathematisch klar. Rund ein halbes Dutzend unabhängiger Benchmarks fängt fast die gesamte Information ein. Die Proaktivität war so wertvoll, weil sie eine neue, unabhängige Facette misst. Ähnliche Muster sehen wir in unserem KI-Tool-Stack 2026, sobald Modelle für den Praxiseinsatz vergleichbar werden.
Das Pokémon-Theorem: Faire KI bleibt Illusion
Ein zweites Ergebnis taufte Smola das Pokémon-Theorem. Der Name spielt auf den Spruch gotta catch em all an. Die Frage dahinter ist ernst. Kann eine KI alle Fairness-Kriterien gleichzeitig erfüllen?
Die Antwort lautet nein. Smola bewies das mathematisch. Es gilt für einfache Kriterien und für Representation Learning. Perfekte Fairness ist also unmöglich.
Entstanden ist der Beweis als Vater-Sohn-Projekt. Sein Sohn studiert an der University of Washington und vertiefte die Idee. Das Theorem erklärt, warum die Fairness-Debatte nie endet. Kein System erreicht das perfekte Ziel.
Vom Physiker zum Erfinder des Parameter-Servers
Smola wollte einst theoretischer Physiker werden. Er studierte Physik in München. Doch die nötigen Energie-Skalen erschienen ihm unerreichbar. Also wechselte er 1995 an die AT&T Bell Labs.
Dort leitete Yann LeCun die Abteilung. Sein Betreuer war Vladimir Vapnik, der Erfinder der Support Vector Machines. Seinen Doktor machte Smola 1998 in Berlin bei Bernhard Schölkopf. Gemeinsam schrieben sie 2002 das Standardwerk Learning with Kernels.
Kernel-Methoden und Deep Learning trennt vor allem eine Idee. Neuronale Netze lernen ihre Darstellungen selbst. Diese Einbettungen stecken bis heute in jeder Vektorsuche und in jedem RAG-System. 2010 erfand Smola bei Yahoo den Parameter-Server. Die Technik verteilte riesige Modelle auf über 1000 Rechner und steckt heute in NVIDIA-Hardware.
Später baute er als Vice President bei Amazon die KI-Sparte von AWS mit auf. Sein Lehrbuch Dive into Deep Learning stellte er komplett offen ins Netz. Über 175 Universitäten lehren damit heute.
Voice AI und Digital Humans bei Boson AI
2023 gründete Smola Boson AI. Der Fokus liegt auf Voice AI. Der Grund ist wirtschaftlich. Ein Frontier-Modell kostet schnell 50 bis 100 Millionen und lebt nur 6 bis 12 Monate.
Bei Sprache rechnet sich der Aufwand eher. Boson baute erst auf Llama, dann auf Qwen. Ihr offenes Modell Higgs Audio spricht knapp 100 Sprachen. Die Gewichte liegen frei auf Hugging Face.
Das Ziel ist ein echter digitaler Mensch. Er braucht Stimme, Avatar und ein Gehirn zum Denken. Menschen erwarten Antworten in 100 bis 200 Millisekunden. Zweistufige Systeme aus Spracherkennung, Sprachmodell und Sprachausgabe sind dafür oft zu langsam.
Boson kombiniert daher schnelle Interaktion mit einem tieferen Denk-System im Hintergrund. Wie Unternehmen solche Stimmen einsetzen, zeigen wir im Voice-Agent-Report.
Second Mover Advantage: Was das für Unternehmen heißt
KI verschiebt den Vorteil vom ersten zum zweiten Anbieter. Entwickler ziehen Ideen aus Publikationen und setzen sie schnell neu um. Ein Beispiel liefert der offene Code von Claude Code. Teams portierten ihn in 48 Stunden von TypeScript nach Python und Rust.
Coding-Agenten entwickelten sich am schnellsten. Der Grund ist der kurze Feedback-Loop. Code läuft in Sekunden, ein Gespräch dauert Minuten. Für Digital Humans dauert der Fortschritt deshalb länger.
Für Unternehmen sieht Smola große Chancen und Risiken. Callcenter gewinnen an Qualität, doch Jobs geraten unter Druck. Deutschland bremst sich mit langsamen Entscheidungen und hohen Energiekosten selbst aus. Sein Leitsatz bleibt: Perfektion ist der Feind des Guten.
Fazit: KI-Benchmarks als Kompass, nicht als Ziel
KI-Benchmarks bleiben nützlich, doch sie messen nur einen Ausschnitt. Wer Modelle im Unternehmen bewertet, sollte auf Proaktivität und echten Nutzen achten. Smola zeigt, dass Substanz mehr zählt als der letzte Prozentpunkt. Für Boson AI ist der digitale Mensch der nächste große Schritt.
Häufige Fragen
Was ist das Problem mit KI-Benchmarks?
KI-Benchmarks messen meist eng definierte Aufgaben wie Mathematik oder Coding. Sie erfassen aber nicht, ob ein Modell die eigentliche Absicht des Nutzers versteht. Prof. Dr. Alexander Smola zeigt das am Beispiel proaktiver Antworten. Menschen bevorzugen Modelle, die mitdenken und ungefragt hilfreiche Zusatzinfos liefern. Genau diese Fähigkeit taucht in klassischen KI-Benchmarks nicht auf, obwohl die Modelle sie längst besitzen.
Was ist das Pokémon-Theorem in der KI?
Das Pokémon-Theorem stammt von Alexander Smola und seinem Sohn. Es beweist mathematisch, dass eine KI nicht alle Fairness-Kriterien gleichzeitig erfüllen kann. Der Name spielt darauf an, alle Kriterien fangen zu wollen. Das Theorem gilt für einfache Kennzahlen und für Representation Learning. Es erklärt, warum die Debatte über faire KI nie zu einem perfekten Ergebnis kommt.
Was macht Boson AI?
Boson AI ist ein 2023 gegründetes Startup von Alexander Smola mit Fokus auf Voice AI. Das Unternehmen baut Systeme, die sprechen, hören und verstehen. Ihr offenes Modell Higgs Audio spricht knapp 100 Sprachen und liegt frei auf Hugging Face. Das langfristige Ziel ist ein digitaler Mensch aus Stimme, Avatar und einem Gehirn zum Denken. Erste Kunden testen das System bereits.
Was ist der Unterschied zwischen zweistufiger und Speech-to-Speech Voice AI?
Zweistufige Systeme koppeln Spracherkennung, Sprachmodell und Sprachausgabe hintereinander. Sie sind modular und leicht zu verstehen, addieren aber bei jedem Schritt Latenz. Speech-to-Speech-Modelle wandeln Sprache direkt in Sprache und antworten schneller. Menschen erwarten Reaktionen in 100 bis 200 Millisekunden. Boson AI kombiniert beide Ansätze, um Tempo und tiefes Denken zu verbinden.
Was bedeutet der Second Mover Advantage in der KI?
Der Second Mover Advantage beschreibt, dass Nachahmer heute schneller aufholen. KI-Werkzeuge ziehen Ideen aus Publikationen und setzen sie rasch neu um. Alexander Smola nennt den offenen Code von Claude Code als Beispiel. Entwickler portierten ihn in 48 Stunden nach Python und Rust. Wer eine gute Idee sieht, kann sie fast überall sofort integrieren.
.webp)
.png)
%20(1).png)
.png)
