Die in diesem Text verlinkten ZEIT-Texte sind 14 Tage frei zugänglich (dann laufen die Freebie-Links ab). Also besser gleich lesen. :)
In den vergangenen Monaten habe ich mich intensiv mit den Limitationen von großen Sprachmodellen beschäftigt. Genauer gesagt: mit jener Form von KI, die auf sogenannten Transformer-Modellen basiert. Ich hole deshalb ein wenig aus, weil viele Menschen mit "künstlicher Intelligenz" genau das meinen und sich nicht bewusst sind, dass es viele andere Ansätze gibt. Der Hype rund um ChatGPT und andere Chatbots hat zu einer seltsamen Verengung des Begriffs KI geführt - der, ja, natürlich nicht wohl definiert und viel zu breit ist. Die aktuelle Verengung ist aber auch nicht dienlich.
Denn dank des Marketings der großen Tech-Firmen (die gar nicht anders können, als den Hype zu befeuern, denn ihre Existenz hängt davon ab) denken viele Menschen zudem, dass aus diesen Modellen etwas Größeres erwachsen könnte, oder gar schon ist. Eine Form echter Intelligenz, eine allgemeine Intelligenz, Artificial General Intelligence AGI. Und je nachdem, ob man eher zum Kulturpessimismus oder zum Tech-Optimismus neigt, führt diese AGI eher zum Weltuntergang oder zur Lösung aller Probleme.
Nichts von all dem wird kommen. Denn was die Tech-Firmen mit dem Hype und den Ablenkungsdiskussionen um die angebliche Gefahr ihrer Modelle erstaunlich erfolgreich schaffen, ist, den Eindruck zu erwecken, dass sie hier etwas Großes und Mächtiges geschaffen haben. Etwas, das künftig tatsächlich das Potenzial haben soll, intelligenter als Menschen zu werden. Etwas, das Menschen die Arbeit wegnehmen, sie ersetzen oder sie womöglich künftig als Sklaven halten könnte.
(Kurzer Seitenhieb: Auch die Medien spielen hier eine wichtige Rolle, die sie bisweilen nicht mit dem nötigen Verantwortungsbewusstsein ausfüllen, wie zum Beispiel der medial verstärkte und völlig irreführende Hype um die Plattform RentHuman zeigt. Die Plattform ist - wie ich zeigen konnte - nichts als Fake und Scam und verfolgt ihre eigenen Interessen. Es ist schon unser Job, genau so etwas aufzudecken und nicht die Geschichten unseriöser Gründer nachzuplappern, weil der Weltuntergang so schön klickt.)
Natürlich kann ich auch nicht hellsehen, aber all meine Recherchen der vergangenen Monate sowie einige Experimente meinerseits sprechen dagegen, dass wir uns auf dem Weg in die künstliche Superintelligenz befinden.
So haben KI-Agenten zuletzt immer wieder großes Chaos angerichtet - weil sie eben gerade nicht intelligent sind, und weil sie kein Verständnis für Kontext und größere Zusammenhänge haben. Besonders eindrucksvoll zeigten das einige Forscher:innen aus verschiedenen Bereichen, über deren Experimente ich berichtet habe: "Agents of Chaos" zeigt, wie schnell KI-Agenten ganze E-Mail-Server löschen, Daten preisgeben oder unautorisiert E-Mails verfassen und versenden. Das lässt sich auch durch geschicktes Prompting nicht zuverlässig verhindern.
Immer wieder wird über die Leute gelacht oder geschimpft, denen Missgeschicke mit KI passieren - wie ein zerstörter Server, verlorene Daten oder gelöschte Emails. Das ist aus zweierlei Gründen falsch: erstens sieht man am Beispiel von Summer Yue, Sicherheitschefin bei Meta im Bereich "Superintelligence", dass es selbst Menschen passiert, die sich beruflich mit den Gefahren von KI beschäftigen. Und zweitens sind die richtigen Adressaten für Kritik und Häme natürlich die Anbieter. Denn diese werben damit, dass dank KI-Agenten jetzt alle programmieren können - auch wenn sie keine Ahnung haben, was sie tun. Damit sind sie verantwortlich für die aktuellen IT-Vorfälle. Wie gefährlich diese falschen Versprechen sind, das zeigt meine aktuellste Recherche: Wir haben gezielt nach Webseiten gesucht, die auf Vibecoding basieren - also auf KI-generiertem Code. Fast jede zweite leakte sensible Daten ins Netz.
Aber auch wie die Betroffenen reagierten, spricht Bände: Erstens waren viele überhaupt nicht erreichbar. Eine Hamburger Brunchrestaurant-Kette zum Beispiel leakte Lebensläufe und Bewerbungsschreiben von Schüler:innen und Student:innen, die sich für Aushilfsjob bewarben. "Leaken", das klingt so abstrakt, aber das heißt: diese Lebensläufe und Schreiben standen offen im Netz! Jeder konnte sie lesen. Die Kette reagierte weder auf E-Mails, noch schloss sie die Lücke. War die Kontakt-Email womöglich auch KI-halluziniert? Ich habe das schließlich an die Hamburger Datenschutzbehörde übergeben und hoffe, dass diese einen Weg findet, das Unternehmen zu erreichen (vielleicht auf einen Kaffee vorbeigehen?)
Viele anderen waren zweitens völlig ratlos, was zu tun sei. Darunter die FOM-Hochschule, die mir zwar sehr selbstbewusst schrieb, dass ihr Datenschutz natürlich ein zentrales Anliegen sei - nur leider waren die Namen und Kontaktdaten der paar hundert Studierenden weiterhin ungeschützt online. So ging es vielen anderen, nicht zuletzt einem US-amerikanischen Anbieter für IT-Sicherheitsschulungen, der private Kontaktdaten von FBI-Mitarbeitern leakte und es auch nach vielen Versuchen nicht schaffte, die Lücke zu schließen - und auch Supabase, jenem "Backend-as-a-service"-Anbieter, dessen unsichere Default-Einstellungen die Grundlage der ganzen Misere waren, brauchte mehrere Anläufe. Das zeigt den Teufelskreis, in den Vibe-Coding führt: Nicht nur wissen Unbedarfte nicht, welche Sicherheitsprobleme ihre Agenten verursachen, denn sie können es nicht überprüfen. Sondern sie können Lücken auch nicht schließen beziehungsweise auch nicht selbst finden - ebenfalls weil sie nicht wissen, was überhaupt das Problem ist.
Vor diesem Hintergrund kommt es mir fast schon absurd vor, wie erfolgreich Anthropic mit seinem aktuellen Marketing-Stunt ist, sein neuestes Modell als "zu gefährlich für die Öffentlichkeit" einzustufen, weil es angeblich so gut darin ist, Sicherheitslücken zu finden. Manche sagen, das sei das Ende der IT-Sicherheit. Angesichts dessen, dass KI-Systeme gerade in großem Stil für unsichere Systeme erstellen, würde ich sagen: das ist schon lange passiert. Wieso ich darüberhinaus denke, dass Mythos eher Marketing ist, könnt ihr hier lesen.
Immer wieder höre ich als Kritik, dass nicht die KI-Agenten das Problem seien, sondern die "dummen User." Der dumme User muss in der IT-Sicherheit immer herhalten, wenn sich Verantwortliche aus ihrer Verantwortung herausreden wollen. Ähnlich lautet die Kritik am "Agents of Chaos"-Experiment, dass Open Claw verwendet worden sei anstatt einer "sicheren" Lösung oder hochwertigeren Agenten. Aber genau das war das Ziel: Agenten so zu nutzen, wie es die Mehrheit der Menschen tun - also ein realistisches Bild der Gefahren für die Gesellschaft zu zeichnen.
Dazu kommt, dass es inzwischen auch zahlreiche Geschichten über ähnliche Probleme gibt, die highend-Lösungen zum Beispiel Claude von Anthropic verursacht haben. Denn die Probleme liegen in der Natur der Modelle - sie werden nie ein echtes "Verständnis" von Kontexten und Zusammenhängen erreichen.
Und DAS ist ein Thema, das mich schon viel länger beschäftigt als die Sicherheitsprobleme, die KI gerade in großem Stil verursacht: Nämlich die Frage, was solche Modelle generativer KI überhaupt "lernen" können aus den digitalen Dokumenten der Menschheit: Schließlich werden sie trainiert auf der Basis quasi des ganzen Internets. Also massenhaft Sprachdaten plus (inzwischen) Bilder und Videos. Sie haben aber keinerlei haptische Erfahrung, sie lernen generell nur sehr begrenzt aus eigener Erfahrung oder eigenen Experimenten.
Aber das Problem geht noch tiefer.
Die Wissenschaft und insbesondere die Philosophie streitet und diskutiert seit Ewigkeiten, ob sich auf dieser Basis (zumindest theoretisch) ein echtes Verständnis für die Welt entwickeln lässt. Ob die statistische Auswertung von Sprache überhaupt zu einem Weltmodell führen kann und in der Konsequenz dazu, Kontexte und Zusammenhang richtig einzuschätzen. Yann LeCun - bis vor kurzem KI-Chefwissenschaftler bei Meta - glaubt zum Beispiel nicht mehr dran: er hat gekündigt und will nun mit seinem Startup in Paris eine neue Architektur entwickeln für KI-Modelle (über seinen Ansatz habe ich kürzlich neben weiteren Beispielen recherchiert für einen Artikel für Spektrum der Wissenschaft (Paywall) über einen neuen Trend im maschinellen Lernen: Nämlich die Idee, KI mit einem Körper zu versehen, damit sie lernen kann, "wie ein Mensch": Gar nicht neu, aber plötzlich wieder in.)
Ich mag mich täuschen, aber mein Eindruck ist, dass die Skepsis an den Versprechungen der großen KI-Anbieter langsam wächst und sich Fachleute zunehmend fragen, ob mit generativer KI und Sprachmodellen ein Plateau erreicht ist.
Über diese ganz große Diskussion, was kann man lernen allein aus Text/Sprachdaten und was kann sich daraus maximal entwickeln (Bewusstsein? Empfindungsfähigkeit? oder wenigstens Verständnis?), dazu habe ich einen neuen Vortrag: "The World According to Words". Da hinein sind alle meine Recherchen zu dem Thema geflossen aus den vergangenen Jahren: Experimente, Erlebnisse und Interviews unter anderem mit dem US-Philosophen David Chalmers, mit Expertinnen für maschinelles Lernen wie Melanie Mitchell (Cornell) und Ulrike Luxburg (Tübingen) oder der MIT-Hirnforscherin Anna Ivanova und vielen vielen mehr. Es geht um Fragen wie: Was zählt eigentlich als Verstehen, und wie gelangen wir Menschen dorthin? Imitieren Sprachmodelle lediglich Weltwissen - und machen wir Menschen das eigentlich anders? Wenn man genauer hinschaut (und Fachleute zum Beispiel aus der Hirnforschung und den Kognitionswissenschaften fragt), erkennt man, dass zumindest Zweifel daran bestehen. Denn auch wir stützen uns auf Heuristiken und unvollständige Repräsentationen.
Mir hat die Arbeit am Vortrag enorm viel Spaß gemacht, denn diese Themen konfrontieren uns mit so vielen Fragen über uns Menschen. Sie stellen gängige Intuitionen sowohl über Maschinen als auch über Menschen in Frage. Ich würde fast behaupten: Das ist das Wertvollste, das uns der KI-Hype bisher gebracht hat: dass wir darüber nachzudenken, was es überhaupt bedeutet, die Welt zu „kennen“.
Ich habe den Vortrag erstmals im Rahmen einer interdisziplinären Konferenz der Computerlinguistik, Psychologie und Theaterwissenschaften im April in Dresden gehalten und eine etwas kürzere Version auf dem AI&Marketing Kongress in Zürich. Bisher gibt es keine Aufzeichnung, aber falls ihr neugierig geworden seid und eine Idee habt, wo so ein Vortrag noch gut passen könnte: gebt gerne Bescheid!
Und ansonsten habe ich neben den verlinkten Lesetipps hier noch zwei Hörtipps:
In unserem Podcast "They Talk Tech", den ich gemeinsam mit Svea Eckert hoste, erzähle ich immer wieder von meinen aktuellen Recherchen - aktuell natürlich sehr viel KI. Zuletzt zum Beispiel über Anthropic's Mythos und meine eigenen Experimente mit KI-Agenten. In der Folge am 6.5. spreche ich über unsere aktuelle Recherche zu Sicherheitslücken, die durch Vibe-Coding entstehen.
Und ganz aktuell war ich zu Gast im Plusminus-Podcast der ARD zur Frage, was KI-Agenten verändern werden, wo sie gut sind und wo sie scheitern und wie das wohl alles weitergeht.
Außerdem freue ich mich natürlich sehr, wenn ich den einen oder die andere im echten Leben treffen kann! Dafür gibt es in nächster Zeit einige wunderbare Gelegenheiten. Meldet euch, falls ihr auch da seid:
7.5.26 Stuttgart: Moderation im Rahmen der Next Frontiers Konferenz an der Uni
16.5.26 Tübingen: Tage der Digitalen Freiheit, Vortrag "Privacy by Lying"
18.-19.5.26 Berlin: re:publica, Vortrag zusammen mit Svea Eckert "Talk mit Elon - Wie wir uns in Cyberkriminelle Netzwerke eingeschlichen und kreative Gegenangriffe entwickelt haben"
20.5.26 Berlin: VDAV Kongress, Keynote: Who controls visibility? Wieso die Debatte um digitale Souveränität das Thema verfehlt.
21.5.26 Stuttgart: Women of Tech, Panel "All beyond the broligarchy"
12./13.6.26 Hamburg: Netzwerk Recherche Konferenz; Vortrag/Workshop "Jailbreaking for good" plus Tipps, wie man KI und KI-Agenten sinnvoll für die Recherche nutzen kann
22.6.26 Berlin: University Future Festival; They Talk Tech Live Podcast mit Katharina Scheiter, Professorin für Lehr-Lernforschung an der Universität Potsdam
3.7.26 Zürich: Summerschool der Digital Society Initiative der Uni Zürich, Vortrag zu Storytelling