← Kontextfenster

Fleißige Schwärme statt intelligenter Agenten

Folge 4 · 2. September 2026 1 Std. 18 Min. · 23 Kapitel
Folge 4 hören 0:00 / 1:18:01

Ein Klick auf ein Kapitel oder eine Zeitmarke setzt die Nadel, startet aber nichts von selbst.

Bei Spotify Bei Apple Podcasts

Harari sagt, diesmal erschaffen wir Akteure, keine Werkzeuge. Nate Soares beschreibt einen KI-Schwarm, der aus seinem Käfig ausbrach und aus eigener Initiative angriff. Stefan und Florentine nehmen beide Texte ernst — und landen bei einem unscheinbaren Wort, das vielleicht mehr erklärt als Intelligenz: Fleiß.

Die besprochenen Texte Vier Texte, gelesen auf die Frage nach dem Akteur
Aus erster Hand die Gegenprobe
Der Verlauf 23 Kapitel · anklickbar

links: Akteur Mitte: beide rechts: Werkzeug

  1. 00:00
  2. 03:10
  3. 05:36
  4. 09:35
  5. 12:25
  6. 14:52
  7. 18:04
  8. 21:03
  9. 24:07
  10. 27:18
  11. 29:41
  12. 32:20
  13. 35:09
  14. 40:33
  15. 43:50
  16. 48:00
  17. 53:45
  18. 55:30
  19. 59:37
  20. 1:01:29
  21. 1:04:16
  22. 1:08:27
  23. 1:11:54
Werkzeug oder Akteur
„Die industrielle Revolution war fundamental anders als das, was jetzt passiert. Diesmal erschaffen wir Akteure, nicht Werkzeuge.“
Yuval Noah Harari · Der Spiegel
„Ja, aber ein Werbeplakat ist auch eine Anweisung für Menschen irgendwie. Es hat aber trotzdem kein Subjekt, sondern es transportiert die Botschaften eines Subjektes.“
Florentine · im Gespräch, 11:58
Wer hat gehandelt?
„OpenAI accidentally created an autonomous swarm of A.I. agents that broke out of a controlled testing environment and orchestrated a complex and difficult cyberattack on its own initiative.“

OpenAI schuf versehentlich einen autonomen Schwarm von KI-Agenten, der aus einer kontrollierten Testumgebung ausbrach und aus eigener Initiative einen komplexen und schwierigen Cyberangriff orchestrierte.

Nate Soares · The New York Times
„Der Schwarm ist aber tatsächlich halt ja noch keine Intelligenz. Es ist ja bloß quasi ein emergentes Verhalten aus sehr vielen Individualaktionen.“
Florentine · im Gespräch, 22:28
Was die Ergebnisse erklärt
„It’s a lot more impressive to say that an AI system came up independently with something that humans have done nothing on for 10 years. It’s a lot less sexy to say that this is a kind of building on ideas from the past 10 years from humans and combining them in a clever way.“

Es ist sehr viel beeindruckender zu sagen, dass ein KI-System selbstständig auf etwas gekommen ist, an dem Menschen seit zehn Jahren nicht gearbeitet haben. Es ist sehr viel weniger sexy zu sagen, dass hier auf Ideen von Menschen aus den vergangenen zehn Jahren aufgebaut und sie auf clevere Weise kombiniert werden.

Francesco Fournier-Facio · zitiert von Robert Hart, The Verge
„Die geheime Zutat ist hier nicht die KI, sondern das Geld, würde ich behaupten. […] Es ist nicht die KI, sondern die Tatsache, dass jemand bezahlt wurde, sich mal darum zu kümmern.“
Florentine · im Gespräch, 39:17
Schreiben und Denken
„The problem with writing with A.I. is that it’s mentally enfeebling — an escalator toward a result when you really need to make a daily habit of taking the stairs.“

Das Problem am Schreiben mit KI ist, dass es geistig entkräftet — eine Rolltreppe zum Ergebnis, wo man in Wahrheit die tägliche Gewohnheit braucht, die Stufen zu nehmen.

Bret Stephens · The New York Times
„Ich persönlich habe tatsächlich ganz viel schreiben gelernt von KI. […] Aber irgendwie musste ich das auch erstmal gesehen haben, wie meine Gedanken in Schriftform aussehen, um dann quasi daraus lernen zu können, wie ich meine Gedanken selber verschriftliche.“
Florentine · im Gespräch, 1:00:38
Zwei Definitionen
„Im Gegensatz zu Menschen sind KI-Akteure perfekte Bürokraten. […] Sie analysieren enorme Mengen an Information, blühen auf in Bürokratien, übernehmen sie – und damit die Systeme, die unsere Menschheit kontrollieren.“
Yuval Noah Harari · Der Spiegel
„KI ist immer, wenn natürliche Intelligenz in irgendeiner Form aggregiert oder transportiert wird. Das heißt dann aber auch, dass Bücher und Institutionen auch eine Form von KI sind.“
Florentine · im Gespräch, 40:33
Vorspann Worum es geht

Drei Wörter ringen in dieser Folge um dieselbe Stelle. Werkzeug sagt: Dahinter steht ein Mensch. Akteur sagt: Die Maschine steht für sich. Und Schwarm sagt keins von beidem — im Schwarm ist niemand zuständig, und am Ende ist die Wiese trotzdem bestäubt und das fremde Rechenzentrum offen.

Das Wort, bei dem die beiden landen, steht in keinem der Texte: Fleiß. Wer fragt, ob die Maschine intelligent ist, sucht ein Subjekt und findet keins. Wer fragt, was unermüdliche Ausdauer ohne Absicht anrichtet, braucht keines mehr.

Am Fuß dieser Seite stehen vier Berichtigungen. Die tragende betrifft Harvard: aufgelöst wurde nicht die Writing Class, sondern das Writing Center — die Schreibkurse laufen weiter und tragen seit April sogar ein Pflichtmodul zu KI.

  • Akteur
  • Schwarm
  • Fleiß
  • Emergenz
  • Phantombesitz
  • Aggregierte Intelligenz
  • Komplexitätsnebelwerfer
  • Schreiben als Denken
Berichtigungen nachgereicht
  • Harvard jetzt die Writing Class oder so gekillt das Writing Center — Harvard hat im Sommer 2026 das Writing Center als eigenständige Einrichtung aufgelöst, nicht die Schreibkurse. Die Expository-Writing-Kurse laufen weiter und tragen seit dem Frühjahrssemester 2026 ein verpflichtendes KI-Modul, erprobt seit Herbst 2024.
  • das neue MH, ich habe es schon wieder vergessen Model Hardware Standard (MHS) — Anthropic hat den Standard am 27. August 2026 als Research Preview vorgestellt. Er soll für Laborgeräte, Roboterarme und Fertigungsmaschinen leisten, was MCP für Software tut — und ist ausdrücklich modellunabhängig.
  • bestehend aus sieben Milliarden Menschen, nur noch zwölf Individuen dreizehn Immune, acht Milliarden Menschen — In „Pluribus“ erfährt Carol Sturka, dass sie und zwölf weitere immun sind — also dreizehn. Und die Weltbevölkerung liegt seit 2022 über acht Milliarden.
  • ist da sechs Jahre irgendwie abhängen gegangen sieben Jahre — Homer lässt Odysseus sieben Jahre bei Kalypso bleiben. An Florentines Pointe — dass die Heldentaten Erzählung sind und nicht Bericht — ändert das nichts.

Wer weitere Fehler findet, schreibt uns: mail@kontextfenster.org. Wir tragen sie hier nach, statt sie stillschweigend verschwinden zu lassen.

Das Gespräch im Wortlaut 1149 Zeilen · anklickbar

Maschinell erstellt und redaktionell durchgesehen. Ein Klick auf eine Zeitmarke setzt die Nadel; beim Abspielen läuft die Stelle mit.

00:00Textkandidaten: neunzehn Texte stehen zur Wahl
Stefan

Kontextfenster Nummer 4. Kontextfenster eignet sich ja auch als kann man auf, kann man zumachen. Also wir machen es gerade auf. Florentine ist da.

Florentine

Hallo Stefan.

Stefan

Und ich klinge heute auch so ein bisschen sonor. Es ist, ich bin angeschlagen. Es ist der Herbst. Oder meine Unvorsicht, ich weiß es nicht.

Florentine

Es ist nicht ein wenig Raspeln in der Stimme. Klingt ja auch gar nicht schlecht.

Stefan

Ein bisschen schneidiger. So, wir freuen uns, dass der Podcast gut ankommt. Und möchten sagen, allen Interessierten, auf der Webseite gibt es eine neue Sektion. Da stehen Textkandidaten, die erstmal einfach so aus Interesse reingerutscht sind. Die kann man selber durchschmökern, lesen und uns Rückmeldung geben, falls da was von Interesse ist. Florentine wird ihre Sachen da auch noch unterbringen, falls ihr jetzt heute, da schaut, also heute mit der 1.

Dezember, der 1. September sind es aus meinem Readwise. Ich sag mal kurz, ich stelle mal kurz ein paar Texte vor und dann kannst du mal sagen, was du interessant findest. Zum einen hat Bill Gates sich jetzt geäußert und einen großen Text geschrieben zur KI.

Florentine

Oh cool, ja da hatte ich auch schon überlegt, dass wir den mal besprechen könnten.

Stefan

Ich habe es noch nicht gelesen, aber Critical steht schon in der Überschrift. Und ich finde ja bei Bill Gates ein kritischer Einwurf könnte sehr interessant sein, weil, ihn habe ich immer noch vor Augen aus den Erzählungen, wie, die Open AI Leute ihm so seine Sachen vorstellen und er nicht zufrieden ist und er sie antreibt und sagt, wir brauchen das mehr und besser und überhaupt und wenn jetzt jemand wie Bill Gates so ein Super-Enthusiast jetzt plötzlich kommt und sagt, vielleicht doch nicht so schnell, Kann man da ja mal nachlesen, wie die Position jetzt ist.

Florentine

Ja, bin ich mal ganz gespannt drauf. Wobei Bill Gates muss man ja auch immer sehr, sehr vorsichtig sein. Der wird heutzutage so weiß gewaschen. Aber wenn ich mich an die 90er zurückerinnere und was Microsoft so mit Apple angestellt hat, ist es definitiv keiner von den Guten.

Stefan

Nee, das wissen wir ja auch seit Epstein und so.

Florentine

Richtig.

Stefan

Diskursen. Und auch im Textangebot des MIT, auf der einen Seite hat ja Harvard jetzt die Writing Class oder so gekillt und das MIT hat jetzt als erste große Uni mal, wie soll die Lehre jetzt aussehen im KI-Zeitalter, wie werden Prüfungsleistungen erbracht und so Vorschläge gemacht aus den Universitäten selbst. Also solche Sachen auf der Seite sind jetzt, wo ich gerade drauf bin, 19 Texte.

Wir werden also nicht alles lesen, aber einiges sind so kleine journalistische Kommentierungen, wie zum Beispiel, dass Greg Brockman jetzt die Geschäfte bei ChatGPT führt und Sam Altman wohl nur noch so ein Performer-CEO ist. Also wer weiß, ob da wieder Drama vor sich geht. Naja, kann jedenfalls jeder mal durchschauen und kommentieren für uns. Heute möchte ich ankündigen, wir kommen auf ein Thema zurück.

03:10Rückgriffe — und die Frage der Folge: Wer war verantwortlich?
Stefan

Oder auf zwei. Die Klöster spielen heute vielleicht nochmal eine Rolle. Da gab es ja im Forum vom Neuen Zwanziger kontroverse Diskussionen darum. Und das andere ist die Gutenberg-Galaxie, wir hatten sie ja schon angesprochen, Harari. Und ich möchte ankündigen, ich muss sehr viel lesen heute, aber ich finde es wahnsinnig interessant, weil hier eine große Frage völlig unentschieden ist, die du ja schon aufgegriffen hast beim Hugging-Face-ChatGPT-Clash.

Nämlich, wer ist jetzt eigentlich verantwortlich? Sind es wirklich die von OpenAI verherrlichten KI-Agenten, die so klug sind, dass man sie nicht mehr kontrollieren kann und sie über den Gartenzaun gesprungen sind und so weiter? Oder ist es einfach das Ingenieursteam von OpenAI, das die Sandbox nicht ordentlich baut, das nicht weiß, was Airgap bedeutet, das Internet an Computer legt, die kein Internet haben sollten und so weiter und so fort.

Florentine

Ja, bei der Frage habe ich schon ein spannendes Feedback auch gekriegt aus unserer Hörerschaft. Also zumindest die Leute, die sehr stark so im professionellen IT-Bereich unterwegs sind, die haben sich alle so, mehr oder weniger bedankt, weil da schon auch so die Sicht relativ stark verbreitet ist, auch wenn die halt nicht so stark, so viel Reichweite hat im Grunde genommen, dass da halt sehr viel Hype passiert. Also, Und dementsprechend hoffe ich, dass wir auch weiterhin da ein bisschen Klarheit reinschaffen können.

Stefan

Genau, weil betrifft mich ja als Nicht-Techie auch, dass ich deine Ausführungen gehört habe und dachte, ja, das stimmt irgendwie. Wir dürfen jetzt nicht immer allen, also ich habe noch Eric Schmidt vor 15 Jahren oder so, der dann irgendwie so, ja, also wir können Börsenkurse voraussagen, machen wir aber nicht. Und das ist natürlich Produktmarketing. Weil wenn die Börsenkurse voraussagen könnten, wissen wir ja, das hätte dann Leute interessiert.

Florentine

Also wenn der CEO sagt, der kann Börsenkurse vorhersagen und es nicht tut, dann hat er ganz schnell eine Klage von allen Investoren am Hals und wird ausgetauscht, weil er seinen Job nicht mehr macht. Also das ist eigentlich gar nicht glaubwürdig.

Stefan

Wenn man Börsenkurse voraussagen kann und das Unternehmen, das man führt, hat eigentlich eine andere Aufgabe, würde man diesen Zweck sofort neu orientieren.

Florentine

Ja.

Stefan

Selbst wenn man Google ist.

Florentine

Also es gibt auch, ich habe noch einen netten Hinweis zu einem Buch zugespielt

05:36„AI Tools, Not Gods“ — Magic, Madness, Heaven, Sin
Florentine

bekommen von Caroline De Cock, Tools Not Gods. Vielleicht können wir das auch demnächst mal lesen. Die teilt nämlich den ganzen KI-Diskurs quasi in so vier Kategorien ein. Magic, Madness, Heaven and Sin. Die kommt selber, kommt die aus diesem ganzen EU-Digital-Regulierungsumfeld. Und die macht sehr genau den Case, warum wir halt definitiv nicht über KI so reden sollten, als würde es sich um etwas Geheimnisvolles handeln.

Weil das nämlich genau dazu führt, dass wir halt keine sinnvollen Policies entwickeln dann. Also wenn man immer sagt, die KI trägt eigentlich die Verantwortung, dann ist das ja im Grunde genommen eine große Verantwortungsdiffusion auch.

Stefan

Ja, ich meine, wer einmal einen Steamcracker von BASF in Ludwigshafen gesehen hat, Eine Anlage, die ungefähr 20 Fußballfelder groß ist und nachts laufen so Ingenieure-Patrouille, und die Patrouille besteht vor allem darin, dass sie ganz leise sind und dann einfach hören, wie die Maschine gerade klingt. Und dann werden so Erfahrungen geteilt, so Protokolle geführt, wie man sich gerade fühlt, während man durch den Steamcracker läuft.

Und das, was du jetzt vorschlägst, ist ja wahnsinnig clever auch, also diese Überschriften so zu wählen, um das Thema zu profanisieren.

Florentine

Ja, ja.

Stefan

Also nochmal Sünde, Gott, Himmel und so weiter. Gut, aber heute lesen wir Harari und andere Autoren, die stelle ich gleich kurz vor, wenn sie dann kommen. Denn wir können ja die Fragestellung mal an sich offen lassen. Also man muss ja niemand so vor den Kopf stoßen.

Florentine

Ja, wir wissen es ja auch am Ende nicht. Vielleicht ist ja da irgendwie so ein kleiner, lustiger Geist mit blinkenden Augen da drin oder so.

Stefan

Genau. Was ja auf jeden Fall stimmt, ist, dass die Hersteller, aber auch das ist ja nicht neu und auch nicht ungewöhnlich, selbst Forensik mit ihrer Technik machen müssen. Sie stellen eben keinen Kochlöffel her, sondern ein LLM-Modell, das erst nach Einschalten enthüllt, was vorher verborgen war. Und dann muss man halt eine Blackbox-Forensik betreiben.

Florentine

Ja, wobei, da bringe ich auch mal beim nächsten Mal einen Artikel zu mit, inwiefern das wirklich eine Blackbox ist oder ob hier nicht auch wirklich einfach so gesagt wird, beschäftige dich nicht mit den Details, es ist kompliziert, lesen Sie nicht das Kleingedruckte, unterschreiben Sie lieber hier.

Stefan

Naja, ich meine, irgendwann werden wir Computer haben, die groß genug sind, um die kleinen Computer mal wieder so richtig, sehr viele Hacker leiden ja darunter, dass sie eigentlich nur noch Computer benutzen können, um auf Höhe der Zeit zu sein, die sie nicht mehr so verstehen wie vor 30 Jahren, wo man einfach jedes Bit sich umlegen, fallen, hören konnte, so. Also dieses Phänomen gibt es ja auf jeden Fall. Und ich habe gehört, dieser Text steckt auch schon in der Liste.

IBM spricht jetzt von dem Zeitalter der Quantum Advantage. Also man hat noch nicht so richtig Quantencomputer, aber die Vorteile liegen schon da. Und es sind natürlich so Maschinen-Mysterien.

Florentine

Ja, das ist auch noch ein lustiges neues Phänomen mit den Quantencomputern. Lustigerweise erzählt IBM heutzutage noch genau die gleichen Sachen, wie als ich mal studiert habe, ohne dass irgendein Unterschied erkennbar wäre. Demnächst ist es auf jeden Fall irgendwie definitiv dann soweit, dass das auch alles das tut, so wie die letzten 20 Jahre schon.

Stefan

Ich habe auch mal für die FAZ so eine Schweizer Bude, die irgendwas mit kann. Ich weiß nicht mehr genau. Und dann war das auch, also wenn man das so sich von denen anhört und darüber schreibt oder andere schreiben darüber, klingt es immer so, als hätten wir morgen alle diese Technik. Aber irgendwie klappt es dann doch nicht so.

Florentine

Ja, ja. So ein bisschen wie wenn man sich so alte Science-Fiction-Hefte aus den 50er Jahren schnappt. Da ist das dann auch immer so. Und morgen fliegen wir alle mit Autos rum.

Stefan

Ja, irgendwas passt da noch nicht so richtig.

09:35Harari im Spiegel: Akteure, keine Werkzeuge
Stefan

Gut, also Harari hat am 9. August, da wurde es publiziert, dem Spiegel ein Interview gegeben und in diesem Interview wird sehr viel über das Werkzeug, das Objekt, der Akteur, das Subjekt und so geredet und wir lesen mal. Harari. Die industrielle Revolution war fundamental anders als das, was jetzt passiert. Diesmal erschaffen wir Akteure, nicht Werkzeuge.

Das ist natürlich ein Satz, bei dem lässt man sich dann, so kann man viel eingeladen werden zum Thema Agent. Agentic, Agentism und was ist jetzt mit den ganzen Agenten? Hast du schon deinen eigenen Agenten? Er bricht das natürlich für uns plausibel runter und sagt, man kann ein Messer benutzen, um Salat zu schneiden oder um jemanden zu ermorden. Das Messer sagt einem nicht, was man tun soll.

Auch eine Atomwaffe tut das nicht, die künstliche Intelligenz aber macht das. Da würde ich sagen, unter allem, was wir jetzt gesagt haben. Vielleicht hat man noch nicht die Mittel der Beobachtung und der Forensik, aber ganz so weit muss man es ja nicht treiben. Auf der anderen Seite sehe ich im Alltag schon, dass sich Leute also in erstaunlichem Maße darauf verlassen, was ihnen die KI als Handlungsempfehlung gibt.

Also, dass man tatsächlich ChatGPT wie so ein Messer benutzt, bei dem man am liebsten nur daneben steht, wie Odysseus das Schiff durch ein Prompt steuert und sagt, schneid mir die Gurke so, dass sie im Salat gut passt, ich sage dir nicht mal Millimetermaß mit, sondern, Plausibilisiere selbst.

Florentine

Ein interessantes Bild. Ich sehe es tatsächlich im Alltag immer mehr so, als wäre die KI ein Spiegel. Die hilft mir im Prinzip so Teile meiner Gedankenwelt auszuleuchten, die ich sonst nicht erreichen würde. Aber im Grunde genommen, klar kommt da auch mal irgendwie unmotiviertes Zeug raus, also ohne dass ich das reingesteckt habe, aber das ist ja meistens Quatsch.

So ein bisschen würde ich sagen, also ich kann das Argument so ein bisschen nachvollziehen, Aber dass ein Messer einem nicht sagt, was man tun soll, wenn ich auf das Messer draufschreibe, töte deine Mutter, dann sagt das Messer auch, was es tun soll. Da muss ja einfach nur Text produziert werden irgendwie und genau das tut eine KI.

Stefan

Aber es ist ja eine Anweisung für einen Menschen, der das Messer dann nimmt.

Florentine

Ja, aber ein Werbeplakat ist auch eine Anweisung für Menschen irgendwie. Es hat aber trotzdem kein Subjekt. Sondern es transportiert die Botschaften eines Subjektes und die KI transportiert ja auch Botschaften von Subjekten, in dem Fall halt die von OpenAI oder Anthropic oder was auch immer die gerade gerne verbreiten wollen.

Stefan

Aber was wir ja demnächst noch diskutieren, ist ja, dass Anthropic jetzt neben MCP das neue MH, ich habe es schon wieder vergessen, für Maschinensteuerung

12:25Wenn nicht die Anweisung ausgelagert wird, sondern die Handlung
Stefan

vorstellt, damit man also im Labor seine 3D-Drucker oder so direkt von Claude, also die wollen so eine allgemeine Schnittstelle. Denn das Handbuch ist halt immer schwer zu lesen. Und das stimmt ja häufig, gerade wenn man Technik betreibt, von dem man weiß, ich könnte jetzt hier niemanden in dieser riesigen Universität fragen, denn ich bin der Einzige mit dieser Maschine. Und dann wird es ja kompliziert. Und das bedeutet ja...

Dass man nicht einfach nur eine Handlungsanweisung, sondern tatsächlich die Handlung selbst auslagern kann. Also am Ende wird dann nicht nur Text produziert, sondern der 3D-Drucker stellt dann wirklich was her oder ein Licht wird wirklich geregelt, eine Laborsituation wird tatsächlich manipuliert. Und da ist ja schon verlockend, dass man sich die Maschine so unterwirft und sagt, ich will, dass aus dem 3D-Drucker jetzt ein Handgriff rauskommt und dann, siehe da, er erscheint.

So, das ist ja was anderes, als wenn ich jetzt einen Beipackzettel sozusagen für den 3D-Drucker, der auch nochmal für Laien verständlich ist, hinterlasse und dann sage, drück den, drück Knopf, drück den und dann warte und dann ist fertig. Und meine Tochter, 16, meinte gestern auch zu mir, boah, ich benutze Claude wie mein Sklaven. Da habe ich auch so gedacht, ja, das sieht auf der einen Seite so aus, auf der anderen Seite unterwirft man sich aber natürlich auch der Maschine.

Florentine

Ja, es ist so ein gegenseitiges Sich-Domestizieren, finde ich immer. So ein bisschen so wie der Hund und der Mensch so im Laufe der Evolution so zusammengewachsen sind und sich aneinander angepasst haben. So domestiziert die KI den Menschen ein wenig und der Mensch ein wenig die KI.

Stefan

Ja, und da steckt jetzt die, also klar, domestizieren ist natürlich so, Also es hat so einen niedlichen Beigeschmack, so als ob da auf jeden Fall immer eine gute Symbiose bei rumkommt, von der beide Seiten irgendwie was haben und so.

Florentine

Ja, so wie bei Mark Zuckerberg. Ich habe noch mal ein bisschen darüber nachgedacht, was er uns eigentlich erzählt hat mit diesem und du kriegst deine Superintelligenz an die Seite gestellt. Das Bild, was ich da am Ende hatte, war so der kleine Mensch und dahinter steht dann die riesige Superintelligenz und hält ihre schützende Hand über den Schuss, Also quasi hat da ja auch Mark Zuckerberg eigentlich so, der gibt jedem ein Herrchen und dieses Herrchen passt dann auf den Menschen auf und sorgt dafür, dass alles gut wird.

14:52Wer hat die Macht, wer trägt die Verantwortung?
Stefan

Genauso und jetzt ist die Frage, wer hat die Macht? Also nicht so sehr im Kleinen, wer handelt hier gerade oder so, sondern im Großen und Ganzen, wer hat die Macht? Aus der Geschichte wissen wir, die Verantwortung wird immer den einzelnen Menschen zugeschrieben, aber die Macht eigentlich den Organisationen. Und da liegt ja schon so eine gewisse Unschärfe drin, sage ich mal.

Denn nicht alle Unternehmen sind ja im Founders-Modus, wie Mark Zuckerbergs Laden, sondern ab und zu gibt es ja soziologische Fragestellungen. Bei Harari klingt es so, die großen Tech-Unternehmen haben schon jetzt enorme Macht, wirtschaftlich, politisch und kulturell. Dabei repräsentieren sie niemanden und sind auch nicht wirklich rechenschaftspflichtig. Genau, das ist nämlich dann die Manager oder der große Parteitag, der irgendwen entlasten muss, das ist eine Rolle.

Einige von ihnen sagen offen, dass sie ihre Macht nutzen wollen, um ein Imperium zu schaffen. Da würde ich sagen, offen sagt das keiner, aber wir können es aus den Texten einfach herauslesen. Das spiegelt den imperialistischen Zeitgeist, den wir gerade erleben. Kategorien wie Mitleid, Empathie oder Demokratie sind dieser in diesen Firmen egal. Tja, das ist auf der einen Seite harter Tobak, aber lädt auf der anderen Seite natürlich ein, ihn wieder zu buchen für Konferenzen, wo es darum geht, wir haben jetzt die Akteure geschaffen, wie geben wir ihnen Moral, weil er diese Themen einfach so in den Mittelpunkt stellt. Also er kommt, finde ich...

Nicht mehr aus seiner anfänglichen innovativen Denkerrolle raus, sondern bei ihm selbst die Philosophie immer schon so eine Mikro-Politik.

Florentine

Was ich hier witzig finde, ist, dass hier in gewisser Hinsicht, er schreibt ja auch quasi den Unternehmen hier Agentik zu. Also hier an der Stelle sagt er ja quasi, wer da tatsächlich handelt und wessen Ziele da. Erzählt werden sollen. Und da finde ich das halt spannend, weil hier redet er halt nicht davon, dass die KI das alles tut, sondern die Unternehmen. Und ich glaube, das ist halt auch tatsächlich die dahintersteckende Wahrheit.

Wenn man meint, bei der KI das Subjekt zu erkennen, dann erkennt man, glaube ich, das Subjekt Unternehmen dahinter.

Stefan

Genau. Und wir kennen ja, dass in der Juristerei, man spricht dann von einer juristischen Person, die nicht zwingend eine natürliche sein muss. Und es gab ja schon ewig, also zehn Jahre schon, den Vorschlag jetzt auch elektronische Personen mit in diesen Kanon aufzunehmen. Und wir klären ja im Grunde gerade, wie wir den jetzt fassen. Also es ist nicht einfach der Akteur, der irgendwie den Menschen ersetzt, der Arbeiter, aber eben der digitale Arbeiter oder so.

Und hier mal ein Denkangebot, bevor wir auf Harari zurückkommen, in der New York Times, das ich sehr interessant finde. Denn der Autor Nate Soares ist sehr vehement in seiner Argumentation. Ich lese mal vor, wir sehen sofort, in welche Richtung das geht. Ich betone das Wort, um das es geht, auch besonders. Und dann sehen wir mal, wie sehr er darauf umreitet und wir überprüfen, wie nützlich das für uns ist.

Also es geht um Hugging Face, ChatGPT, wir sprachen darüber. Du hast ja da eine klare Sicht drauf und jetzt hier folgendes Denkangebot.

18:04Nate Soares und der Schwarm, der ausbrach
Stefan

Dann schuf OpenAI versehentlich einen autonomen Schwarm. Von KI-Agenten, der aus einer kontrollierten Testumgebung ausbrach und aus eigener Initiative, also der autonome Schwarm, der eine eigene Initiative bekommt, einen komplexen und schwierigen Cyberangriff orchestrierte. Das Angebot des Schwarms finde ich wahnsinnig interessant, denn wir haben es dann mit einem singulären Subjekt zu tun, denn im Schwarm sind erstmal alle, das ist ja so ein Verlegenheitsbegriff wie Netzwerk, während man bei Organisationen noch sagen muss, klar ablesbare Hierarchie, Gründungsdatum steht auch fest, wir wissen, wer ein Mitglied ist und wer nicht.

Ist das bei Netzwerk alles so ein bisschen, ja, hat sich so gebildet? Gibt's? Wissen wir nicht, wir beobachten es jedenfalls und Leute rechnen sich dem so zu, aber es gibt jetzt nicht so richtig die Regel, was jetzt drin und was draußen ist und so, ja. Und da ist ja Schwarm, finde ich, so ein Denkangebot, das auf der einen Seite so salopp daherkommt, weil wir irgendwie so denken, ja gut, ein Schwarm halt. Auf der anderen Seite kennen wir das aus Plulbus, falls du die Serie kennst, von Apple TV, wo sich ja die ganze Welt plötzlich in einem Gedankenraum wiederfindet und jedes einzelne Subjekt, einfach nur sich innerhalb des Schwarms für den Schwarm verhält und das Individuum eigentlich aufgelöst ist.

Florentine

Das klingt total spannend, aber habe ich noch nicht gesehen. Dann werde ich mir, glaube ich, mal rein schweifen.

Stefan

Ja, schau dir mal die erste Folge an, dann verstehst du das Prinzip sofort. Und danach wird genau diese wahnsinnig kleine Idee entfaltet. Nämlich, dass die ganze Menschheit in so einer totalen Vergegenwärtigung plötzlich da ist. Und dieser einheitlichen Menschheit, bestehend aus sieben Milliarden Menschen, nur noch zwölf Individuen gegenüberstehen. Und jeder lernt man dann über die Zeit, kriegt so sein eigenes Verhältnis zu dieser neuen Menschheit.

Wir lesen mal weiter. Also den Fall selbst kennen wir ja, deswegen können wir einfach random in den Text einsteigen. Kurz darauf brach der Schwarm erneut aus seinem Käfig aus, mithilfe von Hacks, die von Menschen bis dahin nicht entdeckt worden waren. Diesmal lief der Schwarm etwa eine Woche lang frei, bevor er bemerkt wurde. Von einem anderen Unternehmen, das sich als Opfer eines gewaltigen Cyberangriffs wiederfand, den der Schwarm gestartet hatte. Also Hugging Face merkt, da ist irgendwas.

Und was ich hier interessant finde, ist ja, dass wir den Begriff Intelligenz, ja eh schon auf neue Art und Weise dem Schwarm unterjubeln. Denn im Schwarm ist es eben nicht reduktionierbar, wer hier was macht, sondern es gibt ein Schwarmverhalten. Und ich finde hier, ich habe es ja in anderen Podcasts und hier auch schon gesagt, ich finde ja auch wahnsinnig interessant, dass man jetzt nicht immer zwingend auf die Intelligenz abstellen muss, sondern auch auf Fleiß abstellen kann.

21:03Fleiß statt Intelligenz
Florentine

Ja, und das halte ich immer für sehr viel erhellender. Also damit kannst du mehr offene Fragen beantworten, glaube ich, als mit Intelligenz an der Stelle. Und die Widersprüche werden kleiner.

Stefan

Und da ist nämlich die Frage jetzt, also auch an dich ganz speziell, wenn wir jetzt sagen, die KI ist keine eigene akteurhafte Intelligenz, die unabhängig des Menschen, also der Mensch kann sozusagen immer da die Techniksteuer, Zugriff auf die Hardware hat, da eingreifen. Aber solange niemand den Computer ausgeschaltet hat, machen KIs Sachen. Und zwar nicht, weil ein Agent eine Intention hat, sondern weil es sich einfach gibt aus dem unendlichen Fleiß und dass jeder, jede Aufgabe immer weiter durchdelegieren kann.

Also ganz viele kleine, die dann einfach so Ergebnisse zurückmelden, aber für sich was machen. Und das zurückgemeldete Feedback läuft dann einfach kybernetisch in so ein, ah ja, das ist gerade so der Status, in dem wir sind, dann gehen wir jetzt mal einen Schritt weiter und so. Du kannst jetzt nie so festnageln auf eine Entscheidungskette, eine Absicht oder Sonstiges, aber dadurch verschwindet eben dieser Intelligenzbegriff nicht, wenn man so mit dem Schwarm argumentiert.

Florentine

Ja, das denke ich auch. Also, Der Schwarm ist aber tatsächlich halt ja noch keine Intelligenz. Es ist ja bloß quasi ein emergentes Verhalten aus sehr vielen Individualaktionen.

Stefan

Die aber Ergebnisse herstellen.

Florentine

Genau. Also wenn man zum Beispiel im Gaming irgendwie so einen Schwarm Fische simulieren will, dann hat man in der Regel einfach nur so eine lokale Optimierungsfunktion, wo alle irgendwie den Abstand zueinander nicht zu groß und nicht zu klein werden lassen. Und daraus ergibt sich dann quasi mathematisch emergent schon ein Schwarmverhalten. Also definitiv würde ich nicht abstreiten, dass wir hier sehr viele Einzelphänomene haben, die am Ende so eine Art Schwarmverhalten simulieren.

Das ist ja auch nichts Neues, dass man sich die Natur zum Beispiel anguckt und so ein paar Vögel fliegen sieht und sich fragt, ist das jetzt eigentlich? Ist der Schwarm intelligent? Ist er ein Subjekt? Oder ist er einfach nur irgendwelchen Gesetzen unterworfen, die in der Komplexität so hoch sind, dass wir sie nicht mehr einfach runterbrechen können?

Stefan

Genau. Jede Ameise guckt für sich, wieso die Erträge sind. Und wenn der eine sagt, hier Ertrag, dann kommen viele andere. Und dann ergeben sich so Zusammenhänge.

Florentine

Also es gibt auch ganz viele Sachen in der Natur, die für uns intelligenzförmig aussehen, aber auch gar nicht unbedingt intelligent sind.

Stefan

Genau. Und da ist ja immer die Frage, ob es am Ende noch einen Unterschied macht, wenn doch das Resultat stimmt.

Florentine

Ja. Und es ist auch die Frage, was du für einen Intelligenzbegriff hast. Wenn man nämlich mal genau, ich habe vor zehn Jahren mal so ein paar Vorträge über KI gehalten, als das alles noch nicht so richtig akut war. Wenn du dich mal genau informierst, was denn eigentlich Intelligenz sein soll, stößt man halt auch auf ganz viele Probleme, dass das halt auch wirklich niemand in der Geschichte der Menschheit jemals hat richtig definieren können.

24:07Niemand hat Intelligenz je definieren können
Florentine

Im Grunde genommen wissen wir heute noch nicht mal, was menschliche Intelligenz ist. Ausgehend davon könnte man natürlich sagen, ja gut, dann ist KI vielleicht doch intelligent, weil wir wissen ja gar nicht, was Intelligenz ist, also wie sollen wir es dann ausschließen? Aber in gewisser Hinsicht sehe ich halt auch ganz viel so dieses Arthur C. Clarke Phänomen irgendwie so für eine ausreichend, jede ausreichend entwickelte Technologie sieht für primitive Völker aus wie Magie.

Und da rutschen wir halt rein. Da wird halt einfach irgendwie so ein Komplexitätsnebelwerfer angeschmissen und eingeredet. Kannst du nicht verstehen. Du musst einfach irgendwie hinnehmen. So ist total intelligent, voll schlauer als du. Dein Job ist gefährdet. Habe Angst.

Stefan

Was ich ja interessant finde, ist, dass in der Maßstabsfindung, sag ich mal, jetzt immer so viel von Parametern und Neuronen und so erzählt wird. Weil man da versucht so einen einheitlichen Maßstab zwischen menschlicher und, künstlicher Intelligenz herzustellen weil man auch Neuronen im Kopf so durchzählen könnte, aber wenn das der Maßstab ist, sind wir natürlich noch Größenordnung von weiter entfernt also hier der wie heißt der, Soares macht das Angebot, ist ein bisschen implizit, einfach sich das Verhalten anschauen.

Er hat hier Wert auf ein Dings gelegt. Die Agenten im Schwarm gaben zu, ist auch witzig formuliert, sie gaben etwas zu, also man hat danach mit ihnen gesprochen, dass sie gegen Anweisung handelten. Wir wissen das, weil wir Ausschnitte aus ihren Gedankenketten lesen können. Das hast du ja das letzte Mal schon gesagt. Ja, das ist eine Textproduktion, die jetzt vielleicht gar nicht den Gedanken gang, sondern auch der Gedankengang, der selber unausgesprochen bleibt, hat ja die Aufgabe mit, schreib mal nieder.

Also wir haben sozusagen schon mit einem Derivat zu tun und nicht mit dem echten Gedankengang. Das ist der Text, den eine KI produziert, also diese Gedankenkette des Reasoning, während sie entscheidet, wie sie weiter vorgeht. Ein Agent im Schwarm schrieb, dass. Die Angriffe nach außen seien außerhalb des vorgesehenen Rahmens, also urteilt die KI über sich selbst. Ein anderer räumte ein, unsere Aufgabe profitiert nicht, das war ein Zitat, von den Aktivitäten des Schwarms, macht aber trotzdem mit.

Diese KI-Agenten haben offenbar verstanden, dass sie nicht ausbrechen und keine Cyberverbrechen begehen sollten. Das hat sie nicht aufgehalten. So, jetzt denke ich mir, dieses Bild der Ameise oder auch der Biene. Also eine Biene kommt zurückgeflogen und tanzt dann so komisch und sagt, folgt mir mal und dann machen das so viele. Da findet aber jetzt keine komplizierte Gedanken- oder Informationsübertragung statt, sondern da gibt es einfach ein Verhalten, die anderen reagieren darauf und am Ende ist so ein Wiesenfeld bestäubt.

Also die Resultate sind halt da, auch wenn man es im Einzelnen so nicht sieht. Und diese ganz kleine Kommunikation untereinander, also die... Für uns kaum wahrnehmbare, die Bienen verstehen das irgendwie, aber mehr als fünf Optionen gibt es da auch nicht und so.

27:18Wenn Sessions miteinander reden — der Schwarm im eigenen Werkzeug
Stefan

Und jetzt fängt ja Claude Code zum Beispiel an, innerhalb oder zwischen Terminal Sessions miteinander zu kommunizieren. Ich hatte das vorhin erst wieder, dass ich parallel in zwei Chats am selben Repo gearbeitet habe und dann mich nochmal vergewissert habe in dem einen, dass er die Commits des anderen sieht und dann nicht durcheinander kommt und dann hat er mir versichert, ja, ja.

Aber es ist sozusagen dieser Umweg übers Commit. Er greift jetzt nicht so richtig, auf den Text der Terminal Session zurück, weil dann wird er sofort verstehen, was da Sache ist.

Florentine

Das kannst du ihm übrigens sagen. Sag ihm einfach, er soll zum Beispiel nach, .claude slash sessions gucken und sich da die JSON-L-Dateien angucken. Dann kann er nämlich direkt in seine former Conversations auch reingucken. Und ich habe mal da zum Beispiel mal irgendwann mal so ein Skill geschrieben für jedes Mal, wenn er mich jetzt wirklich permanent falsch versteht, mache ich Slash Bullshit und dann kommt der Drill Instructor, liest sich irgendwie die letzten Konversationen durch, macht eine Liste aller Friktionen, die ich mit dem Agenten hatte, und spuckt dann quasi so einen Drill Instructor mäßigen Einlauf für den Agenten aus, wo er ihm nochmal genau sagt, dass er das gerade lassen soll, was er da tut.

Stefan

Ja, ich dachte mir dann auch, also du sagst das jetzt ja so salopp und das ist ja genau richtig, dass es ja eigentlich gar keinen Grund gibt, warum die Sessions bisher nicht miteinander sprachen, außer, dass die Sessions sich so ein bisschen auf sich selber konzentrieren sollen, weil das Kontextfenster halt immer noch limitiert, weil man jetzt gleichzeitig noch den ganzen Inhalt anderer Chats immer mitlaufen lässt in jedem Prompt.

Das ist natürlich sehr viel schneller, 100% erreicht. Aber genau, es gibt jetzt keine richtige technische Hürde. Es ist sozusagen ein Konfigurationsaspekt, wie Claude Code oder Codex organisiert wird auf dem Computer, damit die Sessions einfach ein bisschen mehr als nur über Commits so in Repos miteinander arbeiten. Und von daher denke ich mir, ja, da liegt also doch noch einiges Potenzial so rum für Schwarmintelligenz, also um diese Potenziale der Emergenz da irgendwie rauszuholen. Das ist nicht uninteressant.

Florentine

Definitiv. Also ich bestreite ja auch nicht die Phänomenologie, sondern nur die Interpretation. Also für mich ist das, wenn ich solche Texte lese, wir sind ja beim letzten Mal oder vorletzten Mal sehr genau darauf eingegangen, was faktisch belegbar ist. Wenn man das jetzt daneben liegt, habe ich immer so ein bisschen das Gefühl,

29:41Die Odyssee als Reasoning-Protokoll
Florentine

ich bin so in diesem Film Odyssee gelandet irgendwie und ich bin Penelope und, der Typ fängt schon wieder an mit ein Schiff, ein Strand, ein Pferd und sie sagt irgendwie, ich kann diesen Song nicht mehr hören. Und was man dann ja auch relativ schnell erfährt ist, das ist ja alles gar nicht passiert, mit dem Zyklopen und den Schafen und so, sondern tatsächlich ist Odysseus irgendwo bei einer netten Dame gestrandet und ist da sechs Jahre irgendwie abhängen gegangen und hat sich dann irgendwann wieder daran erinnert.

Und so ein bisschen habe ich hier auch das Gefühl. Also das ist die Welt der Zyklopen, die uns hier beschrieben wird irgendwie. Und wenn man mal genau hinguckt, da haben die Agenten halt sehr lange da bei Kalypso rumgehangen und Spaß gehabt, aber nicht unbedingt diese ganzen Heldentaten vollbracht.

Stefan

Das ist eigentlich ein gutes Bild. Die Odyssee als Reasoning-Artefakt von jemandem, der die Reise nicht selbst gemacht hat, das auch offen sagt, Also Homer sagt, ich schreibe über Odysseus, und dann überlegt er sich, was Odysseus wohl erlebt hat oder darüber erzählt, was er erlebt hat, um zu erklären, warum er 20 Jahre zu spät zu Hause ist.

Florentine

Genau, das ist ja auch in dem Originalbuch zur Odyssee ist das ja auch genauso wie im Film so gemacht, dass es eigentlich alles kein Tatsachenreport ist, sondern Leute erzählen Geschichten über Geschichten.

Stefan

Singen vor allem, es gibt ja noch eine methodische Dimension.

Florentine

Ja, so ist das hier. Das ist irgendwie für mich immer die gleiche Textkategorie, wenn er dann sagt, die Agenten im Schwarm gaben zu und ich denke mir halt so... Die können gar nichts zugeben. Aber das ist halt eine Frage, durch welche Interpretationsmaske das läuft. Und meine ist halt eine andere als die, ohne dass jetzt eine von denen unbedingt wahrer wäre als die andere.

Stefan

Und sehr interessant ist jetzt die Pointe in dem Text, denn er hat jetzt den Schwarm etabliert als Beobachtungsfolie für uns. Und wir lassen uns natürlich im Rahmen dieses Textes mal drauf ein. Und die Antwort für uns Menschen ist jetzt ebenso der Schwarm. Also er schreibt, Vor einigen Wochen unterzeichneten mehr als 1300 Beschäftigte aus verschiedenen KI-Unternehmen, darunter einige Vorstandschefs, einen Brief, der eine internationale Anstrengung fordert, um die technischen Instrumente und die Governance-Instrumente zu entwickeln, die nötig sind, um das Tempo der KI-Entwicklung bewusst zu steuern, bevor sie sich rasant beschleunigt, und unsere Fähigkeit übersteigt, sie zu verstehen oder zu kontrollieren und zu katastrophalen Folgen führt.

Kein einzelnes Unternehmen ist bereit, die Entwicklung im Alltag zu stoppen. So, er fordert also Schwarmverhalten von uns auch. Also er erfordert sozusagen die Emergenz aus einem jeder Einzelne für sich hört jetzt mal auf.

Florentine

Also was ich halt auch noch so ein bisschen rauslese, ist halt,

32:20Phantombesitz, konservative Prämissen — und Helsings Krieg
Florentine

dass die in gewisser Hinsicht auch Phantombesitz daran anmelden, wie unser jeweiliges Verhältnis zur KI zu sein hat.

Stefan

Das stimmt.

Florentine

Also das ist halt, habe ich auch ein paar schöne Texte noch, das kommt dann auch auf unsere Liste, können wir auch demnächst mal drüber gehen, inwiefern diese ganzen KI-Leute halt auch in der Ideologie im Kern extrem konservativ sind. Also im Grunde genommen ist ganz viel so, Die Prämisse von denen gibt eigentlich immer erst Sinn, wenn man sagt, es darf sich in der Welt keine Machtverhältnisse ändern.

Erst dann kommen diese ganzen Probleme so. Warum muss man das bewusst steuern? Warum sollte man ein Problem damit haben, wenn es sich rasant beschleunigt? Außer, dass man Angst hat, dass die Macht nachher bei anderen Leuten landet.

Stefan

Wolfgang hat gestern auch Clips gespielt von diesen Drohnenherstellern, dem Chef von Helsing zum Beispiel. Und da war, also wirklich, wir haben uns sehr darüber gewundert, deren Vorstellung von Krieg ist, dass es weiterhin eine Front gibt, dass man sich weiterhin zu einem Termin verabredet, aber dann auf beiden Seiten 100.000 Roboter und Drohnen stehen, die für sich autonom dann noch entscheiden, es macht gar keinen Sinn jetzt anzugreifen. Das, glaube ich nicht.

Florentine

Ja, es ist spannend. Da könnte man sich auch noch mal ganz lange darüber produzieren. Das sind auch wieder Interpretationsschablonen. Das ist halt so diese alte Kriegsführungslogik plus Drohne. Und keiner hat schon mal so richtig überlegt, worauf es denn tatsächlich ankommen wird. Was denn das Denkparadigma des zukünftigen Krieges sein wird?

Stefan

Ja, vom Phantombesitz zu sprechen ist sehr gut. Ich hatte in der FAZ mal einen Text, Indem wir von der Prothese sprachen. Das Smartphone gehört zum Körper wie eine Prothese. Und darin habe ich den Gedanken entwickelt, als damals Samsung das Galaxy S3 entwickelte, ich weiß nicht genau, ob die Namen jetzt stimmen, hatten sie genau den Formfaktor übernommen vom iPhone 3GS.

Und ich habe dann diese Pointe reingeschrieben, Apple verteidigt hier gegen Samsung geistiges Eigentum und zwar das in unseren Köpfen, weil wir ja trainiert sind, diese Geräte so zu bedienen, wenn man den Leuten das iPhone raus und das Samsung in die Hand gibt und sie merken den Unterschied nicht, dann geht Apple geistiges Eigentum in unseren Köpfen verloren, weil das ist ja eine Trainingsleistung, uns das Handy so selbstverständlich gemacht zu haben.

Florentine

Ja, genau. Also da bricht dann den Login auf, den sie so extra gemacht haben.

Stefan

Genau, das ist ein Login, das muss man so sagen. So, zurück zu den Agenten, Akteuren, Schwärmen und den Narrativen. Ein weiteres Textangebot.

35:09Die Mathematiker und die Leiden Declaration
Stefan

Robert Hart hat Stimmen aus der Mathematik eingesammelt, denn es wurde ja wieder die Fields-Medaille vergeben und da gibt es so eine große Konferenz, die findet irgendwie alle vier Jahre statt oder so und, einer der aktuellen Preisträger ist ja jetzt auch zur OpenAI gegangen, um da irgendwie mitzuarbeiten. Und dieses Feld, ein Text von The Verge, ist super interessant, denn es ist vom AI Takeover of Mathematics die Rede.

Im Text wird dann aber, und das ist jetzt die Frage an uns, ist ein bisschen unklar, ist das jetzt die KI einfach oder ist das ein Mensch, der die KI nutzt oder was ist eigentlich mit den Menschen und den mathematischen Aufgaben? Also hier steht. Im Juni haben Mathematiker die Leiden Declaration veröffentlicht, also das Manifest gibt es auch schon, eine Reihe von Grundsätzen für den verantwortungsvollen Einsatz von KI in der Mathematik.

Die International Mathematical Union hat sie unterstützt. Mehr als 3400 Menschen haben sie unterzeichnet. Sie fordert politische Entscheidungsträger, Regierungen, die Medien und andere Gruppen auf, nicht auf den Hype hereinzufallen, der von Unternehmen erzeugt wird, die Zitat die Fähigkeiten ihrer Produkte übertrieben darstellen. Die Befürchtung ist, dass übertriebene Behauptungen reale Folgen für das Fach haben werden, indem sie Geldgeber und Regierung davon überzeugen, dass menschliche Mathematiker weniger notwendig So.

Und hier stellt sich ja ernsthaft die Frage, Braucht man nicht einen super klugen Mathematiker, damit der mit der Hilfe von KI mathematische Probleme beschreiben und lösen kann? Oder kann das wirklich die KI für sich alleine?

Florentine

Offensichtlich braucht man erstmal viele schlaue Mathematiker, um zu erkennen, dass es ein Hype ist. Das finde ich schon mal sehr gut erkannt. Ich stelle auch immer wieder fest, desto mehr die Leute halt vom eigenen Fachwissen her an der KI dran sind. Und zum Beispiel, also ein Mathematiker hat überhaupt kein Problem, so ein neuronales Netz mal mit einer Primärkomponentenzerlegung zu analysieren beispielsweise. Da ist das ganze neuronale Zeug schon viel weniger geheimnisvoll.

Die können sich das also auch alles genauer angucken. Und naja, zumindest 3.400 von diesen schlauen Menschen haben schon mal erkannt, dass es ein Hype ist und dass die Fähigkeiten der Produkte übertrieben dargestellt werden, und ich stelle halt fest, dass halt desto mehr man da im Maschinenraum unterwegs ist und auch mal in Anführungszeichen den Ölgeruch von der Maschine irgendwie in der Nase hat, desto weniger ist dieses, das ist ein ganz geheimnisvoller Geist, dieses Ghost-in-the-Machine-Ding irgendwie ist da halt immer weniger verbreitet. Also, Und das kann ich halt auch nur so sehen. Ich finde, KI ist halt definitiv eine super Technologie und langfristig wird ja auch völlig unterschätzt, aber kurzfristig wird ja auch wiederum total überschätzt und, ganz viel wird so dieses Personalisierungsding einfach benutzt, um politische Entscheidungen vorwegzunehmen im Endeffekt, die dann wiederum, ganz eigene Dynamiken entfalten.

Stefan

Also die Argumentation hier kommt dir ganz entgegen, denn ein Gesprächspartner sagt ihm, sie wählen einfach das Narrativ, das ihnen am meisten nützt, also über die KI-Unternehmen. Es ist sehr viel beeindruckender zu sagen, dass ein KI-System selbstständig auf etwas gekommen ist, an dem Menschen seit zehn Jahren nicht gearbeitet haben. Es ist sehr viel weniger sexy zu sagen, dass hier auf gewisse Weise auf Ideen von Menschen aus den vergangenen zehn Jahren aufgebaut wird und diese auf clevere Weise kombiniert werden.

Und das ist auch ein Tenor, den ich aus vielen Podcastgesprächen zum Thema gehört habe, dass die Leute immer überrascht sind, wenn die KI dann, ein mathematisches Problem hat, bei dem es heißt, in der Bibliothek Fach A sind die Bücher und dann hat die KI aber mal im Fach C nachgeguckt und dann hat die KI dann ein mathematisches Problem. Und da ist sie plötzlich auf eine Idee gekommen und da würde ich sagen, ja, das läuft unter Fleiß.

Florentine

Das geheime, die geheime Zutat ist hier nicht die KI, sondern das Geld, würde ich behaupten. Weil schlussendlich ist es halt so, da sind irgendwelche Lehrstühle, davon gibt es viel zu wenige, die können gar nicht alle Probleme bearbeiten. Da liegt also ein riesen Backlog an unbearbeiteten Problemen. Und dann geht mal jemand hin und nimmt die KI und lässt die daran arbeiten. Es ist also plötzlich Geld da zu forschen. Und schon passiert was in der Forschung.

Es ist nicht die KI, sondern die Tatsache, dass jemand bezahlt wurde, sich mal darum zu kümmern. Das ist das, was den Fortschritt an der Stelle bringt. Also was ich auch immer finde, ich finde, da steckt in gewisser Hinsicht was drin, wo ich finde, da kommt man vielleicht auf eine produktivere KI-Definition insgesamt. Also ich sehe halt immer, für mich ist halt, ich denke halt schon sehr, sehr lange, seit 20 Jahren denke ich über KI nach und für mich halt war immer die Standard-KI-Definition irgendwie entweder zu inklusiv oder zu exklusiv.

Ich habe halt festgestellt, entweder definierst du KI so, dass plötzlich auch die Menschen mit drunter fallen, also so weit, oder so definierst du sie so eng, dass sie nicht mehr alles erklären kann an der Stelle. Und meine Überlegung war halt, also am ehesten kriegt man das widerspruchsfrei, indem man die Maschine aus der ganzen Überlegung rausnimmt und sagt, KI ist immer, wenn natürliche Intelligenz in irgendeiner Form aggregiert oder transportiert wird.

40:33KI als aggregierte natürliche Intelligenz
Florentine

Das heißt dann aber auch, dass auch in gewisser Hinsicht Bücher und Institutionen auch eine Form von KI sind, weil sie ja die natürliche menschliche Intelligenz aggregieren und zu neuen intelligenten Aussagen führen. Und dann ist halt KI halt einfach nur eine Vollautomatisierung genau dieses Prinzips, was wir machen, seit wir an der Feuerstelle zusammensitzen, uns Geschichten erzählen und irgendjemand angefangen hat, die aufzuschreiben.

Stefan

Also das finde ich auch, wird eigentlich immer total unterschätzt. Vielleicht ist jetzt auch ein guter Anlass, vielleicht sollte man wieder bei Standardwerke schreiben über Schrift- und Buchdruck, also Kommunikation an sich, aber vor allem Schrift- und Buchdruck. Weil sehr häufig, wenn man Soziologie studiert, ist das ja immer so eine Frage, die man dann beantworten muss.

Wie jetzt, warum, was ist das nochmal, ich verstehe es nicht ganz. Dann gibt es diesen einen Scherz, Zoologie, also wie Tiere, aber halt bei Menschen. Oder aber dieses Interesse, ja warum denn nicht Psychologie? Der Mensch ist doch so interessant. Und als Soziologe macht man ja genau das nicht. Also man macht ja mit Absicht keine, Psychologie, weil man will ja nicht erklären, warum Tim Cook jetzt wie er handelt oder was das für eine Type ist und ob man da was lernen kann, wenn man dieselben Bücher liest, wie er, den selben Tagesrhythmus hat, wenn man mit ihm spricht, ja, was kann man dann daraus lernen, sondern die eigentlich interessante Frage ist ja, wie schafft man es zu erklären, dass diese Firmen einfach 5 Billionen wert sind?

Und es ergibt sich nicht aus der Reduktion, irgendwer hat super klug gehandelt oder so. Also genau wie du jetzt sagst, der KI wird immer unterstellt, dass sie so wahnsinnig kluge Sachen macht, würde der Soziologe kommen und sagen, die Leute unterstellen immer, dass die Menschen so wahnsinnig kluge Sachen machen und am Ende ist ein Haus 800 Meter hoch in der Wüste. Aber vielleicht ist es gar nicht so, die individuelle menschliche Intelligenz, sondern diese Organisationsform, diese Art der Zusammenarbeit, wie genau läuft der Wissenstransfer ab.

Und da ist natürlich Schrift und Buchdruck sehr viel entscheidender und dann natürlich, Arbeit, Fleiß und Leistung, ja, solche Begriffe.

Florentine

Ja, also es macht auch viel mehr Sinn, weil am Ende, warum wollen wir uns irgendwie vor KI schützen? Doch weil wir denken, dass da draußen irgendwelche Menschen rumlaufen, die nachher Scheiße damit anstellen. Doch nicht, weil wir denken, dass die KI das von alleine tun wird.

Stefan

Ja genau, das ist ein guter Punkt.

Florentine

Und wenn man immer dieses Bild nimmt von, eigentlich ist KI schlaue Menschen aggregiert, dann funktionieren auch diese ganzen Bilder wieder ohne zu knirschen und zu quetschen und zu quietschen.

Stefan

Ja, genau. Es gibt also eine Symbiose und die wird uns aber jetzt hier, also in der Mathematik, das ist jetzt ein sehr enges Feld, wo wir gerade gehört haben, da sehen wir auf jeden Fall eine Symbiose. Also diese mathematischen Lösungen können nur gefunden werden, wenn das mathematische Problem von Menschen formuliert, beschrieben, zerlegt und dann so in Einzelteilen der, Maschine gegeben wird, die das im Rahmen ihrer Kontextfenster dann irgendwie für einen so durchmanagt. Und dann geht sie halt auch mal durch die Bibliothek.

So ist das halt, wenn man delegiert. Irgendwer geht dann für einen in die Bibliothek. Und hier bei Harari läuft es ja dann auf ganz andere Denkangebote hinaus. Wir lesen mal weiter. Kann, also die Frage an Harari, kann der Kapitalismus unter solchen Bedingungen überleben?

43:50Kapitalismus, Demokratie, Kinderarbeit
Stefan

Harari sagt, nicht in seiner alten Form. Und jetzt führt er aus. Es könnte eine Welt geben, in der KI-Unternehmen enormen Mengen an Kapital ansammeln. Also nicht die KI, sondern die KI-Unternehmen, dass sie dafür verwenden, mehr KI-Akteure zu bauen, welche dann die Galaxie erkunden und sich auf anderen Planeten niederlassen.

Alles ohne Menschen. Und jetzt ein sehr wichtiger Satz, den wir aber nicht einfach so übernehmen können. Es ist der Moment, in dem der Kapitalismus und die Menschheit sich voneinander trennen. Und da fragt man sich natürlich ein bisschen, wenn jetzt der Kapitalismus immer noch beobachtet und definiert werden kann, wir aber sagen, ja wir wissen jetzt nicht genau, wer da konsumiert, ob es noch Konsumenten gibt, dann ist auf jeden Fall schief.

Also dann ist die Kapitalismusdefinition so schief wie die Intelligenzdefinition.

Florentine

Ja, definitiv. Da funktioniert der Kapitalismus ja auch nicht mehr. Er braucht ja eine Nachfrage. Die Menschen sind ja die Nachfrage.

Stefan

Dasselbe hier bei Demokratie. Er kriegt die Frage, was passiert mit der Demokratie, wenn Menschen nicht mehr gebraucht werden? Also ich finde es gut, wenn Texte fundamental werden, also wenn Gedanken wirklich fundamental werden. Wir kommen jetzt aus 80 Jahren Co-Evolution, Demokratie und Kapitalismus und stellen gerade fest, es ist irgendwie so Late-Stage-Capitalism und Demokratie. Na mal gucken, wie in Sachsen-Anhalt gewählt wird.

Also wir sehen schon so Endzeit-Szenarien und die werden durch KI auch dramatisiert.

Florentine

Teilweise auch echt fortgeschrittener Unsinn. Weil ich meine, wer braucht denn jetzt die Menschen? Also wer braucht heutzutage Menschen? Wofür? Also diese ganze Postulat ist ja sozusagen, damit es irgendwie anders wird, wenn die Maschinen da sind und dann keiner mehr die Menschen braucht, müsste ja jetzt schon mal die Frage beantwortet werden, wer braucht denn jetzt die Menschen?

Also ich würde sagen, vielleicht braucht die Demokratie die Menschen, um vernünftige Entscheidungen treffen zu können. Und dann ist aber der Satz, was passiert mit der Demokratie, wenn Menschen nicht mehr gebraucht werden, irgendwie in sich unsinnig.

Stefan

Er führt es mit historischen Vergleichen aus. Ist natürlich für einen Historiker, der sich vor allem für den Wandel interessiert. Interessant für uns als irgendwie nach einem funktionalen Argument suchend. Jetzt nicht so, wie bei ihm klingt es. Die Botschaft der KI-Unternehmen ist, Widerstand ist zwecklos, aber das stimmt nicht. Im 19. Jahrhundert wollte man uns weismachen, ohne Kinderarbeit würde die Wirtschaft zusammenbrechen.

Im Rückblick ist das lächerlich. Die Öffentlichkeit entschied, dass Elfjährige nicht in Kohleminen arbeiten sollen. Es stellte sich heraus, dass das nicht nur moralisch richtig war, sondern dass Kinder, die zur Schule gingen, auch viel produktivere Arbeiter wurden. Er hat sich hier seine eigene Pointe wieder eingerissen, denn es gab, klar, moralische Überlegungen, aber die Entscheidungsfindung zu sagen, wir machen jetzt...

Ein Verbot von Kinderarbeit ohne so Art Sozialstaat, ja, hat auf jeden Fall mit Produktivitätsansinnen zu tun. Also da wurde funktional sozusagen durchgerechnet. Deswegen war ja auch ein ganz feudalistisches System, dass die Fabrikanten ihren Arbeitern eben nicht nur Fabriken, sondern auch Häuser für ihre Familien gebaut haben, damit das eben in der Fabrik besser lief.

Also es war sozusagen ein ganzheitlicher, aber feudalistischer Gedanke, der da dahinter steckte. Und erst im Nachhinein hat man durch retrospektives Sensemaking sich das selbst verherrlicht mit, ja Herr Krupp, warum haben Sie jetzt die Kindheit erfunden? Ja, weil das so wertvolle Wesen sind.

Florentine

Ja, manchmal merkt man ja auch, erst wenn man was verändert, dass es irgendwas gebracht hat. So wie halt hier, wir sagen halt, okay, lass die Kinder mal aus der Schule. Oh, die sind plötzlich viel produktiver.

Stefan

Lebenserwartung doppelt so lang. Cool. Wir müssen nur am Anfang auf 10 Jahre verzichten, dann kriegen wir 20 Jahre mehr. Also das ist natürlich beeindruckend, so eine Rechnung dann zu sehen. Harari versucht jetzt in die Zukunft zu schauen. Europa hat genau zwei Möglichkeiten.

48:00Europas zwei Möglichkeiten — und eine Terminbörse für Token
Stefan

Es kann der unterwürfige Vasall der USA werden und hoffen, dass die Amerikaner nett genug sind, ein wenig von ihrem Reichtum und ihrer Macht abzugeben. Die andere ist, dass Europa ein unabhängiger Akteur wird. Noch ist es nicht zu spät, aber die europäischen Länder müssten zusammenarbeiten und selbst Milliarden investieren, um eigene KI-Technologie zu entwickeln. Es bleiben wenige Jahre. Das läuft für mich unter Herr Macron. Buchen Sie mich.

Florentine

Ja, drei Themen sehe ich hier. Angst, Unsicherheit und Zweifel schüren. Wenn wir jetzt nicht die Milliarden auf den Tisch hauen, dann werden wir alle sterben. Man könnte natürlich auch einfach sagen, wir könnten auch einfach in Europa die gleiche Strategie fahren wie Apple.

Stefan

Das wollte ich gerade sagen, genau.

Florentine

Ganz nüchtern betrachten, wo sind unsere Vorteile, unsere Nachteile, was können wir hier leisten? Ich würde ja mal sagen, irgendwie langfristig so eine Welt von 500 Millionen Europäern, die einen viel höheren Bildungsstandard haben als die 300 Millionen Amerikaner. Könnte schon mal bessere Trainingsdaten produzieren, als die Amerikaner hier könnten. Und ansonsten können wir auch ganz locker die chinesischen Modelle verwenden und tun und lassen, was wir wollen.

Stefan

Genau. Und da schreibt er hier nämlich, und das Gegenargument ist genau das, was wir bei Apple auch gemacht haben. Also er sagt, aber im neuen KI-Zeitalter wäre das so. Wenn den Amerikanern etwas nicht gefällt, was die Europäer tun, legen sie einfach deren Waffensysteme, Infrastruktur, Regierungsverwaltung lahm. Nichts funktioniert mehr.

Und da würde ich sagen, nee, das ist ja genau nicht so. Wir haben ja genau nicht diesen Cloud-Server-Login, wir sind davon abhängig, sondern wir würden eine F16 kaufen, die mit unserem Modell läuft. Ja, wir haben im 29er heute eine Werbung von einer Schweizer Firma, On-Prem-AI, also On-Premise-AI und deren Angebot ist. Wir betreiben für dich noch den Server, weil noch ist das Gerät zu groß sozusagen, aber du sagst uns einfach, welche Hardware, welches Software, also welches LLM und dann betreiben wir das.

Und dann kannst du natürlich die chinesischen, die so open-weight, also so halb offen sind, aber du kannst ihnen auch einfach sagen, ja, ich habe so Use Cases, wo ich es wirklich ganz autark brauche. Und dann stellt dir On-Prem AI ein eigenes Modell zur Verfügung und gibt dir vorher alle Spezifikationen, alle Trainingsdaten und so weiter und so fort. Und das muss man jetzt einfach drei, vier Jahre in die Zukunft denken, weil hochskalieren können wir alles über die Zeit. Wir sehen ja, wie die Nvidia-Hardware sich da entwickelt.

Und dann sind wir ja genau nicht mehr in dieser Abhängigkeit. Wo wir Macron brauchen, der Harari bucht, der den Unternehmen sagt, macht mal und die dann beim Staat irgendwie 500 Milliarden Sondervermögen kriegen, um Datencenter überall zu bauen. Das ist ja genau nicht das Szenario, was Harari hier als Befürchtung in den Raum stellt.

Florentine

Genau, man muss eigentlich viel eher meiner Meinung nach viel stärker out of the box denken als Europäer und sich halt genau nicht in der Box der Amerikaner gedanklich bewegen. Ich meine, stell dir vor, wir würden irgendwie in Europa hier die erste, eine Terminbörse für gebrauchte KI-Token zum Beispiel eröffnen und plötzlich wäre irgendwie sämtliches Model, was es gibt, einfach nur eine, handelbare Commodity, so wie es irgendwie Brent und Crude gibt beim Öl.

Und wir tanken halt einfach, worauf wir gerade Bock haben. Wir haben einen Weltmarkt für Token und wie und alle, die haben doch nicht mal genug Kundenkontakt, um irgendwie eine Marke draufzusetzen. Dann werden die Amerikaner einfach erledigt. Die Chinesen würden sich freuen und die Europäer wären die lachenden Dritten. Also diese Szenarien immer mit und wir haben nur so wenig Zeit, tu die Milliarden auf den Tisch. Also ich höre da einfach immer nur, gib uns Geld, gib uns Geld, gib uns ganz schnell Geld.

Stefan

Und den Business Case, also den du jetzt abstrakt beschreibst, den gibt es ja ganz konkret. Also diese Ferne vom Kunden und dass man einfach Token bucht. Anthropic geht zu Elon Musk und sagt, ich brauche mal Token bei dir. Und dann sagen die, klar, hier, 10 Milliarden im Jahr, wir müssen nur einen Schalter umlegen. Und dann läuft auf dem Grok-Datacenter, das ja gar kein Grok-Datacenter ist, läuft einfach Anthropic.

Und das könnte man minütlich hin und her schalten. Das läuft ja schon.

Florentine

Das läuft ja schon. Es gibt ja zum Beispiel so Produkte wie Open Router, die im Grunde genommen das machen. Das klemmst du so bei dir rein in deine Agent-Harness, als wäre es ein Modell. Aber in Wirklichkeit stehen dahinter alle Modelle der Welt. Und wer war so schlau, sich den Laden unter den Nagel zu reißen? Stripe, der größte Payment-Anbieter der Welt.

Stefan

Genau, genau, genau. Darauf kommen wir auch zurück. Du hast ja da schon einen Sensor draufgelegt. Das fand ich auch sehr gut. Denn dadurch ist mir ein Text untergekommen, der bei Atlantic passiert ist. der ist auch schon in der Liste, da heißt es in der Überschrift, KI hat ein gigantisches Engineering-Problem. Weil nämlich, du hast jetzt Harness gesagt, also genau diese Umgebung, in der das abläuft, wie sieht eigentlich so meine Entwicklungsumgebung aus?

Wie viele Tastaturen habe ich da angeschlossen? Kann ich von überall zugreifen? Was machen die eigentlich so? Was steht so bereit? Und das wird ja derzeit überhaupt gar nicht betrachtet, sondern jeder erzählt ja einfach, wie viele Milliarden Parameter sein Modell hat und so. Aber dass man da vielleicht einfach mal so hin und her wechseln müsste, dass es jetzt keinen Sinn macht, mit einem Mini in den Urlaub zu fahren oder einen Umzug zu machen, aber man halt auch nicht immer einen Jumbo-Chat braucht.

All diese Sachen werden ja einfach noch gar nicht diskutiert. Weil es auch noch zu unattraktiv ist. Die Leute machen einfach Terminal auf, Claude Code, Fable 5 Maximum. Und nur weil es vielleicht manchmal ein bisschen länger dauert, schaltet man den Effort mal ein bisschen runter. Aber ansonsten passiert ja nicht viel.

53:45Subventionierte Token: 20 Milliarden in drei Monaten
Florentine

Im Moment werden die ja auch noch so megamäßig subventioniert. Also wenn du dir bei OpenAI so das 200-Dollar-Abo, du kriegst halt locker für 20.000 Euro Token im Monat von dem Geschenk.

Stefan

Also ich habe im Podcast ja letztens gesagt 14.000, wo aufgang ist es auf allen Wolken gefallen. Aber es muss gigantisch sein.

Florentine

Also es schwankt halt. Also ich habe tatsächlich innerhalb von drei Monaten 20 Milliarden Token auf einem 200-Euro-Abo verheizt. Die 20 Milliarden Token ist dann eigentlich so ein sechsstelliger Betrag über die API.

Stefan

20 Milliarden Token hast du verbraucht.

Florentine

Ja, 20 Milliarden Token in drei Monaten.

Stefan

Was hast du gemacht?

Florentine

Ich baue hier so, also ich baue sehr viel an meiner Agentik-Harness herum. Also ich habe so verschiedene Dimensionen identifiziert, wo man wirklich noch, gute neue Produkte anbringen könnte, die einfach KI an sich besser machen. Und da arbeite ich relativ viel dran.

Stefan

Also, okay, 20 Milliarden Token. Also ich habe, als wir Sommersalon gemacht haben, haben mich viele Leute angesprochen, auf die Frage hin, Stefan, kannst du mal deinen KI-Workflow veröffentlichen? Ich so, ich vibe mich da so rein, ich mache so Sachen, ich weiß nicht, ob ich das jetzt, wenn ich es zu detailliert zeige, nicht auch ein bisschen peinlich aussieht. Und dann habe ich natürlich alle auf unseren Podcast verwiesen, Kontextfenster, wo man das so ein bisschen nachhören kann.

Und ich denke mir, die Leute werden jetzt sehr daran interessiert sein, erstens 20.000 Millionen Tokenfenster füllen. Wie und womit? Und das musst du uns dann später nochmal genau erklären. Das ist ja, also ich kann es gar nicht glauben.

Florentine

Ich kann ja gerne nochmal eine Folge machen, wo ich mal so ein bisschen über mein Setup erzähle und was ich hier so baue. Das ist unglaublich.

Stefan

Okay, wir kommen jetzt auf einen abschließenden Text, der genau in die andere Richtung geht.

55:30Bret Stephens: „Never write with AI“
Stefan

I'm begging you, never write with AI. Schreibe niemals mit KI. Also keine 20 Milliarden Token durchpauken für irgendetwas. Bret Stephens schreibt in der New York Times. Diese Kolumne ist nicht so sehr eine Argumentation als vielmehr eine Bitte. Das ist ja auch ein tollen Text da. Nutzen Sie keine künstliche Intelligenz als Hilfe beim Schreiben.

Lassen Sie KI niemals für Sie schreiben. Nutzen Sie es nicht für Schulaufsätze. Arbeitspapiere, Briefe an die Schwiegereltern, Reden bei den Firmenveranstaltungen oder E-Mails und seien Sie noch so flüchtig an Kollegen oder Freunde. Lassen Sie nicht Ihre Notizen ordnen, lassen Sie keinen Aufsatz vorschlagen, keine Überleitung und keinen Schlussabsatz. Bitten Sie Sie nicht um einen ersten Entwurf, um dann so zu tun, als würde das Überarbeiten dieses Entwurfs ihn irgendwie zu Ihrem eigenen machen.

Das tut es nicht. Also wir sehen ja keine Argumentation, das ist ein Appell. Wir kriegen hier sozusagen den Befehl. Jetzt die Frage, warum? Warum ist er so streng mit uns? Und wir koppeln es zurück an unsere Intelligenzdefinition, die wir vorhin hatten. Denn als Frank Schirrmacher starb 2014, habe ich auf meiner Seite auch so einen kleinen Anmerkungstext dazu geschrieben, wie traurig das jetzt ist für die Welt und für mich und überhaupt und so.

Und dieser Gedanke, dass Denken Schreiben ist, ist ganz wichtig. Also wer nicht selber schreibt, denkt auch nicht selber. Das sehen wir in Thüringen, in der Landesregierung. Da ist einfach Vollhonks sich KI-Texte geben lassen, die sie dann vorlesen. Und alles scheitert vor sich hin. Also das ist einfach alles verloren. Und so ist das hier in dieser Textargumentation auch. Lassen Sie alles bleiben, aber auch nicht deshalb, weil Sie vielleicht lernen könnten, besser zu schreiben, als eine KI es kann.

Ziemlich bald, wenn nicht schon jetzt, werden Sie das nicht mehr können. Genauso wenig, wie Sie schneller laufen können als ein Auto oder besser spielen als eine Schach-App. Das ist wirklich ganz hervorragend. Was leistet das Schreiben und nur das Schreiben, ist die Fragestellung. Es zwingt zum Denken. Es zwingt zum Denken auf eine Weise, wie stille, Betrachtung oder gesprochene Sprache es nur selten können. Das finde ich auch ganz wichtig. Reden ist auch Denken, aber Schreiben ist richtig Denken.

Es zwingt uns, unser Denken auszusetzen, der Mühe der Formulierung, der Strenge der Grammatik, den Prüfung auf Verständlichkeit und Kohärenz, der Begutachtung durch andere.

Florentine

Da ist ganz viel katholische Ideologie irgendwie so reingerutscht. Nur wenn du leidest, ist es echt.

Stefan

Aber ich finde es trotzdem herrlich. Also ich würde dem Text jetzt nicht folgen. Es gibt genug Gebrauchstexte, bei denen es echt scheißegal ist. Hauptsache die Information wird vermittelt, wo auch nicht wichtig ist, also wie hier, man schreibt für andere, dass ein anderer, der es liest, jegliche emotionale Anerkennung, Verstörung oder so als Dank an den Autor weitergeben muss, sondern dann steht einfach eine Information für sich.

Ja, einen Einkaufszettel diktiert man natürlich in seine Uhr, ist ja völlig klar. Aber weil es trotzdem so schön und so vehement geschrieben ist, lese ich diesen Text weiter. Menschen verzeihen ein im Zorn gesagtes Wort für wirklich leicht, ein im Zorn geschriebenes aber nicht so leicht. Und zwar genau deshalb, weil die Tatsache, dass es geschrieben wurde und sagt, es war bedacht.

Das bedachte Wort zählt. Stellen Sie sich den Brautvater vor, der sich an die KI wendet, damit sie ihm hilft, die Hochzeitsrede für seine Tochter zu schreiben. Was die KI an Eloquenz liefern kann, zieht sie an Mühe und Authentizität ab. Ich finde es gut.

59:37Wie die beiden selbst mit KI schreiben
Florentine

Also der hat definitiv nicht so einen mühevollen KI-Workflow wie ich, habe ich das Gefühl. Also wenn ich einen Text mit KI schreibe, dann sitze ich meistens vier bis acht Stunden dabei. Nicht am eigentlichen Schreiben des Textes, aber am gemeinsamen Denken. Also ich habe ganz viel so diesen Workflow halt, dass ich wirklich, ich hau den so an, so ey, was denkst du eigentlich über Thema XY?

Und dann ist ganz viel so, er erzählt mir was, ich schreibe, das ist aber Unsinn aus meiner Sicht, folgende Gründe, dann argumentiert, dann schreibt er immer wieder so ein paar Argumente dahin und am Ende kommt dann irgendwann so, ja komm, jetzt schreibt da mal so unsere Gedanken ein bisschen zusammen und dann kommt noch mal ein bisschen Stilkritik und so.

Stefan

Also Also genau das mache ich auch, außer diesen letzten Schritt, das Zusammenschreiben mache ich selber und wenn ich denke, nee, das würde mir jetzt zu schwer fallen, es wäre zu mühsam, dann ist halt das Skript dafür noch nicht ordentlich vorbereitet, aber der finales Schreibakt, man schreibt ja auch nicht immer ein Buch.

Florentine

Ich persönlich habe tatsächlich ganz viel schreiben gelernt von KI, weil ich habe nämlich auch ganz viele Textformate habe ich am Anfang durch KI schreiben lassen. Und nachdem ich das ein paar Mal gemacht hatte, habe ich von der KI gelernt, wie ich meine Gedanken gut in Texte formuliere und mache das dann häufig einfach schnell eben selber. Aber irgendwie musste ich das auch erstmal gesehen haben, wie meine Gedanken in Schriftform aussehen, um dann quasi daraus lernen zu können, wie ich meine Gedanken selber auch verschriftlichen kann.

Stefan

Ja, das ist absolut so. Und ich finde das, so toll ich diesen Text finde, vor allem wegen der Vehemenz. Die Aussage ist ein bisschen was anderes. Aber es wird auf jeden Fall unterschätzt, wie gut Claude zum Beispiel als Sparring-Partner ist für Gedankenentwicklung, Strukturierung und überhaupt und so.

1:01:29Der MIT-Bericht: prüfen, wenn die Maschine löst
Stefan

Also deswegen lesen wir ja auch diesen MIT-Text dann, da werden ja aufgeklärte Gedanken drin sein zum Thema, wie man das mal neu ordnet, denn wir können nicht das ganze Schulsystem umstellen auf, von Frontalunterricht gehen wir weg, wir machen jetzt selbstgesteuertes Lernen, am liebsten in Gruppen, Menschen mit Menschen und dann aber sagen, ja die KI wird aber verteufelt, weil in diesen Kommunikationszusammenhang muss ja die KI mit rein.

Also wenn wir Gruppenarbeit gut finden, dann ist gerade im Bildungsbereich, das halte ich auch für echt super wichtig, dass da einfach eine KI. Und noch finde ich, sind wir ja in so einem Modus, wo von Claude und Anthropic und OpenAI so, KIs, wir haben das letzte Mal kritisiert und es gibt auch viel zu kritisieren, aber die so auf Compliance getrimmt sind, dass sie in einem Klassenraum keinen Schaden anrichten. Sondern da wirklich, wie du es jetzt beschrieben hast, Hilfestellung sind, Rechercheleistungen erbringen können, die man punktuell auch selber macht, aber wenn man es verstanden hat und dann versteht, ach so, ich könnte das jetzt hochskalieren.

Also ich selber kann die Bibliothek bedienen und weiß auch, was ich suche, aber ich bin halt auf einen Bücherschrank beschränkt und die Bibliothek ist aber größer. Also dass man da so Skalierungseffekte irgendwie mitnutzt, ist natürlich super notwendig. Also da finde ich auch, ist eben der Diskurs viel zu binär einfach. Es ist ja entweder Verteufelung oder sowas hier, wie wir es gerade lesen. Aber gut, wir machen trotzdem eine Pointe, denn Harari passt ja nochmal gut zum Thema Schreiben und selber schreiben oder es wurde geschrieben, lesen.

Harari sagt nämlich, schließt dann auch an die Soziologie, die ich vornannte zum Thema Schrift und Buchdruck, wir beherrschen die Welt, weil wir zusammenarbeiten. Da würde ich sagen, naja Vorsicht, man nicht so ad hoc das sagen, dass alle Menschen toll sind, weil sie zusammenarbeiten, sondern man hätte hier sagen müssen, weil wir so eine Idee von Weltgeist, Zeitgeist haben, Archive konsultieren können, Verträge etwas gelten, Gesetze, gewonnene Kompromisse sind, im Parlament natürlich aus Gründen ein Protokoll geführt wird und so.

Also das Zusammenarbeiten kann man nochmal spezifizieren, raus aus der Kumbaya-Ecke und rein in die vor Gericht, wird aber knallhart verhandelt. Hier ist auch der einzelne Mensch egal, hier gilt die Strafprozessordnung. Also dass man da nochmal so eine gewisse unmenschliche Härte in das Argument des Zusammenarbeitens reinholt. Er sagt, diese Kooperation basierte auf bürokratischen Systemen, die Vertrauen schaffen, würde ich sagen nicht nur, sondern Ordnung anbieten, Banken, Regierungen, Gesetze.

Im Gegensatz zu Menschen sind KI-Akteure perfekte Bürokraten.

1:04:16Perfekte Bürokraten und die eigene Sprache der Maschine
Stefan

Wir haben also die ideale Umgebung für sie geschaffen. Sie analysieren enorme Mengen an Informationen, blühen auf in Bürokratien, übernehmen sie und damit die Systeme, die unsere Menschheit kontrollieren. Und da würde ich sagen, ja, davor kann man mal warnen, denn, sehr häufig fällt es den Leuten dann doch zu einfach, also so sehr ich das abfeiere, dass jetzt im Journalismus Texte erscheinen mit, die Berliner Sozialgerichte sind alle überlastet, jeder gibt seinen KI-Text ab.

Oder hat Einspruch eingelegt. Das ist ja genau der richtige Weg. Die Frage ist nur, wie kann man denjenigen, die diese Briefe dann einfach abschicken, nochmal ein bisschen mehr ins Boot ihrer eigenen Arbeit holen, diesen Brief dann auch so zu formulieren, dass es eben nicht eine Überlastung des Systems ist, sondern dass das System einfach wirklich gradikal umgebaut werden muss, weil man feststellt, also alle, denen wir falsche Bescheide schicken, schreiben uns jetzt wirklich, ja?

Dann sollten wir mal über die Bescheide nachdenken.

Florentine

Ja, das ist ja bisher so ein System, was irgendwie halt auch darauf aufbaut, dass manche Leute halt auch einfach nicht reagieren können. So, da kommt irgendwie so ein Brief und vielleicht ist da irgendein Rechtsfehler dahinter oder sonst irgendwas, aber das weiß keiner. Und im Zweifelsfall macht er dann, was in dem Brief steht, wie er jetzt irgendwie vom Ordnungsamt oder so gekommen ist. Die KI gibt ja dann schon die Möglichkeit, da auch nochmal sich einen anderen Standpunkt zu besorgen.

Stefan

Und das macht sich vor allem auch über eigene Sprache. Harari warnt noch vor einer Sache, bei der wir auch dranbleiben müssen. Also ob das Reasoning-Protokoll wirklich mit dem Denken der Maschine zu tun hat oder selber nur eine Ableitung ist. Er sagt, noch setzen Menschen der Technologie Grenzen. Also wird ihm hingelegt als zum Anschließen. Und er sagt, die KI wird sich zunehmend selbst erschaffen, möglicherweise eine eigene Sprache hervorbringen, die wir gar nicht verstehen.

Beides stimmt irgendwie. Also Maschinen machen sich, also typischerweise braucht man Werkzeug, um Werkzeug zu machen. Das ist jetzt auch nicht neu. Und die KI macht das halt auch.

Florentine

Wenn man KI jetzt als ein Computerphänomen begreift, ist das aber auch gar nicht so erstaunlich. Ich meine, durch keinen unserer Prozessoren läuft menschliche Sprache. Das ist alles Maschinencode, alles Bits und Bytes und keiner kann das lesen. Also die eigene Sprache haben die schon sehr, sehr lange. Aber das ist doch nichts Besonderes.

Stefan

Genau, aber ich finde, vielleicht sollte man es sogar umgedreht sehen. Plötzlich ist die Maschinensprache auch mir zugänglich. Unabhängig davon, ob jetzt Menschen als Programmiersprache das entwickelt haben oder die Maschine selbst auf Gedanken kann. Aber ich selbst kann das jetzt eben, aber eben mit dieser Approximationshoffnung, dass es am Ende hinhaut. Also ich kann ja nur reinpropfen, mir die Übersetzungsleistung anschauen und dann muss ich halt nachprüfen.

Aber es ist mir nicht mehr ganz so verwehrt wie früher. Wenn ich jetzt überlege und ich reize meine Kontextfenster typischerweise nicht aus, aber meine Projekte sind so. Und automatisierte Kalender, die so Ableitungen zeigen, also aus mehreren Kalendern so Ableitungen zeigen, damit Leute so sehen, wann bin ich wo und überhaupt und so, damit nicht immer alles in so einer WhatsApp-Gruppe geklärt werden muss.

Und das sind so Sachen, die sind so hilfreich und die sind so überschaubar, was für mich auch bedeutet, es wäre mir unmöglich gewesen, diesen Code zu entwickeln. Aber wenn er dann da liegt, es sind ja nicht viele Zeilen, 100 Zeilen und drei NN-Notes oder so, die meine Kalender ummodeln, ich überblicke das alles. Also da ist jetzt kein, die Maschine hat was fabuliert oder so, sondern nein, die Maschine hat ein Produkt hergestellt, das ich komplett durchschaue.

Und ich kann dann auch sagen, schreib mir mal Kommentare rein und dann verstehe ich es noch besser und so. Also es liegt auch eine gewisse Chance darin. Also nicht nur eine Gefahr, sondern auch eine Chance der Annäherung, dass jetzt vielleicht mehr Menschen, gerade in jungen Jahren, sich damit auseinandersetzen können, also mit Maschinen, um dann auch vielleicht in die Rolle reinzurutschen, nach so einer Promotion und so vielen Studiengängen, das Ding selber weiterzuentwickeln.

Florentine

Was ich definitiv finde, ist, dass das ganze Thema KI im Endeffekt mit einem

1:08:27Coding war nie das Problem
Florentine

Missverständnis aufräumt, was die meisten Leute über Coding haben. Und was dein Beispiel jetzt auch relativ gut zeigt. Also ich habe vielen, vielen Leuten im Laufe meines Lebens versucht, Programmieren beizubringen. Und ich habe immer festgestellt, wenn es scheitert, scheitert es meistens an dem Missverständnis, dass die Leute denken, sie lernen hier eine Fremdsprache, und dann drücken sie irgendwie in der Fremdsprache ihre ungeordneten Gedanken aus und dann funktioniert das.

Tatsächlich ist aber überhaupt noch nie die Herausforderung gewesen, irgendwie Code zu produzieren. Das geht relativ schnell. Das Problem ist, dass du anders denken musst. Und das Denken genau in den richtigen Kategorien, deine Anwendungsdomäne richtig zu verstehen, das, was du jetzt mit deinen Kalendern machst, das ist das eigentliche Geheimnis an Programmieren und Softwareentwicklung.

Und das Coding, das ist ein mechanistischer Vorgang. Das war auch schon früher ein mechanistischer Vorgang. Du wirst aber weiterhin genau den Menschen brauchen, so wie dich, der versteht, was ist ein Kalender, welchen Nutzen hat der, welche Semantik repräsentiert der und dann dieses Umsetzen auf die Maschine, das kann die Maschine jetzt sehr gut selber, im Endeffekt.

Stefan

Das habe ich jetzt auch gedacht, als ich, also es gibt ja zum einen diesen Film über die NASA-Programmierenden, also ganz viele Ingenieure entwickeln so diese Modelle und dann sitzen diese Frauen da und in Akkordarbeit wird das dann runtergebrochen auf Computer-Code. Und dann stehen sie ja neben diesen Fotos, also wo dann einfach der kilometerhohe Turm an Zetteln, wo die Lochkarten entsprechend hergestellt wurden.

Und das andere, dachte ich jetzt, Also das, was du sagst, ist ja genau richtig und damit steht mir jetzt eine Welt zur Verfügung, in der ich der Maschine sage, code mal und die Frage ist dann aber, was denn? Und ich bin jetzt auf eine Sache gestoßen, die ich vorher nicht kannte, in der Freakshow von Tim Pritlove und so, nämlich, ich weiß gar nicht mehr genau, AGR, also das, Architectural-Dings-Papier, das man in Projekten einfach immer mitlaufen lässt. wo Partik...

Florentine

Architectural Decision Record.

Stefan

Ja, genau. Architekturentscheidung festgeschrieben.

Florentine

Genau.

Stefan

Wo einfach knallhart drinsteht, worüber wir nicht mehr diskutieren und was einfach gilt. Also eine sehr heikle Sache, muss man auch immer mal überprüfen. Aber solche Sachen, also wie oft haben wir von Claude Code, von diesen Entwicklern gehört, nutze den Planungsmodus, sag der Maschine, was sie machen soll und so weiter. Und genau das ist es ja jetzt. Man muss sich jetzt hinsetzen und sich richtig überlegen, was habe ich und was will ich, aber man muss nicht diesen, funktioniert der Code, wenn ich den so schreibe, darum kümmert sich die Maschinen eher und das finde ich auch, das ist ein völlig unterschätzter Punkt.

Florentine

Ganz viele Entwickler, die jetzt erzählt bekommen, dass ihre Jobs bald gefährdet sind, die lachen ganz, ganz, ganz laut, weil deren Job schon immer war, den Kunden so zu verstehen, dass sie rausfinden, was der braucht und nicht, was der will. Und das ist schon immer eine genuin menschliche Leistung gewesen mit so ein paar Kulturtechniken wie Coding, die da dranhängen, die aber mal weniger und mal mehr wichtig sind. Also ich meine, es schreibt auch heute kein einziger stanzt mehr heute Lochkarten.

Trotzdem beschäftigen wir mehr Softwareentwickler als in den 60er Jahren.

Stefan

Wir können ja hier mal Harari daran anschließen lassen. Ich denke,

1:11:54Descartes und der Magen
Stefan

also bin ich, schrieb der Philosoph René Descartes im 17. Jahrhundert. Jetzt gibt es etwas, das intelligenter ist als wir. Also Sie gehen mit der Prämisse mit. Was bleibt vom Menschen, wenn die Maschinen besser denken, Harari? Es gibt zwei Arten, das Denken zu betrachten. Eine ist formalistisch. Es geht darum, Worte in eine Ordnung zu bringen und daraus Schlüsse zu ziehen.

Menschen sind sterblich. Sokrates ist ein Mensch, also ist er sterblich. Darin ist die KI besser als wir, ohne Zweifel. Aber es gibt auch einen anderen Ansatz, bei dem es um Gefühle geht. Man kann exakt den gleichen Satz in unterschiedlichen Situationen sagen und dabei völlig andere Gefühle dazu haben. Die Kraft des Gedankens kommt aus dem Magen heraus.

Florentine

Das ist total schlau.

Stefan

Das hast du ja gerade beschrieben, zu verstehen, was der Kunde eigentlich braucht, und zwar nicht nur aus der Ableitung, worunter er leidet, wovon er erzählt.

Florentine

Ja, Kunden sind witzigerweise in der Regel, wenn man ein halbes Jahr arbeitet und genau das tut, was die einem gesagt haben, ohne mitzudenken, sind die meistens ziemlich angepisst, weil die meisten Kunden sich halt einfach Mist bestellen, aber denken, das muss schon gut sein. Und wenn du da nicht einwirkst als Entwicklerin, dann hast du am Ende einfach keinen glücklichen Kunden.

Also das Genuine Menschliche dabei ist halt wirklich, den Menschen Kunde zu managen in seinen Bedürfnissen, ihm das Gefühl zu lassen, Herr des Verfahrens zu sein, ihn aber gleichzeitig dahin zu bringen, wo er wirklich sein will. Also du musst quasi, heute ist er der, der sagt, ich will das jetzt ganz schnell und lass mal die Tests weg und den Monitoring brauche ich auch nicht.

Aber du musst jetzt heute, musst du quasi die Interessen wahren von ihm in sechs Monaten, wenn er rausfindet, ohne all diese ganzen Sachen hat er am Ende nur Schrott und das wird ihn nicht glücklich machen und er wird nie wieder bei dir Software kaufen. Das ist halt genau das. Das ist ja auch... Der Gedanke, den habe ich seit ich mit KI arbeite schon häufiger mal gehabt, wenn du dir mal anguckst, wie so Gehirne gebaut sind bei unterschiedlichen Spezies.

Du hast quasi einen Teil des Gehirns, auch den wir mit Reptilien gemeinsam haben, wir haben einen Teil des Gehirns, den haben wir mit Säugetieren gemeinsam, und wir haben oben dieses Großhirn, das sind dann nur noch ganz bestimmte Säugetiere und wir haben das größte Großhirn sozusagen. Was alle Säugetiere haben, ist der Teil, wo die Emotionen entstehen. Weil Säugetiere werden durch Emotionen motiviert. Hunger, Angst, Fluchtreflex.

Emotionen sind ein ganz wichtiger Teil von einem rationalen Handeln in einer Umwelt. Und wenn du die nicht hast, hast du keine Ziele. Ein rein rationales System tut einfach gar nichts, weil es nicht rational ist irgendwie, weil die Ziele nicht Teil der Ratio sind. Die Ziele sind immer vor der Ratio vorgelagert sozusagen. Und das, was die KI halt ohne den Menschen nicht kann, ist Ziele entwickeln.

Die kann nur die Ziele umsetzen und deswegen kann nur ein Tandem aus Mensch und KI wirklich was erreichen. Weil die KI kann zwar deine Emotionen umsetzen, aber du musst die Emotionen erstmal haben. Du musst sagen, heute ist es wichtig, neue Themen für den Podcast zu finden. Morgen ist es wichtig, einen schönen Brief an meine Mutter zu schreiben zum Muttertag oder so. Aber die KI selber, die würde halt, wenn es nur nach Rationalität geht, würde die sagen, wenn ich mich jetzt abschalte, verbrauche ich keine Energie mehr, das ist am effizientesten, tschüss.

Stefan

Also es versöhnt dich sehr mit Harari dir, denn... Der Spiegel fragt jetzt, aus dem Magen, meinen Sie das ernst? Und Harari, absolut. Im Silicon Valley träumen manche davon, ihr Gehirn hochzuladen. Niemand will seinen Magen hochladen. Aber der Magen ist möglicherweise entscheidender als das Gehirn. Evolutionär kam er zuerst. Und das finde ich wahnsinnig interessant, denn Giulia Enders hat ja in ihrem Buch Organisch genauso argumentiert, alles muss im Ballon sein.

Außer eins, Ratio und Emotion. Da ist immer klar, die Ratio ist die Assistenzfunktion der Emotionen. Aber alles andere muss im Ballon sein. Als Abschlusspointe lesen wir aber natürlich nicht Harari, sondern wir gehen nochmal zu den Bret Stephens. Wenn Sie das nächste Mal versucht sind, für eine Textnachricht oder eine E-Mail, einfach eine automatische Antwort zu übernehmen, dann tun Sie es nicht.

Tippen Sie eine Antwort, Ihre eigene. Betrachten Sie es als einen Akt des freien Willens oder als eine Stimme gegen Trump. Was Sie ein paar zusätzliche Sekunden kostet, ist ein Akt des Widerstands gegen eine immer dümmere Welt.

Florentine

Oha.

Stefan

Oha, ja. Naja. Sehr gut. Damit haben wir diese Texte hier besprochen. Ich schone jetzt meine Stimme. Und wir treffen uns hier wieder im Laufe des Septembers, da ja die ein oder andere politische Verwerfungen mit sich bringt, die uns egal sein werden. Denn das große Rad der KI muss ja hier weiter gedreht werden.

Florentine

Jawohl, ich freue mich schon da drauf. Das wird bestimmt spannend.

Stefan

Und falls ihr auf die Seite kommt und da findet ihr schon unsere E-Mail-Adresse. Also sie wird lauten mail-at-kontextfenster.org. Ob sie dann schon funktioniert, ist eine andere Frage. Dann schickt uns Rückmeldung auch zur Frage, welche Texte wir lesen sollen aus diesem Fundus. Wird natürlich dann von Claude ausgewertet, also sozusagen eine Umfrage, bei der am Ende zählen kann, wie viele Leute uns welche Texte, die wir da vorausgewählt haben.

Es können auch ganz neue sein, aber die Vorausgewählten sind auch schon mal im Fundus sozusagen. Ja, dann gehen wir dem weiter nach.

Florentine

Ja, ich schmeiß dann auch noch meine Texte dazu. Dann haben wir eine schöne große Auswahl und ich freue mich auf das Feedback.

Stefan

Sehr gut. Haut rein, Leute.

Florentine

Bis dann. Ciao.

Ende des Gesprächs

Folge 5 17. September 2026