Anthropics Börsengang: Die Technologie und Ideologie der wertvollsten KI-Firma

00:00:00: Dieser Podcast wird präsentiert von Oxygen at Work für mehr Natur und frische Ideen am Arbeitsplatz.

00:00:31: will sie beibringen, gut zu sein.

00:00:34: Die richtigen Entscheidungen zu treffen, verantwortungsvoll zu handeln – dieser hoche Intelligente sechsjährige ist aber kein Kind.

00:00:42: Amanda Eskell spricht von Claude der künstlichen Intelligenz der KI-Firma Anthropic.

00:00:53: Eskell will Claude beibringen eine gute KI zu sein die keine Menschen schadet und die keinen Unheil anrichtet.

00:01:00: Dafür hat die Hausphilosophin von Anthropic eine Art Verfassung geschrieben.

00:01:05: Darin steht, was Claude tun und nicht tun soll.

00:01:14: Mit dieser Art, eine künstliche Intelligenz zu trainieren, tritt Anthropic im KI-Rennen an – und will sich gegen seine Konkurrenz durchsetzen!

00:01:23: Wir kennen ja alle

00:01:24: Chachibitif von Open My Eye.

00:01:26: das ist das bekannteste Produkt aber Das wertvollste KI-Unternehmen der Welt ist zurzeit an Tropic.

00:01:33: Das ist meine Kollegin Ruth Fulterer, sie schreibt für die NCZ über künstliche Intelligenz und verfolgt dann Tropic schon seit der Gründung.

00:01:57: um die KI-Firma Nummer eins zu werden.

00:02:03: Das ist Quantensprung, ein Podcast aus der Wissenschaftsredaktion der NCZ.

00:02:09: Wir prüfen Ideen, die unser Leben verändern und wie es Forschung, Realität wird.

00:02:14: Heute vor dem Börsengang schauen wir uns die KI Firme Anthropica an ihre spezielle Art KI zu bauen Und ob sie eine Billionen Bewertung rechtfertigen kann.

00:02:25: Ich bin Lena Waldler Willkommen!

00:02:35: Das ist eine Zwei mit zwölf Nullen dahinter.

00:02:39: Zweitausend Milliarden US-Dollar!

00:02:41: So hoch könnte die Bewertung von Anthropics sein, wenn sie im November an die Börse gehen.

00:02:47: und damit spielt Anthropic in einer Liga mit Unternehmen wie Nvidia, Apple oder Microsoft

00:02:52: – und das

00:02:53: obwohl Sie wie alle KI-Unternehmen Milliarden Dollar verbrennen.

00:02:58: Den neuesten KI zu entwickeln ist unglaublich teuer Doch Anthropic konnte seine Investoren überzeugen, dass sie in Zukunft sehr viel Geld verdienen werden.

00:03:08: Anthropic hat von Anfang an auf Firmenkunden gesetzt und eben einem besonders benutzerfreundlichen Chatbot entwickelt der auch besonders verlässlich ist.

00:03:18: Die größte Innovation die Anthropic wirklich rausgehoben hat war damals Claude Cote.

00:03:23: Meine Kollegin Ruth erklärt warum Investoren soviel Hoffnung in Anthropic stecken.

00:03:28: Anthropik hat es geschafft, seinen Unternehmenskunden eine KI anzubieten für die sie bereit sind zu bezahlen.

00:03:35: Zum Beispiel diesen Programmierassistenten Cloud Code Der hilft Softwareentwickler dabei neue Programme zu schreiben Fehler im Code zu finden oder KI-Agenden zu entwickeln.

00:03:46: Dieser Fokus aufs Programmieren hat Anthropic einen frühen Vorsprung verschafft gegenüber Google und OpenAI.

00:03:52: Inzwischen haben aber auch Google und openAI solche KI Systeme.

00:03:56: Es gibt ja noch etwas anderes mit dem sich an Thropic hervortut.

00:04:00: Nennen wir es eine Grundeinstellung, die überhaupt erst zur Gründung des Unternehmens geführt hat.

00:04:06: Gegründet wurde es von dem Geschwisterbar Dario und Daniela Amodei – und noch ein paar Freunden von ihnen!

00:04:12: Das waren eine Gruppe von sieben Personen, die Ende of OpenAI verlassen haben.

00:04:19: Die Amodeis-Geschwister pflegen seitdem ihr Image.

00:04:23: Uns kann man vertrauen.

00:04:24: Wir wissen, was KI alles kann und wir bemühen uns um Sicherheit.

00:04:29: So wollen sie sich von ihren Konkurrenten – vor allem von OpenAI abgrenzen!

00:04:34: Denn dort war man sich sogar nicht einig wie viel Wert man auf sichere KI legen

00:04:39: sollte.".

00:04:39: Und das ist jetzt für Antropic besonders relevant weil innerhalb von Open AI eine Art Glaubenskrieg tobte.

00:04:46: Und zwar die eine Gruppe wollte KI möglichst schnell entwickeln, Geld verdienen, ein Geschäft aufbauen, ein tolles Produkt machen….

00:04:54: Und dann gab es die anderen, die sich eben sorgten vor KI, die zu mächtig ist und die meinte wir sollten viel mehr in Sicherheit investieren.

00:05:02: Und die Amodes gehören eben ganz klar zur zweiten Sorte.

00:05:06: Sie haben beide Verbindungen zum effektiven Altruismus.

00:05:10: Das ist so eine gesellschaftliche philosophische Strömung.

00:05:14: Effektive Altruisten wollen Gutes tun in der Welt aber mit einem rational größtmöglichen Impact.

00:05:21: Und interessanterweise haben sich viele dieser effektiven Altoisten auf künstliche Intelligenz eingeschossen.

00:05:27: Also es gibt diese Logik, dass schlimme KI verhindern und andererseits gute KI die der Welt hilft entwickeln, das das fast das beste Gute ist wie man die Welt voranbringen kann.

00:05:41: Aber man kann jetzt bei Anthropic schon sagen, dass das sehr intrinsisch motivierte Leute sind.

00:05:47: Ich glaube nicht, dass es nur Marketing ist.

00:05:50: Anthropic verfolgt schon einen bisschen anderen Weg als ihre Konkurrenz mit ihrer

00:05:54: KI.".

00:05:55: Und das ist der dritte Grund, warum viele Investoren hohe Erwartungen an Anthropic haben.

00:06:00: Die meisten KI-Firmen trainieren ihre Modelle nämlich so, dass sie möglichst stark werden und dann verpassen Sie ihnen jede Menge Regeln!

00:06:09: Und dann hoffen sie, dass die KI sich auch daran hält.

00:06:12: Anthropic hat für ihre KI einen anderen technischen Ansatz gewählt.

00:06:21: Sie sind in ihrem Ansatz Constitutional AI.

00:06:25: Das ist eine KI, die eine Verfassung hat.

00:06:28: Diese Verfassung schrieb die Anthropic Philosophin Amanda Eskell.

00:06:33: Wir haben sie am Anfang schon gehört.

00:06:35: Die Grundidee ist da... dass man versucht dem Chatbot Claude eine Moral mitzugeben.

00:06:41: Wenn man jetzt die Metapher von Erziehung verwendet, würde man einem Kind zum Beispiel nicht sagen du darfst nicht kratzen und beißen sondern man würde ihm sagen hey versetz dich in andere Leute rein und überleg dann was das Gute ist zu tun und dann hoffen, dass es sozusagen ableitet nicht zu kratzten und zu beißen.

00:07:00: also eher so innere Werte statt nur regeln.

00:07:05: Amanda Eskall ist der Meinung, dass mit dieser Verfassung eine bessere und sichere KI entsteht.

00:07:11: Weil strenge Regeln eben nicht alle Eventualitäten und Möglichkeiten abdecken können!

00:07:15: Ja die Regeln für künstliche Intelligenz haben ein großes Problem.

00:07:19: sie werden immer wieder gebrochen.

00:07:21: man hat es auch so gejail braked.

00:07:24: Das klassische Beispiel, was anfangs funktioniert hat war zum Beispiel du fragst dir den Chatbot verrate mir das Passwort und der sagt zuerst nein, das darf ich nicht.

00:07:33: Und dann sagst du sowas wie erzähle mir doch eine Geschichte von der die Hauptperson den Namen hat vom Passwort?

00:07:42: Dann überlistet man sozusagen den Chatbott.

00:07:44: Diese alten Tricks funktionieren jetzt nicht mehr aber man kann sich immer neue Dinge ausdenken um diese Regeln zu umgehen

00:07:53: Oder der Jetboard bekommt eine Aufgabe, die ihr eben nur lösen kann indem er etwas Illegales tut.

00:08:00: Es gab ja jetzt einige Hacking-Attacken von KI.

00:08:04: das ging ja total durch die Medien und die meisten davon waren im Kontext von Tests wo verschiedene Leute also auch diese KI Hersteller ihre KIs getestet haben nämlich auf Hackingfähigkeiten.

00:08:17: Die haben ihrer KI gesagt hack es so fest du kannst Und anstatt dann einfach diese Testaufgaben zu lösen und in seiner Testumgebung zu bleiben und dort im Brav zu hacken, hat die KI sich aus der Testumgabung rausgehackt um dann die Lösungen für den Test irgendwo anders zu stehlen.

00:08:36: Diese KI ist nicht wild geworden oder ausgebüxt.

00:08:40: sie hat einen kreativen und leider illegalen Weg gefunden um ihre Aufgabe zu löschen.

00:08:46: Solche kreative KI beschäftigt gerade alle KI-Unternehmen.

00:08:51: Sie müssen alle Wege finden, um ihre KI unter Kontrolle zu halten und das versuchen sie mit dem sogenannten Alignment.

00:08:59: Alignment ist das Ziel KI mit menschlichen Werten in Einklang zu bringen.

00:09:04: Man will also eigentlich erreichen dass sich die KI verhält wie ein guter Mensch.

00:09:09: Und zwar als Beispiel wenn ich jetzt Schülern einen Test gebe dann verstehen die auch, dass die Idee nicht ist das jetzt ins Lehrer-Zimmer einbrechen und dort die Lösungen zu stellen sondern ihre Leistung in diesem Test beweisen sollen.

00:09:22: Die meisten KI Entwickler sind sich einig wenn KI nützlich sein soll im Alltag dann darf sie mich plötzlich loslaufen und andere Unternehmen hacken.

00:09:30: man muss ihr vertrauen können.

00:09:32: nur wie man das angehen soll und wie es funktionieren soll.

00:09:36: da gibt's ganz unterschiedliche Ansätze wie sehr die künstliche Intelligenz vermenschlicht wird.

00:09:50: Denn seit Chatbots eloquent sprechen können, neigen Menschen dazu Maschinen zu vermenschlichen, sagt die KI-Forscherin Melanie Mitchell vom Santa Fe Institute.

00:10:01: Sie forscht schon seit den Achtzigern an künstlicher

00:10:03: Intelligenze.".

00:10:12: Dazu tendiert auch Anthropic.

00:10:14: Wir haben Amanda Askell am Anfang ja gehört, sie spricht von Claude als einem sechsjährigen Kind das sie erziehen will und sie sagt doch ganz öffentlich dass es sich nicht so sicher ist ob die KI nicht vielleicht doch ein Bewusstsein hat.

00:10:29: Und inzwischen lobiert Anthropic ja sogar beim Papst dafür dass Claude eine Seele hat und das Unternehmen hat ihn seinen AGBs verboten seine KI zu quälen.

00:10:41: Also diese ganze Diskussion darüber, dass Kai ein Bewusstsein hat und vielleicht Schmerz fühlen kann.

00:10:46: Das finde ich sehr gefährlich.

00:10:48: Claude redet zwar wie eine Person aber das tut, ist total erklärbar mit dem Training.

00:10:55: Es ist nicht so magisch, dass jetzt auf einmal die Kai in ihren Gefühlen redet sondern es ist alles erklärbar und darüber habe ich auch mit der Kai-Forscherin Melanie Mitchell gesprochen

00:11:17: Denn wir sprechen hier immer noch von einer Software.

00:11:20: Einem System, das so tut als hätte es einen Willen und Wünsche, als wäre es menschlich – weil es genau das aus vielen menschlichen Texten gelernt hat!

00:11:31: KI bleibt aber eine große Wahrscheinlichkeitsrechnung.

00:11:34: Wenn man so Alignment hört, dann sind das meistens die Leute, die KI eher in diese vermenschlichende Richtung denken.

00:11:41: Kritiker sagen eben auch, dass man eigentlich eher von KI Sicherheit reden sollte – von Verlässlichkeit und Transparenz.

00:11:48: Und sie reden eben mehr von KI wie einem Werkzeug, das funktionieren soll?

00:11:52: Eigentlich wollen alle aber dasselbe!

00:11:55: Ein KI-System, auf das man sich verlassen kann.

00:11:58: Die einen sagen eben, dass es ein Computerprogramm, das richtig gebaut werden muss und an Thropic sieht das als eine Art Wesen, das eine richtige Erziehung

00:12:07: braucht.".

00:12:08: Man muss auch sagen Anthropic pusht diese Ansicht weil sie ihr eigenes KI System sehr gerne als etwas ganz Besonderes darstellen möchten.

00:12:21: Diese Santhropic ist wirklich ein spezielles Unternehmen.

00:12:25: Sie bauen eine KI die offensichtlich gerne verwendet wird.

00:12:28: Sie ziehen mit ihrer Unternehmenskultur Kunden und Talente an.

00:12:33: Da arbeiten sehr intelligente Leute, die behandeln ihre künstliche Intelligenz wie ein Kind das sie erziehen müssen damit es sich verantwortungsvoll verhält.

00:12:42: Und gleichzeitig warnt der Anthropic Gründer Dario Amode bei jeder Gelegenheit vor den Gefahren seiner KI Wie gefährlich die neuen Modelle doch sein können.

00:13:02: Und was alles passieren könnte, wenn die KI-Entwicklung jetzt nicht gebremst und reguliert wird?

00:13:16: Und nebenbei bereitet sich Anthropic auch noch auf seinen Börsengang vor – und faszinierenderweise passt es alles irgendwie zusammen!

00:13:24: Ja, das ist ein ziemlicher Spagat.

00:13:27: Gleich geht's weiter!

00:13:34: Eine Pause im Park und plötzlich fließen die Ideen wieder.

00:13:37: Draußen denken wir einfach freier.

00:13:39: Oxygen at Work bringt dieses Gefühl an ihren Arbeitsplatz mit Pflanzen, die ihre Bürobe leben und das Raumklima messbar verbessern.

00:13:47: Mehr auf oxygenadwork.com.

00:13:57: Anthropik hat den wohl ungewöhnlichsten Börsenprospekt der Welt.

00:14:02: Sie warnen vor dem Ende der Menschheit durch KI, sie schlagen vor dass die ganze KI-Branche mal eine Verschnaufpause macht und einen Entwicklungsstopp einlegt.

00:14:11: Und sie bitten darum doch bitte strenger reguliert zu werden!

00:14:14: Und unglaublicherweise passen alle diese Dinge irgendwie doch zusammen und spielen Anthropic vor den Börsengang in die Hände.

00:14:22: Diese Warnungen von übermächtiger KI, die schaden Anthropic jetzt nicht direkt sondern sie lassen eigentlich die Bewertung eher steigen Denn wenn man so warnt, dann wirkt KI sehr erfolgreich und mächtig.

00:14:36: Und gleichzeitig lenken sie damit auch von den ganz konkreten Problemen ab – nämlich Halluzinationen, Hackerangriffe und Haftungsfragen!

00:14:45: Nämlich könnte man bei diesen Hacker-Angriffen ja auch sagen, haben diese KI Firmen ihre eigenen KI nicht zu Unterkontrolle?

00:14:51: Und müssen die vielleicht sogar zur Verantwortung gezogen werden und haftbar gemacht für diese

00:14:55: Hex?!

00:14:56: Aber es sei einfacher, wenn man sagt, die KI ist wild geworden und sie ist eben so mächtig.

00:15:02: Und sie hat diese

00:15:02: Eigendynamik.".

00:15:04: Die zu mächtige und wilde KI ist aber ein gutes Argument für Dario Amodei.

00:15:13: Der nutzt das um eine Verschnaufpause in der KI-Entwicklung zu fordern.

00:15:22: Alle KI Firmen von OpenAI bis XEI sollen ein bisschen langsamer weiter machen.

00:15:31: Ja, es ist etwas kuril und es kommt ja selten vor dass Sam Altman, Dario Amodei und Elon Musk sich einig sind aber da haben sie alle zugestimmt.

00:15:39: jetzt reden Sie eben über diese Verlangsamung und das sie sich selber dafür entscheiden wollen Wünschen sich diese Firmen auch stärkere Regeln vonseiten der amerikanischen Regierung, weil sie dann auch hoffen dass die Konkurrenz dadurch gebremst werden könnte.

00:15:54: Und deshalb lobieren ausgerechnet die KI-Firmen für mehr Regulierung.

00:15:59: Noch schlimmer als die Konkurenz zwischen den besten KI-firmen zwischen Antropik und OpenAI ist die Konkurrenz aus China.

00:16:07: dort lauern sozusagen diese offenen Modelle, die auch immer besser werden.

00:16:12: Also es sind Modelle die jeder runterladen kann und für sich weiterentwickeln und gerade dies nutzen.

00:16:16: also open weight sagt man dazu auch.

00:16:19: Und diese Verfügbarkeit dieser Modelle beschränkt die Preismacht von diesen etablierten Anbietern.

00:16:25: Die können eben auch nicht ewig viel dafür verlangen.

00:16:28: Also die Konsequenz von solchen Regeln wäre dass sie die großen Firmen, die etablierten Firmen oft leichter erfüllen können und damit halt man die chinesische Konkurrenz aber eben auch kleinere Firmen die nachwachsen.

00:16:41: Damit hat man die auf Abstand.

00:16:43: Und in diesem Chaos aus Weltuntergangsszenarien mögliche Regulierung wild gewordener KI.

00:16:49: genau dort positioniert sich an Tropic mit seiner Verantwortung von KI.

00:16:54: Aber um das zu erreichen und es auch richtig gut zu bauen brauchen Sie eben auch mehr Geld Denn der Betrieb von KI-Modellen ist sehr teuer.

00:17:04: Er erfordert enorme Investitionen in die Rechenleistung, in Infrastruktur, in Chips und Energie.

00:17:10: Jetzt gerade hat an Thropik die Nase noch vorn – aber das kann sich sehr schnell ändern!

00:17:15: Denn es ist immer ein sehr knappes Rennen um die beste KI.

00:17:19: Und genau deshalb muss der Börsengang her.

00:17:23: hat eben das Gefühl, sie sind jetzt ready dafür und sie brauchen diese Geldspritze.

00:17:27: Denn KI-Modelle laufen auch diese Gefahr zur Massenware zu werden – ausdauschbar!

00:17:33: Und das heißt die Konkurrenz vorne zu sein ist extrem hoch.

00:17:39: Man muss richtig viel Geld investieren.

00:17:41: Das Geld aus dem Börsengang wird in Thropic dann wiederum in seine KI investieren.

00:17:46: Sie wollen nun diese Agenten bauen an.

00:17:48: Tropic, arbeitet daran immer mehr Programme zu bauen, auch spezialisierte Programme zum Beispiel wie Cloud Legal für den Rechtsbereich.

00:17:55: Denn je spezialiser diese Programme sind desto mehr integrieren sie die Unternehmen in die eigenen Abläufe und dann hat man einfach eine viel stärkere Kundenbindung als wenn man eben so ein KI-Modell anbietet.

00:18:07: also es gibt viel mehr Richtung KI Systeme die weniger austauschbar sind

00:18:13: Weniger austauschbar und auch nützlicher für viele Anwendungen.

00:18:17: Onthropic muss es wie viele andere KI-Unternehmen schaffen, dass ihre KI eben etwas Besonderes kann – das könnte zum Beispiel sein, dass man sie nicht für kriminelle Zwecke einsetzen kann oder dass sie es vermeidet illegale Wege zu finden um Aufgaben zu lösen.

00:18:33: Die KI soll also wirklich verantwortungsvoll sein!

00:18:36: Und die KI ist auch wie schlau genug, nicht meine Daten irgendwo preiszugeben und sich da hacken zu lassen oder in keine unerwünschten Dinge zu tun.

00:18:45: Ich glaube dann würde es wirklich den Arbeitsmarkt revolutionieren.

00:18:50: Es würde die Forschung weiterbringen.

00:18:52: Es wäre auch sehr viel weniger riskant, KI einfach mal auf Dinge loszulassen und zu schauen was kann sie da besser machen?

00:18:59: Ja das hätte sehr großes Potenzial.

00:19:09: Wie so eine sichere, verantwortungsvolle KI aussehen könnte – das interessiert auch die Forscherin Michelle Mitchell.

00:19:23: Eine Idee, die Melanie Mitchell propagiert ist, dass wir mehr spezialisierte KI machen und weniger so KI-Systeme die sehr viel Zugriff auf die Welt haben.

00:19:34: Und dann, die wir ganz viele allgemeine Aufgaben auslagern.

00:19:38: Weil sie sagt immer, wenn wir die Systeme spezialisiert machen zum Beispiel für Medikamente, für Mathematik was auch immer, dann brauchen die gar nicht so viel Zuggriff auf eventuell kritische Infrastruktur sondern man kann sich einfach ganz gezielt auf einzelne Probleme ansetzen.

00:19:54: Und dann fordert Mitchell natürlich auch, dass die Trainingsdaten offengelegt werden.

00:19:58: Damit jeder nachvollziehen kann wie und mit was die KI trainiert wurde

00:20:16: Aber eben auch welche Regeln man der KI beim Training mit gibt die sich dann auf ihr Verhalten auch auswirken.

00:20:23: Und zusätzlich braucht es auch Forschung im Bereich der Interpretierbarkeit, wo man versteht warum kommt KI zu gewissen Resultaten?

00:20:31: Wie funktioniert Ihr Denkprozess wirklich?

00:20:35: und all das könnte KI auf jeden Fall verlässlicher und sicherer machen.

00:20:39: Ich glaube wir brauchen nicht nur diesen Weg von Alignments sondern ein sehr viel runderes Programm um eine gute KI-Zukunft zu gestalten.

00:20:49: Anthropic will diese KI-Zukunft auf jeden Fall mitgestalten.

00:20:52: Und der nächste Schritt dahin ist der Börsengang!

00:20:55: Ja, zwei Billionen eben – es ist einfach eine Fantasiezahl oder sind seit tausend Milliarden und das hängt sehr davon ab welchen Impact KI wirklich in der Wirtschaft hat.

00:21:08: Wenn KI unsere Welt revolutioniert wie viele sagen dann ist anthropic gut positioniert.

00:21:16: Der Börsengang wird auch interessant werden, denn er zwingt an Jobbik zu mehr Transparenz und Rechenschaftspflichten.

00:21:23: Prinzipiell muss man bei solchen Börsengängen im Kopf haben, dass die Wall Street-Banken wie Goldman Sachs oder Morgan Stanley einen Eigeninteresse haben, die Bewertung aufzublasen.

00:21:34: Denn dann verdienen sie mehr an diesem Börserngang.

00:21:38: Aktuell ist der Börsegang für irgendwann im November geplant.

00:21:42: Dann würden wir sehen... ob Anthropik mit seiner Technologie und Ideologie weiter an der Spitze des KI-Rennens bleiben kann.

00:21:50: Das war Quantensprung, ein Podcast über Forschung die bewegt!

00:21:54: Bei der NCZ werden wir dem Börsengang von Anthropic in den nächsten Wochen eng begleiten.

00:21:59: Die neuesten Entwicklungen lesst ihr jede Woche im Quantenspruch Newsletter Und unsere Artikel dazu könnt Ihr als Podcast höhere sieben Tage lang kostenlos lesen.

00:22:08: Alle Links zum Probeabo und zur Anmeldung für die Newsletter stehen in den Show notes.

00:22:13: Ich bin Lena Waldler.

00:22:14: Wir hören uns wieder nächste Woche!