Speech by Federal President Dr. Frank-Walter Steinmeier before the members of the Order Pour le mérite for Sciences and Arts on June 11, 2023, in Berlin:
Frank-Walter Steinmeier · Federal President of Germany
- Context
- Steinmeier addressed members of the Order Pour le mérite for Sciences and Arts in Berlin on June 11, 2023, reflecting on artificial intelligence's implications for democracy and human knowledge.
- Main themes
- Artificial intelligence and democracy, human-machine relationship, AI and knowledge, authorship and creativity in the AI era, AI threats to autonomy, democratic legitimacy, disinformation and factual basis, AI in science and arts, liberal democracy vs authoritarianism, AI regulation and responsibility
- Duration
- ~14 min
- Words
- 1,661
- Sentences
- 75
- Readability
- 46
- Grade
- 12.3
- Syntax
- 3.25
- Vocabulary
- 2.14
Translated from German
The broad sphere of national life a sentence belongs to. Every sentence has an Arena, so it is the denominator the other indices are read against.
Other75 sentences in 19 paragraphs
"The purpose of our foundation is the recognition […] of the hidden forces in nature and the expansion of human dominion to the limits of what is even possible."
Here, I am not quoting the founding document of the Order Pour le mérite, although it admittedly sounds very much like it. No, the "expansion of human dominion to the limits of what is even possible" is the subject of a completely different document, a utopian work called "New Atlantis," published by Francis Bacon nearly four hundred years ago. In it, Bacon tells of sailors who were blown off course between Peru and China and were taken in by New Atlantis. There, they learn about astonishing experiments, such as those related to weather, newly bred plants and animals, or astronomical instruments.
When we talk today about hidden forces and the limits of what is possible, I think – and probably many of you do as well – immediately of the rapid development in the field of artificial intelligence. I know: Stories about human machines, about artificially created intelligence have always existed. This is not only the case with Francis Bacon, but I also think of Pygmalion, the homunculus, Frankenstein, or – those of you who are film enthusiasts will remember – HAL 9000. As I said, those were stories, modern fairy tales, science fiction.
But today, we are at a point with generative AI where we must seriously debate how closely a machine can and should come to our human cognitive abilities. And: How much can and should it perhaps even exceed these human abilities?
Fundamental questions about the relationship between humans and machines arise here, and I know how much these questions concern almost all of you in this room: What does knowledge mean in a time when an algorithm can seemingly explain everything to us? Why should our children, our students, or our pupils still learn, why should they strive for new insights when there is artificial intelligence? Who will actually be considered the author of scientific articles and papers in the future: Is it the AI, the person who queries the AI, thus using it, or the one who programmed the AI? Who will even be able to verify whether there is an original contribution behind texts and articles, whether the knowledge and necessary skills have truly been internalized? How creative can an AI be, at what point is a work of art created by AI truly art, and when is it merely technology? How does the self-image of artists and scientists change as a result?
These are just some of the questions that lie ahead of us. AI is a disruptive technology that will undoubtedly change all our lives. I am very glad that we have among us in this round minds who approach these questions with much experience, great wisdom, and foresight, regarding the immense positive potential that AI undoubtedly has, for example in medicine, but also of course the threats to individual self-efficacy or human autonomy.
However, there is one challenge that particularly concerns me as Federal President. Because I believe it has consequences, at least it could have, for our democracy. In other words: Where does it lead us when AI explains things to us with great plausibility, at high frequency, and with rapid dissemination, offers knowledge, creates images that have little or even nothing to do with reality? How can we debate and decide when we can no longer rely on facts? Or: Could – and should – AI even take important decisions away from us, should it make political decisions for us, for a government, since it seemingly knows so much more and comes to decisions so much faster than humans?
For us, I think it remains the case: Neither AI nor the companies that operate it are democratically elected. And an algorithm may offer good or even just decisions, but it is not a subject. It cannot take responsibility for these decisions itself and can never legitimize them. That remains the prerogative of humans and – in the great public questions – the democratic institutions of an open and free society, I say.
But looking at the world out there, I must add a caveat: We see it this way, we as liberal democracies. But we all know that there are authoritarian and libertarian-technocratic powers and forces that see it quite differently. All the more important that we are clear in our stance.
The data and patterns of yesterday, of past decisions, are not suitable as the sole basis for political decisions for tomorrow. In a democracy, it is not about reproducing and automating decisions, but about societal negotiation, about gaining insights, about changing and improving, about pluralism of opinion, about the integration of the deviant, about civilized dispute, and hopefully also always about finding common solutions. Normative questions probably cannot be solved mathematically, not solely based on data. In this respect, I do not see the end of our democracy nor the emergence of a "minimal state" through AI.
But there are indeed dangers: AI can be used manipulatively and maliciously. You may recall: Recently, an image of an explosion at the Pentagon circulated, disguised as serious news, viewed thousands of times, shared hundreds of times. The responsible fire department and the official spokesperson for the U.S. Department of Defense denied it. The fake was exposed, but on the financial markets, this fake had already created a new reality, causing stock prices to plummet. Clarifications are not always so quick and rarely so clear, and above all: Not everyone who saw the news and shared it receives the clarification.
Even in Germany, fake images have often circulated, most recently a supposed photo of angrily shouting men with black hair, accompanied by a xenophobic slogan. By the time it was recognized that these men do not exist at all, that one or another of those depicted even had a few too many limbs, the photo had already circulated on many channels. Spreading fear with fakes works unfortunately all too well.
This is already the case now, but of course even more so with the possibilities of AI. Now, you all know the objection: Yes, fake and retouched photos have existed more or less since the discovery of photography. But the difference is this: Today, almost anyone can create one with an image generator in seconds and, in principle, spread it indefinitely with just a few clicks, and the fakes are getting better and better. If you google "fake photo," the search engine first suggests "create fake photo," and only afterward follows "recognize fake photo." Exactly in this order. Once the fake is out in the world, as everyone who has dealt with this knows, it is hard to recapture.
How do we recognize what is reality and what is merely the product of a manipulatively deployed AI? How do we confront the rapidly increasing and ever more deceptively presented disinformation that delegitimizes democratic politics and fact-based decisions, that may discredit science and also corrupt the markets?
I believe: We will not achieve a comprehensive fact-check with a single solution, and technology alone will not provide this solution. Rather, we need a kind of digital general education. We all need to learn to verify the answers of AI instead of simply relying on the plausibilities of AI. We need an ethical and legal framework with effective standards and control bodies. Where AI is involved in decisions, we must ensure the verifiability of those decisions. We must be able to uncover when AI is used maliciously and distorting – and for that, we need, among many other things, a strong and independent journalism. We need media that do not ultimately make themselves dependent on the use of AI when they research. And perhaps it is time for a kind of watermark that becomes visible as soon as AI produces content, in images and in texts. And we need, I say this after an expert discussion here in the house, AI developers who do not merely understand or misunderstand humans as a deficient algorithm.
In these days, leading AI developers are warning, as you have seen in the newspapers, about their own technology. I cannot assess the intention behind this. Some believe they know it is simply marketing and sensationalism. Others see it as an attempt to shift the responsibility for potential serious damage onto politics, onto the lack of regulation. But what matters is: The warning that potentially uncontrollable risks are coming our way is out in the world, and it deserves at least attention.
For today, at least, I can say: Among the new members of the Order Pour le mérite, whom I have just had the honor to award, ChatGPT is not represented, but rather with David Chipperfield, Peter Gülke, Peter Schäfer, and Michael Tomasello, we have concentrated natural intelligence. Jürgen Habermas cannot be here with us today, but I was able to speak with him extensively at his home a few weeks ago and discuss with him.
All of you belong to the Order Pour le mérite because of your extraordinary achievements. I asked ChatGPT whether AI assumes that it could someday achieve such excellence as you have. The answer was essentially: "Interesting question, I am not there yet – but I learn so quickly and so much that I could eventually surpass certain aspects of human excellence in some areas."
I would like to respond to this self-assessment of AI: It is – at least so far – still mediocre, the mediocrity of the data underlying it. You, who are gathered here this evening, know: True excellence requires more. Namely, the unique artistic and intellectual achievements of people like you. Science and the arts gain another potent tool with AI, no more and no less – a tool that would have excited Francis Bacon and the inhabitants of New Atlantis, and a tool with which we must learn to deal.
The original German. The tags above are read on the English translation's sentences.
„Der Zweck unserer Gründung ist die Erkenntnis […] der verborgenen Kräfte in der Natur und die Erweiterung der menschlichen Herrschaft bis an die Grenzen des überhaupt Möglichen.“
Hier zitiere ich nicht etwa die Gründungsurkunde des Ordens Pour le mérite, obwohl es zugegebenermaßen doch sehr danach klingt. Nein, die „Erweiterung der menschlichen Herrschaft bis an die Grenzen des überhaupt Möglichen“, darum geht es in einem ganz anderen Schriftstück, in einem utopischen Werk namens „Neu-Atlantis“, das Francis Bacon vor fast vierhundert Jahren veröffentlichte. Bacon erzählt darin von Seefahrern, die zwischen Peru und China abgetrieben und in Neu-Atlantis aufgenommen worden sind. Dort lernen sie erstaunliche Experimente kennen, etwa zum Wetter, zu neugezüchteten Pflanzen und Tieren oder zu astronomischen Instrumenten.
Wenn wir heute über verborgene Kräfte und die Grenzen des überhaupt Möglichen sprechen, dann denke ich – und wahrscheinlich viele von Ihnen – sofort an die rasante Entwicklung im Bereich der Künstlichen Intelligenz. Ich weiß schon: Geschichten über Menschenmaschinen, über eine künstlich geschaffene Intelligenz hat es immer gegeben. Darum geht es nicht nur bei Francis Bacon, sondern ich denke da auch an Pygmalion, den Homunkulus, an Frankenstein oder – die Cineasten unter Ihnen werden sich erinnern – an HAL 9000. Wie gesagt, das waren Geschichten, moderne Märchen, Science Fiction.
Aber heute sind wir mit der generativen KI an einem Punkt, an dem wir mit großem Ernst darüber debattieren müssen, wie sehr eine Maschine unseren menschlichen kognitiven Fähigkeiten nahekommen kann und nahekommen soll. Und: Wie sehr kann und soll sie diese menschlichen Fähigkeiten vielleicht sogar übersteigen?
Ganz grundlegende Fragen zum Verhältnis von Mensch und Maschine stellen sich da, und ich weiß, wie sehr diese Fragen fast alle von Ihnen hier im Raum bewegen: Was bedeutet Wissen noch in einer Zeit, in der uns ein Algorithmus vermeintlich alles erklären kann? Wofür sollen unsere Kinder, unsere Schüler oder Studierenden noch lernen, warum sollten sie nach neuen Erkenntnissen streben, wenn es Künstliche Intelligenz gibt? Wer gilt in Zukunft eigentlich als Urheber von wissenschaftlichen Artikeln und Arbeiten: Ist es die KI, ist es derjenige, der die KI befragt, also benutzt, oder ist es derjenige, der die KI programmiert hat? Wer wird überhaupt prüfen können, ob hinter Texten und Artikeln eine eigene Leistung steckt, ob das Wissen und die notwendigen Fähigkeiten wirklich verinnerlicht sind? Wie kreativ kann eine KI sein, ab wann ist ein von der KI geschaffenes Kunstwerk wirklich Kunst, und bis wohin ist es nur Technik? Wie verändert sich also das Selbstbild von Künstlerinnen und Künstlern und von Wissenschaftlerinnen und Wissenschaftlern?
Das sind nur einige der Fragen, die vor uns liegen. Die KI ist eine disruptive Technologie, die ziemlich sicher unser aller Leben verändern wird. Ich bin sehr froh, dass wir hier in dieser Runde Köpfe unter uns haben, die sich mit viel Erfahrung, großer Weisheit und Weitblick diesen Fragen nähern, dem immensen positiven Potenzial, den KI ganz ohne Zweifel hat, zum Beispiel in der Medizin, aber auch natürlich den Gefährdungen individueller Selbstwirksamkeit oder der menschlichen Autonomie.
Es gibt allerdings eine Herausforderung, die mich als Bundespräsident besonders umtreibt. Weil sie, so glaube ich, Folgen hat, mindestens haben könnte, für unsere Demokratie. Anders gefragt: Wohin führt es, wenn uns die KI mit großer Plausibilität, dazu in hoher Frequenz, mit schneller Verbreitung Dinge erklärt, Wissen anbietet, Bilder erstellt, die mit der Realität wenig oder sogar nichts zu tun haben? Wie können wir debattieren und entscheiden, wenn wir uns auf Fakten nicht mehr verlassen können? Oder: Könnte – und sollte – uns die KI sogar wichtige Entscheidungen abnehmen, sollte sie politische Entscheidungen für uns, für eine Regierung treffen, da sie doch vermeintlich so viel mehr weiß und so viel schneller zu Entscheidungen kommt als der Mensch?
Für uns, denke ich, bleibt es dabei: Weder die KI noch die sie betreibenden Unternehmen sind demokratisch gewählt. Und ein Algorithmus kann vielleicht gute oder sogar gerechte Entscheidungen anbieten, ist aber kein Subjekt. Er kann diese Entscheidungen nicht selbst verantworten und sie niemals legitimieren. Das bleibt dem Menschen und – in den großen öffentlichen Fragen – den demokratischen Institutionen einer offenen und freien Gesellschaft vorbehalten, sage ich.
Aber mit Blick auf die Welt da draußen muss ich einschränkend hinzufügen: Wir sehen dies so, wir als liberale Demokratien. Aber wir wissen alle auch, dass es autoritäre und libertär-technokratische Mächte und Kräfte gibt, die das ganz anders sehen. Umso wichtiger, dass wir in unserer Haltung eindeutig sind.
Die Daten und Muster von gestern, von vergangenen Entscheidungen taugen nicht als alleinige Grundlage für politische Entscheidungen für morgen. In einer Demokratie geht es eben nicht um das Reproduzieren und Automatisieren von Entscheidungen, sondern um das gesellschaftliche Aushandeln, um Erkenntnisgewinn, um Verändern und Verbessern, um Meinungspluralität, um die Integration von Abweichendem, um den zivilisierten Streit und hoffentlich auch immer um die gemeinsame Lösung. Normative Fragestellungen lassen sich vermutlich nicht mathematisch, nicht allein datenbasiert lösen. Insofern sehe ich auch nicht das Ende unserer Demokratie und auch keinen „minimalen Staat“ durch die KI aufscheinen.
Aber tatsächlich gibt es Gefahren: Die KI kann manipulativ und böswillig eingesetzt werden. Sie erinnern sich: Jüngst kursierte das Bild einer Explosion am Pentagon, als seriöse Nachricht getarnt, tausende Male abgerufen, hunderte Male geteilt. Die zuständige Feuerwehr und auch der offizielle Sprecher des US-Verteidigungsministeriums dementierten. Der Fake wurde entlarvt, aber an den Finanzmärkten hatte dieser Fake schon eine neue Realität geschaffen, die Börsenkurse brachen ein. Nicht immer ist die Klarstellung so schnell und selten so eindeutig, und vor allem: Nicht immer erreicht die Klarstellung all diejenigen, die die Nachricht gesehen und wiederum weiterverbreitet haben.
Auch in Deutschland haben Fakebilder schon oft die Runde gemacht, erst zuletzt ein vermeintliches Foto von wütend schreienden Männern mit schwarzen Haaren, darunter ein ausländerfeindlicher Slogan. Bis bei diesem Bild erkannt wurde, dass es diese Männer überhaupt nicht gibt, dass der eine oder andere der dort Abgebildeten sogar einige Gliedmaßen zu viel hatte, da kursierte das Foto schon auf vielen Kanälen. Angst verbreiten mit Fakes, das funktioniert leider viel zu gut.
Das ist schon jetzt der Fall, aber natürlich erst recht mit den Möglichkeiten der KI. Nun kennen Sie alle den Einwand: Ja, gefälschte und retuschierte Fotos gibt es mehr oder weniger seit der Entdeckung der Fotografie. Aber der Unterschied ist eben der: Heute kann sie fast jeder mit einem Bildgenerator in Sekundenschnelle erstellen und prinzipiell unbegrenzt mit wenigen Klicks verbreiten, und die Fälschungen werden immer besser. Wenn Sie mal „Fake Foto“ googeln, schlägt die Suchmaschine zuerst „Fake Foto erstellen“ vor, erst danach folgt „Fake Foto erkennen“. Eben genau in dieser Reihenfolge. Ist der Fake erst einmal in der Welt, das haben alle, die sich damit auseinandersetzen, schon mal erfahren, ist es schwer, ihn wieder einzufangen.
Wie erkennen wir, was Realität ist, was dagegen nur einer manipulativ eingesetzten KI entspringt? Wie begegnen wir den rasant zunehmenden und immer täuschender aufbereiteten Desinformationen, die demokratische Politik und faktenbasierte Entscheidungen delegitimieren, die vielleicht Wissenschaft diskreditieren und auch die Märkte korrumpieren?
Ich meine: Einen umfassenden Faktencheck werden wir nicht mit der einen Lösung schaffen, und die Technik allein wird diese Lösung nicht bringen. Es braucht vielmehr eine Art digitaler Allgemeinbildung. Wir müssen alle lernen, die Antworten der KI zu überprüfen, statt uns auf die Plausibilitäten der KI schlicht und einfach zu verlassen. Wir brauchen einen ethischen und rechtlichen Rahmen mit wirksamen Standards und Kontrollinstanzen. Wo die KI bei Entscheidungen mitwirkt, müssen wir die Nachprüfbarkeit der Entscheidungen sicherstellen. Wir müssen aufdecken können, wenn die KI böswillig verzerrend eingesetzt wird – und dafür brauchen wir neben vielen anderen Dingen auch einen starken und unabhängigen Journalismus. Es braucht Medien, die sich nicht am Ende selbst vom Einsatz der KI abhängig machen, wenn sie recherchieren. Und vielleicht ist es an der Zeit für eine Art Wasserzeichen, das sichtbar wird, sobald die KI Inhalte produziert, auf Bildern und in Texten. Und wir brauchen, das sage ich nach einem Expertengespräch hier im Hause, KI-Entwickler, die den Menschen nicht nur als einen defizitären Algorithmus verstehen oder missverstehen.
In diesen Tagen warnen führende KI-Entwickler, das haben Sie in den Zeitungen gesehen, vor ihrer eigenen Technik. Ich kann nicht beurteilen, aus welcher Intention heraus das geschieht. Einige glauben zu wissen, das sei schlicht und einfach Marketing und Sensationsgier. Andere sehen darin den Versuch, die Verantwortung für mögliche schwerwiegende Schäden auf die Politik, auf die fehlende Regulierung abzuwälzen. Aber was zählt, ist: Die Warnung, dass potenziell unbeherrschbare Risiken auf uns zukommen, ist in der Welt, und sie verdient mindestens Beachtung.
Für heute jedenfalls kann ich sagen: Unter den neuen Mitgliedern im Orden Pour le mérite, die ich soeben auszeichnen durfte, ist ChatGPT nicht vertreten, dafür mit David Chipperfield, Peter Gülke, Peter Schäfer und Michael Tomasello geballte natürliche Intelligenz. Jürgen Habermas kann heute leider nicht hier bei uns sein, aber ich konnte ihn vor wenigen Wochen in seinem Zuhause ausführlich sprechen und mit ihm diskutieren.
Sie alle gehören dem Orden Pour le mérite wegen Ihrer außergewöhnlichen Leistungen an. Ich habe ChatGPT gefragt, ob die KI davon ausgeht, dass sie irgendwann eine solche Exzellenz, wie Sie sie haben, erreichen könne. Die Antwort lautete sinngemäß: „Interessante Frage, noch bin ich nicht soweit – aber ich lerne so schnell und so viel, dass ich in einigen Bereichen irgendwann auch bestimmte Aspekte der menschlichen Exzellenz übertreffen könnte.“
Ich möchte dieser Selbsteinschätzung der KI entgegnen: Sie ist – zumindest bisher – noch Mittelmaß, das Mittelmaß der ihr zugrundeliegenden Daten. Sie, die heute Abend hier versammelt sind, wissen: Für wirkliche Exzellenz braucht es mehr. Nämlich die einzigartigen künstlerischen und intellektuellen Leistungen von Menschen wie Ihnen. Wissenschaft und Künste erhalten mit der KI ein weiteres potentes Werkzeug, nicht mehr und nicht weniger – ein Werkzeug, das auch Francis Bacon und die Bewohner von Neu-Atlantis begeistert hätte, und ein Werkzeug, mit dem wir lernen müssen umzugehen.