Neuronale Netze und Sprache

Wie lernen Rechenmaschinen Sprache? Zunächst werden Worte eines bestimmten Vokabulars Zahlen zugewiesen. Hierfür gibt es verschiedene Methoden. Im einfachsten Fall ist jedes Eingangsneuron eines Netzes einem Wort zugewiesen. Erkennt liest das Netzwerk z.B. das Wort “Ich”, hat das “Ich”-Neuron den Wert 1 und alle anderen Neuronen den Wert 0. Man kann Worte aber auch effektiver in Zahlen umwandeln. Meist wandelt man sie nicht in Zahlen sondern in Vektoren um, als in einen Punkt in einem Koordinatensystem. Auch hierfür gibt es verschiedene Methoden, man kann zum Beispiel ausnutzen, wie oft Wörter gemeinsam in einem Satz genannt werden. Kommen sie häufig gemeinsam vor, werden sie im Koordinatensystem nah zueinander angeordnet und umgekehrt. Ist diese Zuordnung geglückt, zeigt sich, dass bereits viel sprachliches Wissen in den Vektoren kodiert ist. So ist die numerische Differenz zwischen Königin und König gleich der Differenz zwischen Frau und Mann.

Um alle Worte “korrekt” anzuordnen ist es aber notwendig, nicht nur in zwei, sondern in vielen Dimensionen (zum Beispiel 24) zu arbeiten. Das Prinzip bleibt aber das gleiche.

Die Wortvektoren sind aber durchaus problematisch, gerade wenn es um Geschlechter oder bestimmte menschliche Gruppierungen geht. So könnte es sein, dass Begriffe, die Führungspositionen bezeichnen, geometrisch näher an einem Geschlecht liegen – denn abgebildet wird der Trainingskorpus. Vorurteile in der Gesellschaft werden also nicht ausgeglichen und im ungünstigen Fall sogar verstärkt. Dies trifft dann auch auf die künstliche Intelligenz zu, die mit diesen Vektoren arbeitet.

Die Zahlen der Worte eines Texts dienen neuronalen Netzen als Eingabe. In diesen Netzen, auch als K.I. bekannt, werden die Werte in verschiedenen Ebenen des Netzes weiter verarbeitet. Jedes Neuron ist mit anderen Neuronen verbunden (es muss aber nicht jedes Neuron einer Ebene mit jedem der anderen Verbunden sein). Das Neuron multipliziert den Wert eines Verbundenen Neurons mit dem Gewicht w der Verbindung und addiert die Ergebnisse aller Verbindungen zusammen. Nun nimmt das Neuron den Wert des Ergebnisses an (dass jedes Neuron noch einen Offset hat und andere Details werden hier weggelassen).

Das Ergebnis dieses Prozesses wird im Falle der Sprachgenerierung abschließend durch eine Funktion in die Wahrscheinlichkeit umgerechnet, mit der ein bestimmtes Wort an einer bestimmten Stelle in der Ausgabe steht. Im folgenden sieht man eine stark Vereinfachte Grafik, wie ein Netzwerk aus einem gelesenen Wort, und dem vorhergehenden Kontext (der hier der Einfachheitshalber nicht erklärt wird) das im Satz folgende Wort vorhersagt.

Während des Lernprozesses der K.I. werden Eingaben getätigt und die Ausgabe der K.I. mit Musterlösungen verglichen. Die Gewichte w im Netzwerk werden nun so lange angepasst, bis die K.I. zu jeder Eingabe eine möglichst passende Ausgabe generiert.

Moderne Netze bestehen aus vielen Billionen solcher anpassbaren Zahlen. Eine Methode des Trainings von solchen großen Netzen besteht darin, ihnen Millionen von abgeschnittenen Texten zu zeigen und das folgende, unbekannte Wort vorhersagen zu lassen. Dabei lernen sie nicht nur das Sprachverständnis, sondern auch einen Teil des den Trainingssätzen repräsentierten Wissens. Die Netzwerke können anschließend auf verschiedene Anwendungen feinangepasst werden: z.B. das Zusammenfassen oder Übersetzen von Texten oder das Erkennen von Beleidigungen im Internet.

Gedichte erzeugen mit GPT3

Unten stehend wurde das Gedicht “Die Philosophen” von Friedrich Schiller gekürzt und von OpenAI’s GPT 3 auf andere Weise vervollständigt. Neben dem Kontext des Gedichts lässt GPT 3 auch sein Wissen einfließen, welches es durch das Training allein aufgrund von Wortkorrelationen gelernt hat.

Die Philosophen

Lehrling
Gut, daß ich euch, ihr Herrn, in pleno beisammen hier finde; Denn das Eine, was noth, treibt mich herunter zu euch.

Aristoteles
Gleich zur Sache, mein Freund! Wir halten die Jenaer Zeitung Hier in der Hölle und sind längst schon von Allem belehrt.

Lehrling
Desto besser! so gebt mir, ich geh’ euch nicht eher vom Halse, Einen allgültigen Satz, und der auch allgemein gilt.

Erster
Cogito, ergo sum. Ich denke, und mithin so bin ich! Ist das Eine nur wahr, ist es das Andre gewiß.

Lehrling
Denk’ ich, so bin ich. Wohl! Doch wer wird immer auch denken, Oft schon war ich, und hab’ wirklich an gar nichts gedacht.

Zweiter
Weil es Dinge doch gibt, so gibt es ein Ding aller Dinge; In dem Ding aller Ding’ schwimmen wir, wie wir so sind.

Dritter
Just das Gegentheil sprech’ ich. Es gibt kein Ding als mich selber; Alles Andre, in mir steigt es als Blase nur auf.

Vierter
Zweierlei Dinge lass’ ich passiren, die Welt und die Seele; Keins weiß vom andern, und doch deuten sie beide auf eins.

Fünfter
Von dem Ding weiß ich nichts und weiß auch nichts von der Seele; Beide erscheinen mir nur, aber sie sind doch kein Schein.

Sechster
Ich bin Ich und setze mich selbst, und setz’ ich mich selber Als nicht gesetzt, nun gut, hab’ ich ein Nicht-Ich gesetzt.

Siebenter
Vorstellung wenigstens ist! Ein Vorgestelltes ist also; Ein Vorstellendes auch, macht mit der Vorstellung Drei

Aristoteles
So halte ich all’ Eure Sätze gerade für das Gegentheil; Und gestehe, wie ich wenig, so weiß ich auch viel.

Erster
Denke ich, so bin ich; doch wer bin ich überhaupt? Wer denkt? Denkst du, oder denkt das Denken an sich selber, oder denk’ ich?

Zweiter
Ein Ding aller Dinge, also ein Ding, das nicht Dinge ist! Ist das Ding Ding? Oder ist es nichts? Wer ein Ding, ist!

Dritter
Es gibt kein Ding als mich selbst! Das ist die Lehre von dem Fichte; Was kann man weiter sehn als nur ein einzig Ding an der Welt?

Sechster
Von der Welt weiß ich nichts, und weiß auch nichts von der Seele; Beide erscheinen mir nur, und sind doch kein Schein.

Zweiter
Ich bin Ich und setz’ mich selbst, und setz’ ich mich selbst als nicht gesetzt, Als nicht gesetzt, nun gut, hab’ ich ein Nicht-Ich gesetzt.

Sechster
Es gibt ein Ding aller Dinge! Denn ein Ding gibt’s allein; In dem Ding aller Ding’ schwimm’ ich, wie ich so bin.

Erster
Cogito, ergo sum! Gewiß! Aber, ist nun recht das Cogito? Vielleicht, daß ich gar nicht denken will, vielleicht auch, daß ich nicht denk’.

Siebenter
Just das Gegentheil! Es gibt kein Vorstelltes, und es gibt auch kein Vorstellendes; Das Vorstellende kann nicht Vorstellendes sein, kein Symbol ist.

Interpretation von Gedichten mit GPT3

GPT3 wurde dazu aufgefordert, das Gedicht Die Philosophen zu interpretieren. Die Antwort war:

Das Gedicht handelt von einem Lehrling, der zu sieben weisen Männern geht, um einen allgemein gültigen Satz zu finden. Die sieben Männer geben ihm sieben verschiedene Antworten, die alle unterschiedliche philosophische Konzepte repräsentieren. Der Lehrling ist unzufrieden mit den Antworten und geht zu David Hume, der ihm sagt, dass er nicht mit dem Volk reden soll. Rechtsfrage, Pufendorf und Gewissensskrupel sind weitere Männer, die dem Lehrling helfen wollen, aber er ist immer noch unzufrieden. Entscheidung sagt ihm schließlich, dass er lernen muss, die Dinge zu verachten, die er nicht tun will.

Dies ist nicht völlig verkehrt, doch auch stellenweise Skurril bis Falsch und schon gar nicht tiefgründig. Besser sieht es aus, wenn man GPT3 einzelne Sätze interpretieren lässt. Gibt man ein:

Aufgabe: Welche philosophische Position gibt der folgende Satz wieder? Begründe!

Satz: Auf theoretischem Feld ist weiter nichts mehr zu finden; Aber der praktische Satz gilt doch; Du kannst, denn du sollst!

Lösung:

So gibt GPT3 das Folgende aus:

Der Satz gibt die kantische Philosophie wieder. Kant teilt die Welt in zwei Bereiche ein – den theoretischen und den praktischen. Der theoretische Bereich umfasst alles, was uns durch unsere Sinne wahrnehmbar ist, der praktische Bereich hingegen bezieht sich auf unser Handeln. Kant argumentiert, dass auf dem theoretischen Feld nichts mehr zu finden ist – alles, was wir wissen, haben wir durch unsere Sinne gelernt. Aber der praktische Satz gilt doch – wir sollen handeln, weil es unsere Pflicht ist.

Das ist eine deutlich bessere Interpretation und eine wohl sehr passende. Erinnern wir uns aber an die Einleitung dieses Beitrags, dann müssen wir feststellen, dass nur Wahrscheinlichkeiten für Worte ausgegeben werden, aus welchen zufällig ausgewählt wird. Im ausgegebenen Wahrscheinlichkeitsraum ist die obige Antwort also zu finden. Doch bei jeder Anfrage antwortet GPT3 anders. Es gibt die Möglichkeit einen Parameter einzustellen, der bestimmt, wie unwahrscheinlich die Worte in der Ausgabe sein dürfen. Stellt man diesen Parameter auf annähernd Null, so erhält man die wahrscheinlichste Antwort. Und diese lautet im Falle der obigen Frage:

Der Satz gibt die Position des Pragmatismus wieder. Diese Philosophische Position besagt, dass die Bedeutung einer Idee oder eines Konzepts darin besteht, wie nützlich es ist. In anderen Worten, eine Idee oder ein Konzept ist dann wahr, wenn es in der Praxis funktioniert.

Bearbeitet von Andreas Jörg