Motivation
Unterschied zwischen linguistischer Intelligenz mit symbolischer KI
OK, ich gebe zu, ich habe versucht, ChatGPT den Blog-Post schreiben zu lassen. Allerdings war ich mit dem Ergebnis nicht zufrieden. Vielleicht war der Prompt zu unspezifisch oder zu viel Microsoft-Marketing-Content im Trainingsmaterial. Daher gibt es nun ganz klassisch einen echten, handgeschriebenen Beitrag. Bewährte Methode: Zuerst eine Gliederung aufsetzen, dann die einzelnen Punkte ausformulieren und abschließend rund machen.
Worum geht es? Bei Congree stellen wir Software her, die maschinell mittels linguistischer Intelligenz Texte prüft. Die linguistische Intelligenz – eine klassische symbolische KI – analysiert die Eingaben. Sie kann auch mit Eingaben umgehen, die das Programm vorher noch nie gesehen hat, und sich trotzdem richtig verhalten.
Wenn wir heutzutage mit Kunden und Interessenten sprechen, werden unter KI eher Systeme wie ChatGPT oder neuronale Netze verstanden.
Da kommt die Frage auf: Was ist eigentlich der Unterschied? Dieser Beitrag stellt den Unterschied zwischen linguistischer Intelligenz mit symbolischer KI und Systemen wie ChatGPT an Hand von Congree dar.
Linguistische Intelligenz
Die Grenzen symbolischer KI
Die Funktionsweise der linguistischen Intelligenz in Congree ist wie folgt: Jemand schreibt einen Text in einem Editor wie Microsoft Word. Hört man auf zu tippen, prüft Congree den Text sofort. Bei dieser Prüfung wird der Text in Sätze und Wörter segmentiert. Die Wörter werden morphologisch analysiert.
Unter anderem für die morphologische Analyse kommt symbolische KI zum Einsatz. Es gibt einen Bestand an linguistischem Wissen. Und zwar das Wissen über die Morpheme – die kleinsten bedeutungstragenden Einheiten, aus denen in der Sprache Wörter gebildet werden können. Und es gibt Regeln, die definieren, wie diese Morpheme zusammengesetzt werden können. Ein Algorithmus wendet die Regeln und das Wissen auf die Eingaben kann. Über diesen Mechanismus können beliebige Texte analysiert werden. Dabei ist egal, ob der Algorithmus eine Wortform schon einmal gesehen hat. Das ist besonders im Deutschen sehr wichtig, da man im Deutschen neue Wörter fast beliebig zusammensetzen kann. Die morphologische Analyse kann durch die KI also auch ad-hoc gebildete Wörter wie Morphologieanalysefunktionskettenerklärungsblogbeitrag zerlegen und feststellen, ob das Wort korrekt gebildet ist und zur Sprache gehört.
Bei der morphologischen Analyse hört die KI nicht auf, aber als Erklärungsbeispiel reicht es an dieser Stelle.
Die symbolische KI kann ihre Aufgabe super bewerkstelligen. Das Ergebnis ist exakt, nachvollziehbar und deterministisch. Exakt, weil bei Anwendung der Regeln das korrekte Ergebnis errechnet wird. Systemgrenzen gibt es schon, die aber oft eine Abdeckungslücke in den Regeln oder den Daten bedeuten. Das Ergebnis ist nachvollziehbar, weil man sich für eine Eingabe die konkreten Schritte ansehen kann, die zur Berechnung der Analyse durchgeführt werden. Man kann sich anschauen, wie die Daten interpretiert werden und welche Regeln in welcher Reihenfolge angewendet werden. Deterministisch bedeutet, dass eine Eingabe durch die Festlegung von Regeln immer das gleiche Ergebnis produziert.
Für andere Aufgaben ist die linguistische Intelligenz eher weniger geeignet. Der Algorithmus ist beispielsweise „nur“ auf die Analyse ausgerichtet, aber nicht auf die Textgenerierung. Die Möglichkeiten, beliebigen Eingabetext (in manchen Fällen schon, aber eben nicht in beliebigen Fällen) automatisch nach bestimmten Kriterien umzuschreiben, sind im Regelwerk ggf. nicht vorgesehen. Die symbolische KI kommt dann an ihre Grenzen.
Generative KI mit LLMs bzw. Systeme wie ChatGPT
Texte schreiben, Texte vervollständigen oder Fragen beantworten
ChatGPT ist ein Produktname. Das GPT im Produktnamen steht für Generative Pre-trained Transformer und bezeichnet eine technische Eigenschaft des Systems. Mit dem GPT kann man chatten, also Anfragen in Textform an das System stellen.
Unter der Haube ist ChatGPT ein instruction-tuned LLM (Large Language Model). Das sind sehr große Sprachmodelle. Sprachmodelle bilden Beziehungswissen von Sprachen ab, beispielsweise welche Wörter in welchem Kontext oft miteinander vorkommen. Instruction-tuned meint in dem Kontext die Fähigkeit, generisch Antworten auf Anfragen zu geben. Bei ChatGPT ist das die Generierung von Antworten auf textuelle Anfragen.
Das Beziehungswissen einer Sprache wird in sog. Parametern abgebildet. Das sind letztlich einfach Zahlen. Welche Parameter es gibt, und welche Zahlen in den Parametern stehen, errechnen Computer beim sog. Training. Während der Trainingsphase werden ganz viele Texte bereitgestellt und der Computer bekommt die Aufgabe, sich Parameter und gute Werte zu errechnen. Je größer die Datenmenge, desto besser klappt das Prozedere und desto länger dauert auch das Training.
Das gelernte (trainierte) Wissen aus dem Sprachmodell kann anschließend verwendet werden. Man gibt der generativen KI eine Aufgabe und sie generiert daraus eine Antwort. LLMs können Texte schreiben, Texte vervollständigen oder Fragen beantworten.
Bei der Beantwortung der Fragen, die man an das System stellt, werden die Eingaben ebenfalls analysiert. Allerdings kommen dabei im Gegensatz zur symbolischen KI keine klassischen Regeln zum Einsatz. Die Eingabe wird – wie die Trainingsdaten – in eine Reihe von Zahlen übersetzt. Diese Zahlen werden dann mathematisch mit dem Sprachmodell kombiniert. Das rechnerische Ergebnis ist die Antwort des Systems.
Eine spannende Eigenschaft der instruction tuned LLMs ist, dass gleiche Eingaben nicht automatisch auch gleiche Ausgaben bedeuten. Die statistisch motivierte Funktionsweise lässt an vielen Stellen innerhalb des mathematischen Modells Abweichungen zu. Überspitzt könnte man die Vorgehensweise „Raten mit Zahlen“ nennen. Dieser Ansatz erzielt sehr gute Ergebnisse – weshalb ChatGPT derzeit auch in aller Munde ist. Die Implementierung ist zudem ein Stück weit sprachunabhängig, weil das Training je Sprache „einfach“ mit entsprechenden Daten in der jeweiligen Sprache stattfinden kann. Wenn die Ergebnisse nicht gut genug sind, trainiert man einfach weiter. Feedback (war die Ausgabe gut oder nicht) zu einer Ausgabe kann per Klick durch den Benutzer an das System zurückgegeben werden, um dieses immer weiter zu verbessern.
Generative KI unterstützt uns alle bei der Erstellung von Inhalten. Wenn wir schon Content haben, dann kann uns generative KI dazu Auswertungen, Analysen oder auch direkt eine Umformulierung erstellen. Auch Textzusammenfassungen sind möglich.
Soweit der Unterschied. Und nun?
Unterschiedliche technische Ansätze
Beide Verfahren – linguistische Intelligenz und instruction-tuned LLMs – haben ihre Anwendungsfälle. Der technische Ansatz ist unterschiedlich: Das eine System nutzt vorgegebene Regeln, das andere lernt maschinell ein Sprachmodell.
Wie beim Werkzeugkasten zu Hause lohnt es sich, zu überlegen, welches Werkzeug man für eine Aufgabe nimmt. Klar kann man mit dem Hammer ein Brett zersägen wollen. Einfach so lange draufhauen, bis es in mehrere Teile bricht. Oder man nimmt sich zum Bretterterteilen die Säge und nutzt den Hammer für hammergeeignete Aufgaben.
tl;dr
Klassische, symbolische KI und moderne, generative KI sind zwei unterschiedliche Ansätze, um mit neuen, bislang ungesehenen Eingaben umgehen zu können.
Die symbolische KI kodiert allgemeines Wissen und Kombinations- oder Anwendungsregeln. Generative KI kodiert Wahrscheinlichkeitsverteilungen.
