ChatGPT: Generieren Sie Umsatz statt nur Text!

Jetzt lautet die entscheidende Frage: Welche Bedeutung hat diese Entwicklung für Ihr Unternehmen? Lässt sich diese beeindruckende Technologie auch für Ihre Branche nutzen? Können Sie damit mehr Umsatz erzielen oder Kosten sparen? Oder wird diese Technologie in erster Linie grossen Tech-Unternehmen und Start-ups zugutekommen?

ChatGPT ist nur die Spitze des Eisbergs der grossen Sprachmodelle. Tatsächlich gibt es viele wertvolle Anwendungsfälle, die nicht unter den Begriff «KI-Assistenten» fallen, sondern im gesamten Bereich der natürlichen Sprachverarbeitung angesiedelt sind.

Dadurch sind heute Anwendungsfälle möglich, die vor ein paar Jahren noch undenkbar waren. Aber nicht nur das. Auch vorhandene Lösungen profitieren stark von der Leistungssteigerung durch die neuen grossen Sprachmodelle. Und diese beschränken sich nicht nur auf Anwendungsfälle für Verbraucher, sondern es gibt auch eine Vielzahl von wichtigen unternehmerischen Anwendungsfällen. Die Technologie ist bereit, in Ihren eigenen Lösungen eingesetzt zu werden, z.B. als einfach integrierbarer Cloud-Service. Sind Sie es auch?

Was ist ChatGPT?

Grosse Sprachmodelle wie ChatGPT haben im Grunde genommen eine einfache Aufgabe zu erfüllen: Sie sollen in einem unvollständigen Text das nächste Wort (oder Token) vorhersagen. Vor dem Hintergrund dieser einfachen Zielsetzung können sie auf jeden beliebigen Text trainiert werden. Sie erhalten einen Teil des Textes, werden aufgefordert, das nächste Wort vorherzusagen, und erhalten Rückmeldung, ob sie richtig lagen.

Obwohl diese Vorgehensweise schon sehr lange praktiziert wird, ist es erst seit Kurzem möglich, sie auch bei sehr grossen Modellen anzuwenden. Es war eine Weiterentwicklung der Modelle selbst (beispielsweise der sogenannten Transformers, die die Grundlage aller aktuellen Sprachmodelle bilden) erforderlich, ebenso wie verbesserte Algorithmen (beispielsweise Sparse Attention, die die Berechnungskomplexität verringert). Darüber hinaus benötigte man natürlich eine immer leistungsfähigere Infrastruktur und viel Erfahrung im Engineering. 

Nachdem diese Modelle vergrössert und mit riesigen Textmengen trainiert worden waren, zeigten sich interessante Entwicklungen. Zur Erreichung ihrer Ziele begannen die Modelle, sich ein breites Wissen anzueignen, und entwickelten aus den Daten, mit denen sie gefüttert wurden, eine Reihe von Fähigkeiten. Modelle wie GPT-3 begannen, die Lösung mathematischer Probleme vorauszusagen, indem sie das nächste Wort nach «8+12=» vorhersagten. Sie waren imstande, Texte zu übersetzen, indem sie den ganzen Satz nach «DE: Das ist ein Satz / EN:» vorhersagten. Darüber hinaus konnten sie allgemeine Fragen aus verschiedenen Bereichen beantworten.

Gleichzeitig wurden das Training für Allzwecktexte und das Vorhersagen des nächsten Wortes insofern eingeschränkt, als sich die Modelle nicht immer wie erwartet verhielten. Wenn beispielsweise eine Frage gestellt wurde, fügte das Modell dem Text viele weitere Fragen hinzu. In der Regel wurde dieses Problem mithilfe von «Prompt Engineering» umgangen. Damit ist die Fähigkeit gemeint, eine Aufforderung für ein Modell zu finden, die es dazu bringt, wie erwartet zu antworten. ChatGPT (wie auch das Vorgängermodell InstructGPT nutzt dazu eine Technik, die bekannt ist als «Bestärkendes Lernen mit Rückmeldung» (Reinforcement Learning from Human Feedback). 

Dabei werden riesige Datenmengen darüber gesammelt, wie ein Modell auf eine bestimmte Anfrage reagieren sollte. Diese vom Menschen generierten Daten werden dann dazu verwendet, das vortrainierte Modell so anzupassen, dass es sich mehr so verhält, wie es diese Beispiele vorgeben.

All diese Fortschritte bei Modellen, Algorithmen, Infrastruktur und Technik haben zusammen mit der gewaltigen Grösse dieser Modelle und der ihnen zugrunde liegenden Datenmenge für die Trainings zu den erstaunlichen Modellen geführt, die uns heute zur Verfügung stehen. Auf diese Weise ist ChatGPT in der Lage, jeden erdenklichen Text zu verstehen, zu vervollständigen, zusammenzufassen, zu korrigieren, zu übersetzen und neu zu formulieren – oder zumindest so zu tun.

ChatGPT für Ihr Unternehmen nutzen

ChatGPT und andere grosse Sprachmodelle können mehr als nur Text generieren. Sie können auch für anspruchsvolle Aufgaben wie die Dokumentensuche und die Eigennamenerkennung  eingesetzt werden. Somit können sie nicht nur zur Schaffung neuer, sondern auch zur Verbesserung bestehender Anwendungsfälle herangezogen werden. 

Besonders wichtig für die geschäftliche Nutzung eines grossen Sprachmodells ist die Integration von proprietären, nichtöffentlichen Daten. Andernfalls ist das Modell nicht in der Lage, Daten zu finden, die für Ihr Unternehmen von Belang sind, oder Fragen zu Ihren Dokumenten zu beantworten.

Ein vielversprechendes Beispiel in der Nutzung von ChatGPT zeichnet sich dadurch aus, dass es Antworten auf Fragen findet, die speziell Ihr Unternehmen betreffen und auf Ihren Dokumenten basieren. Zu diesem Zweck müssen alle relevanten Dokumente vom Sprachmodell verarbeitet werden, damit für alle Absätze in den Dokumenten sogenannte "word embeddings" erzeugt und in einer Vektordatenbank gespeichert werden können. Dann können anhand dieser Einbettungen jene Dokumente gefunden werden, die am besten zu einer bestimmten User-Frage passen. In einem letzten Schritt erhält ChatGPT den Text aller relevanten Dokumente und wird aufgefordert, lediglich auf Basis dieser Dokumente eine Antwort zu formulieren. Ist die Nutzerin oder der Nutzer mit der Antwort zufrieden, kann sie auch in die Vektordatenbank aufgenommen und gespeichert werden. So lässt sich das System im Laufe der Nutzung kontinuierlich verbessern.

Es gibt viele Anwendungsfälle wie den obigen, bei denen die leistungsstarken Funktionen zur Textgenerierung und zum Textverständnis von vortrainierten grossen Sprachmodellen mit der Suche und Verschlagwortung von benutzerdefinierten, unternehmensspezifischen Daten kombiniert werden. So könnte beispielsweise die Erstellung von Berichten auf der Grundlage von Entwurfsnotizen auf ähnliche Weise gelöst werden, indem historische Notiz-Bericht-Paare verschlagwortet und gespeichert werden. Diese können dann als Kontext für ChatGPT zur Erstellung eines neuen Berichts für neue Notizen verwendet werden.

Da vortrainierte grosse Sprachmodelle bei bekannten Anbietern von Cloud-Diensten in Form von APIs verfügbar sind, können diese in massgeschneiderte Software und Data Science Pipelines integriert werden. ChatGPT selbst wird bald ebenfalls als Dienst von OpenAI und Microsoft Azure verfügbar sein.

Risiken und Einschränkungen

Auch die Nutzung von grossen Sprachmodellen birgt, wie jedes andere leistungsfähige Tool, gewisse Risiken. In diesem Kapitel werden wir näher auf einige der wichtigsten Herausforderungen eingehen und uns damit auseinandersetzen, welche Anstrengungen derzeit zur Bewältigung dieser Probleme unternommen werden.

Eines der Hauptprobleme bei grossen Sprachmodellen ist die Tatsache, dass ihre Ergebnisse faktisch falsch sein können, aber trotzdem mit viel Überzeugung wiedergegeben werden. Folglich kann man keiner generierten Aussage, die nicht direkt überprüft werden kann, vertrauen. Ein weiteres Problem besteht darin, dass die von diesen Modellen erzeugten Ergebnisse einseitig sein oder bedenkliche Inhalte enthalten können. Dies gilt insbesondere dann, wenn die Daten, die für das Training der Modelle verwendet werden, nicht vielfältig genug sind oder nur ein begrenztes Spektrum an Perspektiven abdecken. Es existieren zwar Techniken, wie beispielsweise die Datenvor- und -nachverarbeitung, mit denen diese Probleme entschärft werden können. Das Problem bleibt jedoch bis heute ungelöst.

Es ist deshalb wichtig, darauf hinzuweisen, dass diese Modelle nicht als Ersatz für Wissensdatenbanken oder sofort einsatzbereite Suchmaschinen verwendet werden sollten. Stattdessen sollten sie, wie zuvor dargelegt, als Ergänzung zur Steigerung der Leistung von Anwendungsfällen im Bereich der natürlichen Sprache und in Verbindung mit Ihren Daten und individuell trainierten maschinellen Lernmodellen verwendet werden.

Darüber hinaus gilt es auch, rechtliche Fragen im Zusammenhang mit dem Urheberrecht und dem Schutz vertraulicher Informationen zu klären, sowohl bezüglich der Trainingsdaten als auch des Modell-Outputs. Beispielsweise ist unklar, wie das Urheberrecht auf die Verwendung grosser Sprachmodelle und die von ihnen erzeugten Ergebnisse anzuwenden ist. Diesbezüglich wird ständig debattiert und geklagt. Gegen die Unternehmen, die für Modelle wie GitHub Copilot und Stable Diffusion verantwortlich zeichnen, wurden bereits Klagen eingereicht.

Und schliesslich können grosse Sprachmodelle für unseriöse Zwecke missbraucht werden. So können beispielsweise Fake News generiert werden, oder es wird den Menschen weisgemacht, dass sie sich mit einer echten Person unterhalten. Dies unterstreicht, wie wichtig ein verantwortungsbewusster Umgang mit diesen Modellen ist und dass es Vorschriften und Leitlinien braucht, um sicherzustellen, dass diese Modelle zum Wohle der Gesellschaft eingesetzt werden.

Blick in die Zukunft

Die Generative Künstliche Intelligenz entwickelt sich ständig weiter und mit ihr auch deren Einfluss auf Wirtschaft und Gesellschaft. In diesem Kapitel beleuchten wir einige aktuelle Entwicklungen und geben einen Ausblick auf deren Auswirkungen.

Die am einfachsten vorhersehbare Entwicklung ist die kontinuierliche Weiterentwicklung grosser Sprachmodelle. Diese Modelle mit zunehmender Rechenleistung und immer grösseren Trainingsdatensätzen werden noch leistungsfähiger werden und über noch mehr Wissen verfügen, sodass sie umfangreichere Aufgaben noch präziser lösen können. Dies mag zwar wie eine banale Neuerung klingen, ist aber tatsächlich der Hauptgrund für die Leistung der aktuellen Modelle wie ChatGPT, wie wir in einem früheren Kapitel gesehen haben.

Abgesehen vom Upscaling stellt der Trend zu schnelleren Update-Zyklen und kontinuierlichem Lernen eine weitere wichtige Entwicklung dar. Somit werden grosse Sprachmodelle in der Lage sein, sich schneller an neue Informationen und veränderte Kontexte anzupassen.

Weitere wichtige Entwicklungsmöglichkeiten ergeben sich aus der direkten Interaktion grosser Sprachmodelle mit dem Internet. Durch den Zugriff auf das Internet kann ein solches Modell Referenzen für seine Ergebnisse liefern, Fakten überprüfen und aktiv nach Informationen suchen, über die es selbst nicht verfügt.

Zusätzlich zu den eher traditionellen Formen – natürliche Sprache, Bilder und Programmiercode – gibt es bereits erste Beispiele für Modelle, die mit vielen weiteren Datentypen arbeiten, wie beispielsweise Präsentationsfolien, Tabellenkalkulationen oder Handlungssequenzen für Produktivitätstools oder sogar Roboter. Dies ist eine spannende Entwicklung, da sie viele neue Möglichkeiten eröffnet, einschliesslich der Erstellung von Modellen, die diese Formen kombinieren.

Die Beliebtheit der Lösung von OpenAI zwingt andere Unternehmen wie Google oder Meta dazu, schnell zu reagieren und mehr von ihrer eigenen Arbeit einzubringen. Dieser Wettbewerb wird den Fortschritt weiter beschleunigen und die Modelllandschaft noch vielfältiger gestalten. Erst diese Woche wurde Bard, Googles eigenes dialogbasiertes grosses Sprachmodell, in eine geschlossene Vorabversion überführt, die bald geöffnet werden soll.

Schlussfolgerung

Unternehmen, die das Potenzial grosser Sprachmodelle optimal für ihr Geschäft nutzen, können ihre Prozesse stark optimieren, Kosten und eine Menge Zeit sparen sowie neue Einnahmen generieren. Allerdings ist es wichtig, sich die Risiken und Einschränkungen dieser Modelle bewusst zu machen und ihre Kapazitäten mit massgeschneiderter Software und eigenen Daten zu kombinieren. Auf diese Weise können nicht nur neue generative Anwendungsfälle geschaffen, sondern auch bestehende Anwendungsfälle verbessert werden.

In den vielen Jahren, in denen wir in Hochrisikoanwendungen wie Medizintechnik Projekte im Bereich des Maschinellen Lernens durchgeführt haben, haben wir die Erfahrung gemacht, dass es mit den richtigen Frameworks und Prozessen wie unserem Medical AI Process oder Responsible AI Framework möglich ist, die neueste State-of-the-Art-Technologie nutzbringend einzusetzen.

Dank unseres Wissens in den Bereichen Maschinelles Lernen, AI solutions, und Verarbeitung natürlicher Sprache können wir Ihnen die Vorteile von ChatGPT für Ihr Unternehmen aufzeigen und Sie bei der Implementierung Ihres eigenen grossen Sprachmodells unterstützen. So haben wir für eine Behörde mithilfe von GPT-3 eine FAQ-Suchfunktion für Kundenanfragen eingerichtet und eine grosse Werbeagentur hinsichtlich des Einsatzes von Generativer Künstlicher Intelligenz für kreative Zwecke beraten.

Fussnote: Es versteht sich von selbst, dass wir uns bei der Erstellung des ersten Entwurfs dieses Blogbeitrags in hohem Masse auf ChatGPT verlassen haben.

Diese Bewertung ist rein technischer Natur und gibt keine Auskunft über mögliche aktuelle/zukünftige rechtliche Einschränkungen, die bei der Nutzung von Künstlicher Intelligenz in kommerziellen Lösungen auftreten können.