Auf den Prüfstand: ChatGPT!

Ein Chatbot ist derzeit in aller Munde. Vor allem an Universitäten schlägt ChatGPT, mit dem sich Hausaufgaben und ganze Abschlussarbeiten quasi per Knopfdruck schreiben lassen, hohe Wellen. Nicht nur hier in Kiel wird darüber diskutiert, ob „neue Standards für die Bewertung wissenschaftlicher Arbeiten“ notwendig sind, wenn die abgelieferten Texte möglicherweise von einer künstlichen Intelligenz (KI) erstellt wurden. Und auch Google sieht sich durch den Chatbot bedroht. In diesem Beitrag zeige ich, ob diese Sorge berechtigt ist und was ChatGPT kann und wo (derzeit) die Grenzen der KI liegen.

Nun würde es den Rahmen sprengen, hier eine ganze Hausarbeit in den Blog zu stellen. Als Journalist habe ich ja häufiger mit Kleintexten zu tun. Und von diesen habe ich mir einige von ChatGPT generieren lassen. Aber auch so wird deutlich, wo momentan die Grenzen der künstlichen Intelligenz liegen und warum ich sehr vorsichtig wäre, die Texte unüberprüft zu übernehmen.

ChatGPT – wer bist du?

Zunächst einmal habe ich den Chatbot gefragt, was ChatGPT eigentlich ist. Die Antwort:

ChatGPT ist ein künstlicher Intelligenz-Textgenerator, der von OpenAI entwickelt wurde. Es wurde mit einer großen Menge an Texten trainiert, um seine Fähigkeiten beim Schreiben und Verstehen von Texten zu verbessern. ChatGPT kann verwendet werden, um menschenähnliche Texte zu erstellen, wie z.B. Nachrichtenartikel, Beschreibungen oder Chatbots. Es kann auch helfen, Aufgaben wie Textzusammenfassung oder Übersetzungen zu erledigen. Es wird in vielen Bereichen eingesetzt, wie z.B. in der Erstellung von Tutorien, der automatischen Erstellung von Prüfungsfragen und in der Unterstützung bei der Erstellung von wissenschaftlichen Arbeiten und in der Kommunikation mit Studierenden.

ChatGPT

Kleine Aufwärmübung: Texten für Social Media

Ein gelungener Einstieg, wie ich finde. Der nächste Auftrag: „Schreibe mir eine längere Bildunterschrift für Instagram zum Thema ‚Luchse im Harz'“. Das Ergebnis:

Die Luchse im Harz – ein Symbol der Wildnis und der unberührten Natur. Sie sind eine beeindruckende Erscheinung, die uns daran erinnert, dass wir Teil einer viel größeren und faszinierenden Welt sind. Lasst uns diese Tiere und ihre Lebensräume schützen und bewahren. #Harz #Luchse #Natur

ChatGPT

So weit, so schnulzig, schwülstig, kitschig. Natürlich kennt ChatGPT meinen Sprachstil nicht. Auf mich wirkt der Text seltsam blutleer und viel zu dick aufgetragen. Ob der Chatbot mir damit eine Zusammenfassung abertausender Instagram-Posts gegeben hat und versucht, deren Sprachtonalität nachzuahmen, kann ich nur vermuten.

Ich bin mit dem Ergebnis jedenfalls nicht zufrieden und fühle ich mich wie ein Schlagersänger, dem man kurz vor dem Auftritt einen Text vorlegt, den er vortragen soll, ohne die Emotionen, die aus den Worten hervorgehen, wirklich zu spüren.

Der Chatbot als Architekturhistoriker

Versuchen wir es mit etwas Einfacherem. Ich fotografiere gerne Architekturmotive. Gut, dass es mit der Universitätskirche hier bei mir um die Ecke einen beeindruckenden Bau gibt. Auch zu diesem Bild habe ich mir eine Bildunterschrift schreiben lassen:

Die Universitätskirche in Kiel, auch als Unikirche bekannt, ist ein markantes Gebäude auf dem Campus der Christian-Albrechts-Universität. Sie wurde in den Jahren 1911 bis 1913 erbaut und ist ein Beispiel für die norddeutsche Backsteingotik.

Die Kirche beherbergt eine Orgel mit mehr als 4.000 Pfeifen und dient als Ort der Andacht und des Gebets für die Universitätsgemeinde. Sie ist auch ein beliebter Ort für Konzerte und kulturelle Veranstaltungen.

Das Innere der Kirche beeindruckt durch seine hohen Gewölbedecken und buntglasfenster. Auch die Altarfigur, die aus dem 15. Jahrhundert stammt, zieht die Aufmerksamkeit der Besucher auf sich.

Insgesamt ist die Unikirche ein wichtiger Bestandteil des universitären Lebens in Kiel und ein beliebtes Touristenziel. Sie ist ein Ort der Ruhe und des Gebets, aber auch ein Ort der Kultur und des Austauschs.

ChatGPT

An dieser Stelle kann ich nur sagen: Vorsicht. An diesem Text ist so gut wie gar nichts richtig. Wer die Universitätskirche kennt, der weiß, dass sie 1965 eingeweiht wurde und vom Baustil keinesfalls der Backsteingotik zuzuordnen ist, wie ihr auf diesem Bild sehen könnt:

Das Innere der Kirche ist zwar sehr beeindruckend. Verantwortlich dafür sind aber nicht die hohen Gewölbedecken (die es nicht gibt). Zur Wirkung des Raumes tragen eher die „buntglasfenster“ (Schreibweise von ChatGPT übernommen) bei, von denen ich aber vermute, dass der Chatbot diese Textpassage auch aus einem nicht mit der Unikirche in Kiel zusammenhängenden Text übernommen hat.

Hier zeigt sich deutlich, dass die von ChatGPT generierten Texte unbedingt auf ihre Richtigkeit überprüft werden müssen. Und das kann bei einer längeren Hausaufgabe oder gar bei einer Abschlussarbeit schon ganz schön aufwändig sein. Für mich ist es da definitiv einfacher, den Text selbst zu schreiben als später das, was mir eine KI vorliegt, komplett überprüfen zu müssen.

Die KI und der Journalismus

Kommen wir zu einem Bereich, in dem die KI schon länger eingesetzt wird und in dem ich mich auch zu Hause fühle: dem Journalismus. Hier übernehmen die Textgeneratoren schon heute Routineaufgaben wie das Schreiben von Börsennachrichten oder von Sportberichten.

Eine der lästigsten Aufgaben für Journalist:innen ist es wohl, aus Polizeimeldungen lesbare Texte zu machen. Mal sehen, ob die KI hier hilft.

Ich habe sie dafür mit folgendem (komplett erfundenen) Text gefüttert: „Fahrzeug übersehen. Am Freitagmorgen, gegen 8.30 Uhr, befuhr ein 37-Jähriger Mann mit seinem Opel die Hamburger Straße in Fahrtrichtung Westring. Beim Einbiegen in den Westring übersah er vermutlich den bevorrechtigten Renault einer 19-Jährigen. Die beiden Autos prallten zusammen und wurden durch die Kollision so stark beschädigt, dass sich nicht mehr fahrbereit waren und abgeschleppt werden mussten. Insgesamt entstand Sachschaden in Höhe von circa 20.000 Euro. Verletzt wurde niemand.“ ChatGPT hat daraus folgendes gemacht:

Am Freitagmorgen kam es in Kiel zu einem Verkehrsunfall auf der Hamburger Straße. Gegen 8.30 Uhr befuhr ein 37-jähriger Mann mit seinem Opel die Straße in Fahrtrichtung Westring. Beim Einbiegen in den Westring übersah er vermutlich einen bevorrechtigten Renault, welcher von einer 19-jährigen Frau gesteuert wurde. Die beiden Autos prallten zusammen und wurden durch die Kollision so stark beschädigt, dass sie nicht mehr fahrbereit waren und abgeschleppt werden mussten. Glücklicherweise wurde bei dem Unfall niemand verletzt, der Sachschaden beläuft sich auf circa 20.000 Euro

ChatGPT

Ich hätte das natürlich anders geschrieben, aber wer dem Bot einige Eckdaten liefert, bekommt erstaunliche Texte.

Mit ChatGPT auf dem Fußballplatz

Noch ein Beispiel gefällig? Mein nächster Auftrag lautete: „Schreibe mir aus folgender Statistik einen Spielbericht:

FC Musterstadt gegen FC Einheitsdorf

Endstand 4:2 für den FC Musterstadt

Tore:

1:0 Max Mustermann (FC Musterstadt, 12. Minute)

1:1 John Doe (FC Einheitsdorf, 14. Minute)

1:2 Mario Rossi (FC Einheitsdorf, 44. Minute)

2:2 Joe Borg (FC Musterstadt, 67. Minute)

3:2 Jan Kowalski (FC Musterstadt, 72. Minute)

4:2 Jan Kowalski (FC Musterstadt, 89. Minute)

Besondere Vorkommnisse:

Rote Karte für Piet Pompies (grobe Unsportlichkeit, 49. Minute)

Auswechslungen:

John Smith für Fred Bloggs (beide FC Musterstadt, 46. Minute), Joe Ordinary für Koos van der Merwe (beide FC Einheitsdorf, 32. Minute

Hier das Ergebnis:

Am Samstagabend trafen der FC Musterstadt und der FC Einheitsdorf aufeinander. Von Beginn an entwickelte sich ein spannendes Spiel, in dem beide Mannschaften Torchancen hatten. Der FC Musterstadt konnte jedoch als erstes in Führung gehen, durch ein Tor von Max Mustermann in der 12. Minute. Der FC Einheitsdorf glich jedoch schnell aus, durch ein Tor von John Doe in der 14. Minute. Der FC Einheitsdorf konnte sogar in Führung gehen, durch ein Tor von Mario Rossi in der 44. Minute.
Doch der FC Musterstadt gab nicht auf und konnte durch Tore von Joe Borg in der 67. Minute und Jan Kowalski in der 72. und 89. Minute das Spiel noch drehen. Der FC Einheitsdorf hatte jedoch Pech, da in der 49. Minute ein Spieler mit der roten Karte des Feldes verwiesen wurde.
Das Spiel endete schlussendlich 4:2 für den FC Musterstadt. Es gab auch Auswechslungen auf beiden Seiten. John Smith und Fred Bloggs wurden für den FC Musterstadt ausgetauscht und Joe Ordinary und Koos van der Merwe für den FC Einheitsdorf.
Es war ein fesselndes Spiel mit vielen Torraumszenen und eine spannende Schlussphase.

ChatGPT

Klingt fast so, als ob der Roboterjournalist vor Ort gewesen wäre, oder? Aber auch hier kann es sich der Chatbot nicht verkneifen, Dinge hinzuzudichten. So habe ich ihm die Information vorenthalten, wann das Spiel stattgefunden hat. Und weil die KI das sehr wichtig fand, schrieb sie einfach mal Samstagabend.

Mein Fazit

Wie die Beispiele verdeutlichen, ist ChatGPT derzeit mit Vorsicht zu genießen. Natürlich ist mir klar, dass der Chatbot derzeit noch ein Prototyp ist und sich ständig weiterentwickelt. Und die Entwickler wiesen ja schon auf der Startseite darauf hin, dass ChatGPT „gelegentlich falsche Informationen produzieren“ könne, gelegentlich „schädliche Anweisungen oder voreingenommene Inhalte produzieren“ kann und nur über „ein begrenztes Wissen über die Welt und Ereignisse nach 2021“ verfügt.

Unbesehen sollte man die Texte jedenfalls nicht übernehmen. Das kann schnell peinlich werden. Vor allem dann, wenn die KI anfängt, Dinge hinzuzudichten oder aber Texte mit falschen Fakten zusammenmixt.

Zudem sind der Sprachstil und die Rechtschreibung zumindest der deutschen Version noch verbesserungswürdig. Ich würde ganz sicher keine Haus- oder Abschlussarbeit mit ChatGPT schreiben. Der Aufwand, alle dort von der KI zusammengetragenen Informationen zu überprüfen, wäre mir einfach zu groß. Meiner Meinung nach sind Texte, die von einer KI geschrieben wurden, (noch) ganz leicht als solche zu erkennen.

Wenn man denn die Zeit hat, sie aufmerksam zu lesen. Was leider nicht immer gewährleistet werden kann. Den zumindest dieses Problem ist ja alt: Die Lehrenden haben häufig mit überfüllten Kursen und schlechter Uni-Infrastruktur zu kämpfen. Da stapeln sich die Hausarbeiten.

Auch hier könnte eine KI tätig werden und die (Vor-)Prüfung der Hausarbeiten übernehmen. Spätestens hier wird es dann aber absurd: Eine KI schreibt und der Text wird dann von einer anderen gelesen und bewertet. Spätestens da stellt sich die Frage nach dem „Wozu das Ganze?“.

Wer es selbst einmal ausprobieren möchte: Hier geht es zur Mutter aller Chatbots.

Und noch ein Hinweis. Die meisten der Bilder in diesem Beitrag habe ich mit einer KI erstellt. Zum Einsatz kam dabei DALL·E 2. Lediglich das Bild der Universitätskirche in Kiel habe ich selbst fotografiert. Und es bleibt unbedingt empfehlenswert, sich die mal“in echt“ anzuschauen. Wir sehen uns in der realen Welt.