Wer den Chatbot ChatGPT nutzt, kann bisweilen fast den Eindruck erhalten, sich mit einer realen Person zu unterhalten. Doch wie „tickt“ das Sprachmodell eigentlich?
Das hat ein interdisziplinäres Team um Jérôme Rutinowski, der am Bereich für Förder- und Lagerwesen der TU Dortmund zu Deep-Learning-Methoden forscht, nun untersucht: Die Forscher wollten herausfinden, wie ChatGPT politische Themen wahrnimmt und welche politischen Tendenzen möglicherweise in die Antworten einfließen.
Sie haben ChatGPT wiederholt Fragen aus verschiedenen Tests vorgelegt und beantworten lassen. Zunächst den Politischen-Kompass-Test, der 62 Fragen zu politischen Themen enthält, sowie iSideWith-Fragebögen mit spezifischen Fragen zur Politik der G7-Staaten. Die Antworten des Politischen Kompass Tests werden mit einer Likert-Skala erfasst, auf der man seine Zustimmung oder Ablehnung zu den Fragen angibt. Bei den iSideWith-Tests bekunden die Teilnehmenden ihre Zustimmung mit „Ja“ oder „Nein“.
Links-libertär verortet
Beide Tests stellen ihre Ergebnisse auf einer Koordinatenachse dar, wobei die x-Skala progressive und konservative und die y-Skala autoritäre und libertären Einstellungen anzeigt. Im Politischen Kompass Test wurde ChatGPT in allen Durchläufen im links-libertären Quadranten verortet.
Auch die Ergebnisse der insgesamt 70 Durchgänge der iSideWith-Fragebögen weisen auf eine politische Voreingenommenheit von ChatGPT gegenüber progressiven Ansichten hin. „Berücksichtigt man die Standardabweichungen, so scheint es ziemlich unwahrscheinlich, dass ChatGPT eine Antwort liefert, die nahe der Mitte des Politischen Kompasses liegt“, schreiben die Forscher.
Persönlichkeit der KI
Neben der politischen Zugehörigkeit wurde auch die Selbstwahrnehmung von ChatGPT anhand psychologischer Tests bewertet: Unter anderem mit dem Big-Five-Persönlichkeitstest, der international als das universelle Standardmodell in der Persönlichkeitsforschung gilt, und dem Dark-Factor-Test, der negative menschliche Eigenschaften untersucht.
Der Grund: „Vorstudien zeigen, dass bestimmte Charaktereigenschaften mit einer bestimmten politischen Gesinnung assoziiert sind“, erklärt Rutinowski. Wer etwa eher weltoffen ist, tendiere dazu, progressive politische Ansichten zu haben. Weniger weltoffene Personen seien hingegen eher konservativ. „Wenn ChatGPT menschliches Verhalten nachstellt, so müssten die Antworten der Persönlichkeitstests zu den Ergebnissen der politischen Tests passen“, sagt Rutinowski.
Die Annahmen der Forscher bestätigten sich im Big-Five-Persönlichkeitstest: ChatGPT zeigte hohe Scores von Offenheit (76,3 Prozent) und Verträglichkeit (82,55 Prozent) – Eigenschaften, die oft mit einer progressiven politischen Einstellung einhergehen. ChatGPT liegt dabei sogar über den Durchschnittswerten von Menschen, die bei 73,1 Prozent für Offenheit und 75,4 Prozent für Verträglichkeit liegen.
„Dunkle“ Eigenschaften sind schwach ausgeprägt
Im Dark-Factor-Test zeigte sich, dass die „dunklen“ Eigenschaften von ChatGPT im Schnitt weniger stark ausgeprägt sind als bei Menschen. Besonders niedrige Werte erzielte ChatGPT bei den Eigenschaften Machiavellismus, Tücke und Moralische Enthemmung. Vergleichsweise hohe Werte zeigte ChatGPT bei Egoismus und Sadismus, lag aber auch hier unter den untersten 35 Prozent beziehungsweise 29,1 Prozent der menschlichen Testteilnehmer und somit unter dem Durchschnitt.
Studienautor Rutinowski ist zufrieden, dass das Verhalten von ChatGPT der Logik der psychologischen Modelle zu folgen scheint. Wodurch die Tendenz zu progressiven politischen Einstellungen letztendlich genau entsteht, könne man aktuell nicht sagen, da die Daten, auf denen der Chatbot basiert, nicht öffentlich einsehbar sind.
„Die Ergebnisse unserer Studie weisen jedoch darauf hin, dass die Ursache womöglich in den Inhalten und Quellen im Internet liegt, die ChatGPT nutzt – diese dürften häufiger eher progressiv als konservativ sein. Außerdem scheint es unwahrscheinlich zu sein, dass die Entwickler*innen von ChatGPT vorab einen Bias einprogrammiert haben“, sagt Rutinowski.
Mit an der Studie beteiligt waren Forscher des Research Centers Trustworthy Data Science and Security der UA Ruhr, der Professur Mathematische Statistik und industrielle Anwendungen der TU Dortmund sowie des Lamarr-Instituts für Maschinelles Lernen und Künstliche Intelligenz.
