Sprache:
Deutsch oder Englisch

Zielgruppe:
Projektleiter, Manager, Architekten, Entwickler, Tester, ...

Voraussetzungen:
Interesse am Einsatz von Sprachmodellen im Bereich Software Engineering

Überblick und Zusammenfassungen:
Athanasius Kircher (1602-1680), Angehöriger des Jesuitenordens und Professor für Theologie und Philosophie am päpstlichen Collegio Romano, galt zu seiner Zeit als Universalgelehrter. Angeblich sprach er sämtliche relevanten Schriftsprachen und hatte alle existierenden gedruckten Bücher gelesen, stand mit über 350 Gelehrten im Austausch, und hat selbst über 35 umfangreiche Monografien zu den unterschiedlichsten Themen verfasst, von Magnetismus und Geologie über Kombinatorik, Musik und Farbenlehre bis hin zur Geschichte des alten Ägypten. Er wurde als Berater vom Papst und von den katholischen Fürstenhäusern Europas gleichermaßen geschätzt.

Im 18. Jahrhundert in Vergessenheit geraten – bereits sein Zeitgenosse Descartes urteilte hart: „Mehr Scharlatan als Gelehrter“ – wurden seine Werke im 20. Jahrhundert aufgrund ihres geschliffenen Lateins und der künstlerisch wertvollen Abbildungen wiederentdeckt. Sie gelten seitdem als Zusammenfassung des Wissenstands in der frühen Neuzeit.

Aus heutiger Sicht enthalten seine Werke für die damalige Zeit erstaunliche Thesen, z.B. dass Krankheiten von winzigen Lebewesen verursacht werden könnten. Einerseits. Andererseits enthalten sie auch haarsträubend falsche Behauptungen, z.B. dass Bienen keine Eier legten, dass es unterirdische Höhlen und Meere gäbe, die bis zum Erdmittelpunkt reichen, oder dass sich die Planeten im Weltall auf epizyklischen Bahnen um die sich im Zentrum befindliche Erde bewegten. Daneben gibt es Aussagen, die glatt erfunden worden sein müssen, z.B. Kirchers ‚Übersetzungen‘ altägyptischer Hieroglyphen.

Es lassen sich also erstaunliche Parallelen zu Sprachmodellen (Large Language Models, LLM) ziehen: wie Kircher verfügen diese über eine große Fülle an universellem Wissen, verstehen alle Sprachen, sind in der Lage, geschliffen zu formulieren, und können durch Deduktion selbstständig neues Wissen synthetisieren. Einerseits. Andererseits geben sie falsche Informationen oft ungeprüft wieder, machen teilweise unerklärliche Fehler bei scheinbar einfachen Themen, und erfinden sogar willkürlich Ergebnisse, ohne den Benutzer darüber zu informieren.

Was bedeutet dies für den Einsatz von LLMs in der Wissenschaft und Technik, und insbesondere in der Softwaretechnik? Welche Lehren lassen sich aus der Geschichte der Wissenschaft, vom aristotelischen Wissenschaftskonzept eines Athanasius Kircher über die Aufklärung bis hin zum empirischen Falsifikationsprinzips Karl Poppers (und letztendlich dessen Umsetzung für die Ingenieurwissenschaften) ziehen?

Wie müssen wir LLMs einsetzen, um nicht die Fehler des 17. Jahrhunderts zu wiederholen?


Art der Vermittlung:
Vortrag, mit vielen Beispielen und Publikumsinteraktion

Nutzen:
Sprachmodelle können heute in allen Phasen des Softwarelebensyklus eingesetzt werden, vom Anforderungsmanagement über die Architekturbeschreebung, der Implementierung, dem Codereview, der Erstellung von Testfällen und Testskripten, jeglicher Art von Dokumentation bis hin zur Erstellung von Handbüchern und Warnhinweisen.

Der potentielle Nutzen ist also enorm. Jedoch zeigt sich, dass selbst Sprachmodelle, die 'schwierige' Aufgaben meistern können, im Routinebetrieb sporadisch immer wieder Fehler machen, und dass sogar bei scheinbar 'einfachen' Aufgaben. Die Ausgabe eines Sprachmodells muss also immer geprüft werden, was in vielen Fällen ebenfalls mit hohem Aufwand verbunden ist.

Warum ist das so? Was kann man tun? Oder wird sich dieses Problem in den kommenden Jahren von alleine beheben, weil die Modelle besser werden? Der Autor ist skeptisch und der Meinung, dass es für Sprachmodelle grundlegende Grenzen gibt, die immer dazu führen werden, dass ihre Ausgabe mit einer gewissen Vorsicht betrachtet werden muss. Dies gilt insbesondere bei der Entwicklung eingebetteter Systeme, die unter Umständen sogar sicherheitsrelevante Aufgaben übernehmen.

Er bietet aber auch Lösungsstrategien, wobei er auf unterhaltsame Weise Parallelen zwischen den aktuellen Sprachmodellen und den Gelehrten des 17. Jahrhunderts aufzeigt. Die Lösung damals, nämlich die Abkehr vom reinen Aristotelischen Wissenschaftsprinzips des "Durchdenkens" hin zur Aufklärung und zum Empirismus, sollte uns als Leitlinie bei der Entwicklung von Prozessen und Systemen dienen, die Sprachmodelle zur Basis haben.