Marcel Pauly

Wir haben mal wieder die Nebeneinkünfte der Bundestagsabgeordneten ausgewertet: www.spiegel.de/politik/deut... In der Vergangenheit lief das so: regelbasiertes Parsing der Freitextangaben, viel Regex, viel Fluchen. Diesmal haben wir ein LLM-gestütztes Parsing genutzt – und sehr viel gelernt. 1/18

Ist „sehr gut“ gut genug? Ich würde sagen: Um als Journalist in diesem Datensatz nach interessanten Fällen zu suchen und diese anschließend auszurecherchieren, reicht es völlig aus. Die Einkunftssumme pro MdB ohne weiteren Abgleich zu veröffentlichen, fände ich aber problematisch. 17/18

Wir haben mal wieder die Nebeneinkünfte der Bundestagsabgeordneten ausgewertet: www.spiegel.de/politik/deut... In der Vergangenheit lief das so: regelbasiertes Parsing der Freitextangaben, viel Regex, viel Fluchen. Diesmal haben wir ein LLM-gestütztes Parsing genutzt – und sehr viel gelernt. 1/18

Abgeordnetenwatch hat auch diesmal auf ein teils regelbasiertes, teils händisches Verfahren gesetzt. Durch den Abgleich konnten wir Abweichungen überprüfen. In einem einzigen Fall hat unser Parser eine Zahlung unvollständig erfasst, weil das Enddatum nicht, wie üblich, angegeben wurde. 15/18

Wir haben mal wieder die Nebeneinkünfte der Bundestagsabgeordneten ausgewertet: www.spiegel.de/politik/deut... In der Vergangenheit lief das so: regelbasiertes Parsing der Freitextangaben, viel Regex, viel Fluchen. Diesmal haben wir ein LLM-gestütztes Parsing genutzt – und sehr viel gelernt. 1/18

Zahlreiche stichprobenartige Checks bestätigten die am Ende dieses Entwicklungs- und Verbesserungsprozesses hohe Qualität unseres Parsings. Und doch hätten wir Bauchschmerzen gehabt, unsere Auswertung allein darauf zu stützen. Vielleicht haben sich ja irgendwo doch noch Fehler eingeschlichen … 13/18

Wir haben mal wieder die Nebeneinkünfte der Bundestagsabgeordneten ausgewertet: www.spiegel.de/politik/deut... In der Vergangenheit lief das so: regelbasiertes Parsing der Freitextangaben, viel Regex, viel Fluchen. Diesmal haben wir ein LLM-gestütztes Parsing genutzt – und sehr viel gelernt. 1/18

Bei unterschiedlichen Ergebnissen wurde eine Angabe an das nächstbessere Modell gegeben und schließlich bei weiterhin bestehenden Unterschieden händisch geprüft. 11/18

Wir haben mal wieder die Nebeneinkünfte der Bundestagsabgeordneten ausgewertet: www.spiegel.de/politik/deut... In der Vergangenheit lief das so: regelbasiertes Parsing der Freitextangaben, viel Regex, viel Fluchen. Diesmal haben wir ein LLM-gestütztes Parsing genutzt – und sehr viel gelernt. 1/18

Komplexität meint hier bspw. die Länge einer Angabe, die Anzahl der darin genannten Geldbeträge – Dinge also, die sich leicht regelbasiert erkennen lassen und als Weiche fungieren können. 9/18

Wir haben mal wieder die Nebeneinkünfte der Bundestagsabgeordneten ausgewertet: www.spiegel.de/politik/deut... In der Vergangenheit lief das so: regelbasiertes Parsing der Freitextangaben, viel Regex, viel Fluchen. Diesmal haben wir ein LLM-gestütztes Parsing genutzt – und sehr viel gelernt. 1/18

Das anfängliche „Rumprobieren und Sehen, was passiert“ ist einem systematischen Testen gewichen: Wir haben eine quotierte Stichprobe mit Dutzenden Angaben sämtlicher Typen und unterschiedlicher Komplexitätsstufen gezogen. Für diese haben wir definiert, was wir als richtige Zieldaten erwarten. 7/18

Wir haben mal wieder die Nebeneinkünfte der Bundestagsabgeordneten ausgewertet: www.spiegel.de/politik/deut... In der Vergangenheit lief das so: regelbasiertes Parsing der Freitextangaben, viel Regex, viel Fluchen. Diesmal haben wir ein LLM-gestütztes Parsing genutzt – und sehr viel gelernt. 1/18

Technisch geschieht das in Python. Für die Kommunikation mit dem LLM nutzen wir Pydantic AI. Zudem definieren wir mit einem Pydantic-Modell das erwünschte Zielformat. Pydantic AI akzeptiert nur Antworten, die dem Zielformat entsprechen, und besteht ggf. auf eine neue, überarbeitete Antwort. 5/18

Wir haben mal wieder die Nebeneinkünfte der Bundestagsabgeordneten ausgewertet: www.spiegel.de/politik/deut... In der Vergangenheit lief das so: regelbasiertes Parsing der Freitextangaben, viel Regex, viel Fluchen. Diesmal haben wir ein LLM-gestütztes Parsing genutzt – und sehr viel gelernt. 1/18

Gleichzeitig besteht das Risiko, dass einzelne Informationen falsch zugeordnet werden, dass etwas weggelassen, hinzugedichtet oder verändert wird. Mit verschiedenen Methoden haben wir sichergestellt, dass das nicht passiert. 3/18

Wir haben mal wieder die Nebeneinkünfte der Bundestagsabgeordneten ausgewertet: www.spiegel.de/politik/deut... In der Vergangenheit lief das so: regelbasiertes Parsing der Freitextangaben, viel Regex, viel Fluchen. Diesmal haben wir ein LLM-gestütztes Parsing genutzt – und sehr viel gelernt. 1/18

Wer sich in den vergangenen Wochen etwas mit der NSDAP-Mitgliederkartei beschäftigt hat, musste irritiert sein vom Stunt von Correctiv und Katapult. Viel zu spät haben die Medienhäuser begriffen, was sie da am Dienstag rausgehauen haben. Nun mussten sie ihre Veröffentlichungen zurückziehen. 1/12

Wer eine noch smartere Suchfunktion verwenden und gleichzeitig weitere Datenquellen (z. B. Entnazifizierungsakten und Kriegsverbrecherurteile) durchsuchen will, wird beim SPIEGEL fündig: www.spiegel.de/geschichte/n... (Geschenklink, die ersten zehn Aufrufe führen kostenlos zu unserem Tool.) 11/12

Wer sich in den vergangenen Wochen etwas mit der NSDAP-Mitgliederkartei beschäftigt hat, musste irritiert sein vom Stunt von Correctiv und Katapult. Viel zu spät haben die Medienhäuser begriffen, was sie da am Dienstag rausgehauen haben. Nun mussten sie ihre Veröffentlichungen zurückziehen. 1/12

Wer nach Hinweisen auf eine NS-Vergangenheit der eigenen Vorfahren suchen will, kann das kostenlos und unkomfortabel beim US-Nationalarchiv tun: catalog.archives.gov/id/12044361 9/12

Wer sich in den vergangenen Wochen etwas mit der NSDAP-Mitgliederkartei beschäftigt hat, musste irritiert sein vom Stunt von Correctiv und Katapult. Viel zu spät haben die Medienhäuser begriffen, was sie da am Dienstag rausgehauen haben. Nun mussten sie ihre Veröffentlichungen zurückziehen. 1/12

So etwas muss beim Überprüfen der Daten auffallen. Liegen mehrere Quellen vor, liegt ein Abgleich auf der Hand. Mit sehr begrenztem Aufwand ließen sich zahlreiche Hinweise finden, dass das „Brown Archive“ Daten enthielt, die ganz offensichtlich von der Zeit abgegriffen worden waren. 7/12

Wer sich in den vergangenen Wochen etwas mit der NSDAP-Mitgliederkartei beschäftigt hat, musste irritiert sein vom Stunt von Correctiv und Katapult. Viel zu spät haben die Medienhäuser begriffen, was sie da am Dienstag rausgehauen haben. Nun mussten sie ihre Veröffentlichungen zurückziehen. 1/12

Der Betreiber des „Brown Archive“ behauptete, mit dem Skript von zwei Schweizer Forschern gearbeitet zu haben. In seinem inzwischen nicht mehr aufrufbaren GitHub-Account fand sich ein entsprechendes geforktes Repo. Das Skript verwendet ein lokales LLM und einen einzigen, relativ simplen Prompt. 5/12

Wer sich in den vergangenen Wochen etwas mit der NSDAP-Mitgliederkartei beschäftigt hat, musste irritiert sein vom Stunt von Correctiv und Katapult. Viel zu spät haben die Medienhäuser begriffen, was sie da am Dienstag rausgehauen haben. Nun mussten sie ihre Veröffentlichungen zurückziehen. 1/12

Die Medienhäuser verwendeten die Daten des „Brown Archive“, einer privaten Website eines Programmierers aus Osnabrück. Wären Correctiv und Katapult ihrer Sorgfaltspflicht nachgekommen, wäre ihnen aufgefallen, dass diese Daten mindestens in großen Teilen sehr wahrscheinlich geklaut waren. 3/12

Wer sich in den vergangenen Wochen etwas mit der NSDAP-Mitgliederkartei beschäftigt hat, musste irritiert sein vom Stunt von Correctiv und Katapult. Viel zu spät haben die Medienhäuser begriffen, was sie da am Dienstag rausgehauen haben. Nun mussten sie ihre Veröffentlichungen zurückziehen. 1/12

Für unser Titelstück über Markus Söders Social-Media-Inszenierung haben wir unter anderem sein Instagram-Profil gescrapet. www.spiegel.de/politik/deut... 1/5

Brauchbare APIs stellen die Social-Media-Plattformen schon lange nicht mehr bereit. Mit der Ankündigung von Meta, politische Anzeigen auf Facebook und Instagram abzuschaffen, verliert auch die Ad Library für uns jegliche Bedeutung. 4/5

Für unser Titelstück über Markus Söders Social-Media-Inszenierung haben wir unter anderem sein Instagram-Profil gescrapet. www.spiegel.de/politik/deut... 1/5

Wir haben dafür mit der Python-Library Playwright gearbeitet, mit der sich ein Browser fernsteuern lässt. Wichtig bei Plattformen mit Infinite-scrolling: Geladene Posts verschwinden beim Runterscrollen wieder, damit die gleichzeitig geladene Datenmenge für den Browser nicht zu groß wird. 2/5

Wer wählte wen bei der #btw25? Mit den Daten der Repräsentativen Wahlstatistik habe ich diesmal etwas Neues ausprobiert: die Wählerschaft einer Partei als zweidimensionale Form in einem Radar-Chart mit Männern, Frauen, Jungen, Alten. www.spiegel.de/politik/deut...

Wen die Technik hinter den Grafiken interessiert: Die Radar-Charts sind umfunktionierte Datawrapper-Scatterplots. Die Koordinaten der einzelnen Punkte und Linien sind vorab in Python berechnet. (Danke an Sinus, Cosinus und ChatGPT.)

Wer wählte wen bei der #btw25? Mit den Daten der Repräsentativen Wahlstatistik habe ich diesmal etwas Neues ausprobiert: die Wählerschaft einer Partei als zweidimensionale Form in einem Radar-Chart mit Männern, Frauen, Jungen, Alten. www.spiegel.de/politik/deut...