Eine Initiative aus dem Science Data Center for Literature und der Deutschen Nationalbibliothek hat ab 20. Februar 2023 zu einer konzertierten Aktion zum Herunterladen möglichst aller deutschsprachigen Tweets aus dem Twitter-Archiv aufgerufen. Ziel war, über eine Crowdsourcing-Aktion ein möglichst vollständiges Archiv deutschsprachiger Tweets zu erstellen. Die Deutsche Nationalbibliothek stellt Archivserver für die dauerhafte Bewahrung des Archivs zur Verfügung.

Twitter und das Twitter-Archiv sind für viele wissenschaftliche Disziplinen eine wichtige Forschungsquelle. Mit der Übernahme von Twitter durch ein Investorenkonsortium um Elon Musk ist die Plattform in Turbulenzen geraten. Twitter hat bereits mit dem Umbau der Plattform begonnen und weitere Änderungen sind zu erwarten. Nutzende haben sich in mehreren Wellen von Twitter distanziert oder ganz verabschiedet.

Aufgrund dieser Entwicklungen erschien der wissenschaftliche Zugriff auf das Twitter-Archiv zunehmend unsicher. Aus kulturgeschichtlicher und archivarischer Sicht war es dringend erforderlich, wenigstens einen Teil des Twitter-Archivs zu sichern und zu bewahren.

Seit dem Start von Twitter sind rund vier Milliarden deutschsprachige Tweets veröffentlicht worden. Über die Academic Access API ist der Zugriff auf das gesamte Twitter-Archiv und ein Download von maximal zehn Millionen Tweets pro Monat möglich. Für 4 Milliarden Tweets braucht es also mit einem Account 400 Monate, mit 400 Accounts aber nur einen Monat, um das deutschsprachige Twitter herunterzuladen.

Ende April 2023 hat Twitter den Academic Research Access zur Twitter API geschlossen. Damit ist unsere Initiative beendet. Dank der Beiträge der Unterstützer*innen ist es gelungen, 200 Millionen deutschsprachige Tweets von rund 5,7 Mio. Accounts zu sammeln. Das umfasst den Zeitraum 03/2006 bis einschließlich 05/2011.

Wie sind wir vorgegangen?

Über eine Suche haben wir alle von Twitter als deutschsprachig eingeordneten Tweets gefiltert. Für das konzertierte Herunterladen haben wir mithilfe der Count-API von Twitter einzelne Batches zusammengestellt, die jeweils maximal eine Million Tweets umfassen. Wir haben eine Webanwendung bereitgestellt, die einen automatisierten Download (Tokenspende) oder die Reservierung von Batches für den eigenständigen Download durch die Unterstützer*innen ermöglichte.

Wie geht es weiter?

Die Tweets sind bei der Deutschen Nationalbibliothek gespeichert und die Bewahrung ist gewährleistet. Die Deutsche Nationalbibliothek beabsichtigt, die Sammlung der Tweets im Rahmen ihrer Angebote für eine automatisierte Analyse (Text und Data Mining) für wissenschaftliche Zwecke nutzbar zu machen. Die automatisierte Analyse wird ausschließlich auf der Infrastruktur und in den Räumen der Deutschen Nationalbibliothek erlaubt sein.