Analyse: Das Crowdsourcing-Faktencheck-Experiment von Twitter offenbart Probleme

Eine Poynter-Analyse ergab, dass weniger als die Hälfte der Birdwatch-Benutzer Quellen angeben und viele Notizen zur Überprüfung von Fakten parteiische Rhetorik enthalten.

Eine Version des Birdwatch-Algorithmus von Twitter vom 14. Februar verstärkte einige Notizen mit irreführenden Informationen.

Am 5. Februar wurde Twitter gemeldet ein Beitrag des umstrittenen YouTubers Tim Pool Das heißt, die US-Präsidentschaftswahlen 2020 seien manipuliert worden. Die Plattform stellte fest, dass die Behauptung bestritten wurde, und schaltete das Engagement „aufgrund eines Gewaltrisikos“ ab.

Aber weiter Vogelbeobachtung , der Social-Media-Plattform Experimentieren Sie mit Crowdsourcing-Faktenprüfungen Laut einer Analyse von Twitter-Daten vom 14. Februar sagten die Benutzer mit überwältigender Mehrheit, der Tweet sei nicht irreführend. Und die meisten Birdwatch-Benutzer gaben im Tool an, dass sie diese Notizen, die widerlegte Behauptungen unterstützten, hilfreich und informativ fanden.

„Laut der amtierenden (sic) Quelle von TIME gab es eine gut organisierte Gruppe geheimer Teilnehmer an einer Schattenorganisation, die wie eine Kabale klingt, die zusammengearbeitet hat, um die Wahl zugunsten von Joe Biden zu beeinflussen“, heißt es in einer Notiz. Während der Benutzer einen Link zu enthält ein Artikel im Time Magazine der tatsächlich Wörter wie „Kabale“ und „Verschwörung“ verwendet, geht der Kontext des Stücks – dass mächtige Gruppen hinter den Kulissen arbeiteten, um die Integrität der Wahlen zu schützen – verloren.

Die Birdwatch-Algorithmus , das darauf abzielt, hilfreiche Notizen aufzudecken, wies diesem „Faktencheck“ eine Nützlichkeitsbewertung von 0,68 zu – die höchste der Notizen in dem Tweet, knapp außerhalb der oberen 10 % der Notizen, die vom Algorithmus als „als hilfreich eingestuft“ eingestuft wurden 14. Februar. Als hilfreich bewertete Notizen machten etwa 7 % der 2.695 in dieser Analyse aus, und weniger als zwei Drittel davon enthalten einen Quellenlink, der kein weiterer Tweet ist.

Am 17. Februar, Twitter seinen Algorithmus geändert und Anmerkungen zum Pool-Tweet werden nicht mehr als hilfreich gewertet, obwohl sie sind noch unter dem Beitrag aufgeführt . Vor dieser Änderung gab es einen niedrigeren Schwellenwert, um als hilfreich zu gelten – nur 0,5 im Vergleich zum neuen Grenzwert von 0,84 – und Notizen mussten nur drei Bewertungen haben, um als hilfreich eingestuft zu werden, der Reihe nach priorisiert und mit einer blauen Note gekennzeichnet.

Jetzt muss eine Notiz fünf Bewertungen sammeln, um diesen Tweet in die zu verschieben neue Registerkarte „als hilfreich bewertet“ in Birdwatch . Und von diesen fast 2.700 Notizen in der Datenbank der Plattform haben 126 den neuen Schwellenwert erreicht – das sind weniger als 5 %. Drei Viertel der neuen „als hilfreich bewerteten“ Notizen enthielten eine Quelle außerhalb von Twitter.

Es ist eine zeitgemäße Illustration eines der Probleme, mit denen das Birdwatch-Modell konfrontiert ist: Kann ein Algorithmus, der von einer scheinbar zufälligen Gruppe von Menschen gefüttert wird, jemals die Wahrheit genau „bewerten“?

Birdwatch, in seiner Pilotphase mit etwas mehr als 1.000 Benutzern, ermöglicht es den Teilnehmern, Tweets als irreführend zu kennzeichnen und einen Hinweis hinzuzufügen, der eine Quelle zitiert und/oder den Kontext erklärt, warum er möglicherweise irreführend ist. Dann können Birdwatch-Benutzer diese Notizen nach Nützlichkeit ordnen (danach übernimmt der Algorithmus).

Letztendlich werden alle Twitter-Benutzer diese Notizen angeblich direkt unter den Tweets sehen können, aber im Moment sind sie darauf beschränkt einen bestimmten Abschnitt der Website . Birdwatch-Benutzer werden schließlich auch einen Reputationswert erstellen, der in den Hilfsbereitschaftsalgorithmus einfließt.

„Unser Ziel mit dem Birdwatch-Pilotprojekt ist es, ein System aufzubauen, in dem jeder etwas beitragen kann und das natürlich Informationen hervorhebt, die Menschen hilfreich finden“, sagte Keith Coleman, Vice President of Product bei Twitter, in einer E-Mail. „Wir glauben, dass es wichtig ist, offen zu sein, wer etwas beitragen kann, und dass durch Beiträge einer vielfältigen Gruppe die hilfreichsten Anmerkungen erhoben werden können.“

Aber ein Blick auf das System, wie es jetzt ist, zeigt Herausforderungen, die Faktenprüfer in Bezug auf Birdwatch angesprochen haben: ein Mangel an Faktenprüfungs-Expertise unter den Benutzern, die Schwierigkeit, einen Algorithmus zu erstellen, der irgendwie die hilfreichen Notizen der seriösesten Benutzer aufdeckt und Fragen zu parteiischen Motivationen von Nutzern.

„Ich bin nicht überrascht von diesen Ergebnissen angesichts der Polarisierung von Social-Media-Plattformen und der Zurückhaltung der Mainstream-Nutzer, Feedback zu solchen Anfragen zu geben, die von Plattformen angeboten werden, während motivierte Nutzer auf beiden Seiten des Ganges Plattformen als Schlachtfelder sehen, um ihre Erzählungen zu verbreiten andere“, sagte Baybars Örsek, Direktor des International Fact-Checking Network.

Eine Mehrheit der produktivsten Notizen von Birdwatch-Nutzern kennzeichnet rechtskritische Tweets als „irreführend“ und linkskritische als „nicht irreführend“. (Zum Beispiel hat der Benutzer einen Tweet markiert, der sagt: „ Team Biden ist weich gegenüber China “ von Senator Ted Cruz und dem Pool-Tweet als „nicht irreführend“; während ein Newsweek-Artikel über Rechtsextremisten und die GameStop-Saga und ein Tweet die Verbindung von Präsident Donald Trump mit den Unruhen im Kapitol wurden als „irreführend“ und „schädlich“ gekennzeichnet.) Und weniger als ein Fünftel der 82 Notizen des Benutzers enthalten eine Quelle, von denen mehrere andere Tweets sind. (Dieser Birdwatch-Benutzer hat auf eine Interviewanfrage nicht geantwortet.)

Coleman sagte, Birdwatch könne dazu angeregt werden, Notizen zu berücksichtigen, die von einer „verschiedenen Gruppe von Mitwirkenden“ stammen. Darüber hinaus ist das Bewertungssystem der Haupttreiber hinter der Plattform

„Wir glauben, dass diese Beiträge belohnen und anregen werden, die viele Menschen für wertvoll halten, und das Risiko angehen, dass eine bestimmte Gruppe oder Ideologie Birdwatch übernimmt“, sagte Coleman. „Daran werden wir während des Pilotprojekts aktiv arbeiten.“

Und tatsächlich zeigen die Notizen, die der Algorithmus nach den Änderungen vom 17. Februar als die hilfreichsten eingestuft hat, eine solidere Beschaffung und weniger parteiische Rhetorik als die Iteration von nur einem Tag zuvor. Aber die Änderung eines Algorithmus für ein Pilotprogramm mit 1.000 Benutzern und weniger als 2.700 Notizen ist eine Sache, die Änderung eines Algorithmus, sobald Birdwatch für alle Benutzer verfügbar ist, eine andere – und wer weiß, ob die Wirksamkeit des Algorithmus anhält, wenn die Benutzer anfangen zu gießen in die Plattform ein und repliziert vielleicht das Verhalten einiger der produktivsten Pilotteilnehmer.

„Wir haben derzeit keinen bestimmten Zeitplan für die Skalierung, da wir daran arbeiten, so viel wie möglich zu lernen und zu iterieren, während das Pilotprojekt noch klein ist“, sagte Coleman. „Wir planen eine Skalierung, sobald wir dies sicher tun können und wenn dies zur Verbesserung des Lernens beitragen kann.“

Dennoch, wie bei den Notizen unter dem Pool-Tweet, gibt es sie Beispiele für Partisanen oder Irreführende Information noch als normale Notizen sichtbar.

Vier der fünf aktivsten Benutzer, die mehr als 10 % der gesamten Notizen ausmachen, haben eine ähnliche Aktivität wie der produktivste Benutzer. Einer von ihnen behauptet, Jeffrey Epsteins Tod sei nie als Selbstmord gewertet worden. Der zweitproduktivste Vogelbeobachter zitiert jedoch in jeder Notiz eine Quelle, einschließlich Links von der Weltgesundheitsorganisation und FaktenCheck.org .

Keiner der Top-10-Nutzer ist laut seinem Twitter-Bios ein professioneller Faktenprüfer oder Journalist.

„Faktenprüfung ist eigentlich harte Arbeit, da sie geistig anstrengend ist“, sagte PolitiFact-Chefredakteurin Angie Holan in einer E-Mail. „Man muss sich wirklich konzentrieren und durch mentale Trägheit hindurchgehen, um Behauptungen zu identifizieren und sich dann überlegen, wie man sie entlarven oder verifizieren kann. Dann müssen Sie die Suche fortsetzen und die Ergebnisse dann aufschreiben. Es ist kein Tag am Strand, um es direkt auszudrücken. Und wenn ein Faktenprüfer eine parteiische Motivation hat, macht das eine gründliche und ausgewogene Anstrengung noch schwieriger.“

Trotz seiner Probleme weist Birdwatch auf Fehlinformationen hin, die traditionelle Faktenprüfer möglicherweise übersehen oder aufgrund potenzieller Schäden nicht prüfen – was dazu beitragen könnte, einige Lücken bei digitalen Fehlinformationen zu schließen. Während der Game-Stop-Saga verbreiteten sich Fehlinformationen über die Aktien dieses Unternehmens schnell auf allen Plattformen.

Schnauze und PolitiFact hat Behauptungen bezüglich GameStop nicht bewertet, während Leitgeschichten bewertet ein Reddit-Beitrag. Aber auf Birdwatch markierte die am besten bewertete Notiz – mit einem Hilfswert von 1,00 – einen irreführenden Tweet über Reddit, in dem Gespräche über die Aktie geführt wurden. Es gab ungefähr 50 Notizen über Reddit, GameStop und die Investitions-App Robinhood, auf denen Anfang dieses Monats ein hohes Handelsvolumen stattfand.

Und Birdwatch-Benutzer haben ein Konto, das behauptet, Virginia Sen. Amanda Chase zu gehören, danach korrekt als Fälschung gekennzeichnet getwittert , „… Wir haben ein Drogenproblem in Virginia, und die Legalisierung von Marihuana wird nur zu mehr Marihuana-Überdosierungen und Todesfällen führen …“

Crowdsourcing kann das Leben professioneller Faktenprüfer erleichtern, indem es Fehlinformationen aufdeckt, sagte Örsek.

Coleman sagte, Twitter sei bestrebt, Transparenz zu wahren – was diese Analyse möglich gemacht habe – und Beiträge von Experten zur Zukunft der Plattform einzubeziehen.

„Von der Zusammenarbeit mit einem eingebetteten Teammitglied aus dem Zentrum der Universität von Chicago für RISC , Feedback-Sitzungen mit Reportern und Forschern zu veranstalten, arbeiten wir daran, die enorme Menge an Fachwissen und Wissen zu nutzen, die über Twitter hinaus vorhanden sind“, sagte er.

Holan und Örsek empfehlen Anreize und Schulungen für Birdwatch-Benutzer sowie den Einsatz professioneller Faktenprüfer, um hochrangige Notizen zu überprüfen.

„Aber ich bin ziemlich skeptisch gegenüber Technologieunternehmen, die glauben, dass ihre Benutzer Inhalte kostenlos für sie moderieren werden“, sagte Holan. „Die meisten Nutzer sehen es nicht als ihre Aufgabe an, den Plattformen dabei zu helfen, ihre eigenen Geschäfte zu führen.“