Wie das Duke Reporters‘ Lab die politischen Konventionen nutzte, um sein automatisiertes Faktenprüfungsprogramm zu perfektionieren

Mit freundlicher Genehmigung des Duke Reporters‘ Lab

Die politischen Kongresse der vergangenen zwei Wochen boten dafür perfekte Bedingungen Tech & Check-Genossenschaft Bei der Duke Reporters’ Lab um sein automatisiertes Faktenprüfprogramm Squash und seine menschliche Komponente Gardener zu perfektionieren.

Squash ist ein Programm für künstliche Intelligenz, das Echtzeit-Übereinstimmungen zwischen bestehenden Faktenchecks vornimmt ClaimReview , das Faktencheck-Tagging-System des Reporters‘ Lab und die Aussagen eines Live-Sprechers. Es verwendet eine Kombination von Google Sprache-zu-Text ; ClaimBuster , das an der University of Texas in Arlington entwickelt wurde; und Dukes eigene Kodierung, um gesprochene Wörter mit denen abzugleichen, die in einem Faktencheck geschrieben wurden. Diese Faktenchecks werden auf dem Bildschirm angezeigt, um den Zuschauern mehr Kontext zu den diskutierten Themen zu geben.

Wie die Co-Direktoren von Reporting Lab, Bill Adair und Mark Stencel, schrieben Nieman Lab im Juli , ist dieses System nicht ohne Nachteile.

„Manchmal kann Voice-to-Text wirklich gut sein, wenn das Mikrofon gut ist und die Person deutlich spricht, aber wir hatten einige komisch schlechte“, sagte Adair. Während der namentlichen Abstimmung auf dem Parteitag der Demokraten stimmte Squash mit einem Faktencheck überein Achselschweiß zu den Stimmen von Kansas.

Christopher Guess, leitender Technologe des Reporters‘ Lab, sagte, die aktuelle Technologie erlaube es einem Computer nicht, die Nuancen und den Kontext der Art und Weise zu verstehen, wie Politiker oft sprechen.

„Ein menschlicher Faktenprüfer räuspert sich oft und bespricht mit Kollegen, aus welchem ​​Blickwinkel Sie das angehen werden“, sagte Guess. „Das ist etwas, was ein Computer buchstäblich nicht kann.“

Gardener ist eine neue Schnittstelle, die das Tech & Check-Team auf Squash aufgebaut hat, um diesen Mangel zu beheben. Squash stellt dem menschlichen Assistenten (dem „Gärtner“) drei potenziell passende Faktenchecks zur Verfügung, die diese Person dann auswählt, um sie den Zuschauern anzuzeigen.

„Wir sortieren also die schlechten aus und zeigen die guten“, sagte Adair. Das Programm steckt noch in den Kinderschuhen, und neben der Perfektionierung des Abgleichs und der Überwindung von Hindernissen in der Voice-to-Text-Technologie sagen sowohl Adair als auch Guess, dass sie noch viele weitere Faktenchecks benötigen, um die Technologie perfektionieren zu können.

„Es stützt sich auf einen großen Korpus von zuvor überprüften Behauptungen“, sagte Guess. Momentan verfügt ClaimReview über eine Datenbank mit rund 60.000 Schadensmeldungen, aber Guess sagte, dass nur etwa ein Drittel davon für die amerikanische Politik relevant sind. „Die Welt des maschinellen Lernens arbeitet normalerweise in Millionen und Milliarden, nicht in Zehntausenden“, sagte Guess.

Während das Team auf weitere Behauptungen wartet, experimentiert es mit anderen Möglichkeiten, um Faktencheck-Matches zu verbessern. Eines davon ist ein Programm namens Caucus, das Faktenchecks in Kategorien gruppiert, die dann mit Behauptungen abgeglichen werden können, die per Voice-to-Text erfasst werden.

„Sagen Sie also, dieser Satz handelt von Gesundheitsversorgung, dies von Politik, dies von Idaho“, sagte Guess. „Ich habe eine Theorie, dass Behauptungen, die in die gleichen Kategorien fallen, eher verwandt sind als Behauptungen, die es nicht sind.“

Adair wollte keinen Zeitplan festlegen, wann diese Technologie der Öffentlichkeit zur Verfügung stehen würde. „Unser Ziel ist es, es immer besser zu machen, bis es fertig ist“, sagte er. „Wir haben in drei Jahren große Fortschritte gemacht, und mit all den klugen Leuten, die Sie hier sehen, können Sie viel erreichen.“

Harrison Mantas ist Reporter für das International Fact-Checking Network, das sich mit Faktenprüfung und Fehlinformationen befasst. Erreichen Sie ihn unter Email oder auf Twitter unter @HarrisonMantas