Wie die Huffington Post jährlich über 70 Millionen Kommentare verarbeitet

Die Huffington Post hat in diesem Jahr bisher mehr als 70 Millionen Kommentare gesammelt und damit die Gesamtzahl von 54 Millionen im Jahr 2011 weit übertroffen.

Um ein einziges Beispiel zu nennen, sein Post (the erstmals veröffentlicht) mit dem inzwischen berühmten Video von Mitt Romneys „47-Prozent“-Kommentaren erregte er einen überwältigenden Eindruck 171.753 Kommentare .

Alle Nachrichtenseiten haben auf die eine oder andere Weise mit Benutzerkommentaren zu kämpfen, aber die Moderation dieser enormen Menge an Nachrichten ist ein einzigartiger Test dafür, ob Online-Gespräche, wie wir sie kennen – ein Dutzend Leute, die ein paar Punkte zu einem Blogbeitrag oder Artikel machen – unendlich skalieren können größer, ohne in Kakophonie zu verfallen.

Benutzerkommentare zu Artikeln der Huffington Post sind im Laufe der Jahre sprunghaft angestiegen, auf etwa 8 Millionen im Juli und 9 Millionen (nicht abgebildet) im August. (Diagramm und Daten mit freundlicher Genehmigung von The Huffington Post)

Ich habe Justin Isaf, Director of Community bei The Huffington Post, einige Fragen dazu gestellt, wie die Website wertvolle Diskussionen schafft und Community-Standards mit bis zu 25.000 Kommentaren pro Stunde durchsetzt.

Poynter: Eine der großen Fragen lautet: „Skaliert“ der Aufbau von Communitys rund um Online-Nachrichten? Das heißt, wenn 100.000 Menschen einen Beitrag kommentieren, können Sie wirklich noch Ideen austauschen und sich wirklich unterhalten – oder haben Sie nur 100.000 Menschen, die so laut reden, dass niemand zuhören kann? Entsteht wirklich eine Gemeinschaft, die sich kennt und miteinander lernt billige Retro-Jordans ?

Justin Isaf: Sie können definitiv eine sinnvolle Community in großem Maßstab haben. 70 % unserer Kommentare sind Antworten an andere Personen, selbst bei Artikeln mit 100.000 Kommentaren. Die Leute achten tatsächlich aufeinander und führen interessante Diskussionen.

Das ist eigentlich eine wirklich interessante Frage und ich würde mich gerne eine Minute lang darüber aufregen. Es gibt wirklich zwei Hauptherausforderungen für die Community im Maßstab. Die größte Herausforderung ist das Problem des faulen Apfels, eloquent formuliert in „ Godwins Gesetz “ („Mit zunehmender Länge einer Online-Diskussion nähert sich die Wahrscheinlichkeit eines Vergleichs mit Nazis oder Hitler 1“). Das zweite Problem, das erst dann wirklich zum Problem wird, wenn Sie das erste gelöst haben, ist das der Entdeckung – wie finden Sie das Gespräch, das Sie als Leser interessieren wird, wenn es 185.000 Kommentare zu einem Artikel gibt?

Justin Isaf hat zuvor bei Change.org gearbeitet Beitritt zur Huffington Post .

Bei Godwins Gesetz dreht sich alles um diesen einen Typen, der hereinkommt und die Dinge weniger angenehm macht, bis zu dem Punkt, an dem Ihre guten Mitglieder einfach gehen. Es ist ein größeres Problem im Maßstab, aber es ist ein Problem in allen Phasen einer Gemeinschaft.

Für uns bestand die Lösung darin, wirklich hart zu arbeiten, um die Community sicher und angenehm zu halten, indem wir viel Zeit und Energie in die Vormoderation investieren, um diese schlechten Schauspieler fernzuhalten … Unsere Überzeugung läuft auf eine sehr einfache „Wenn Sie absichtlich oder konsequent sind wodurch dies zu einem weniger angenehmen Ort wird, können Sie und Ihre Kommentare daraus entfernt werden.“

Unser Ansatz für das andere Problem – die richtige Diskussion für Sie zu finden – war sowohl gemeinschaftlich als auch technologisch. Erstens ermöglicht das „Fan“-Netzwerk auf HuffPost den Menschen, zu sehen, worüber ihre Freunde sprechen, und leicht mit neuen Leuten in Kontakt zu treten, die sie interessant finden. Wir möchten sicherstellen, dass sich alte Freunde leicht finden können, sie aber gleichzeitig neuen Leuten vorstellen, damit sie ihre Community und ihr Netzwerk ständig erweitern.

Die Technologielösung, um die richtigen Leute zusammenzubringen, beinhaltet VIEL Datenverarbeitung, intelligente Algorithmen und ein elegantes Design. Zum Beispiel führt unser Pundit-Programm in der Politikbranche – das Kommentare und Konversationen hervorhebt, die für ein großes Publikum im Allgemeinen interessanter sein werden – zu einigen der fesselndsten und tiefgründigsten Konversationen auf der Website, selbst wenn es ein hohes Volumen gibt.

Durch die Konzentration auf diese beiden Themen – die Schaffung eines sicheren, unterhaltsamen Raums und die Unterstützung der Menschen bei der Suche nach für sie relevanten Inhalten – haben wir es uns ermöglicht, das Wachstum und die Größe einer echten Community zu verwalten. Es hat uns auch dabei geholfen, Benutzer erstaunlich gut zu halten. Über 1.000 der Community-Mitglieder, die sich in den ersten 6 Monaten des Bestehens der HuffPost angemeldet haben, kommentieren heute noch mehr als einmal pro Woche.

Natürlich erfordert diese Art von Aufwand auch erhebliche Ressourcen für die Wartung, oder? Können Sie mir mehr über das Kommentarmoderationsteam erzählen – die Anzahl der Leute, wann sie arbeiten, was sie tun? Und welche technologischen Lösungen wie Filter und Algorithmen helfen dabei, einen Teil dieser Arbeit zu automatisieren?

Unter: Jetzt sind wir ein größeres Team mit etwa 30 Vollzeitmoderatoren. Sie arbeiten 24/7/365 in Sechs-Stunden-Schichten und gehen jeweils Hunderte von Kommentaren pro Stunde durch. Sie alle haben ihren Sitz in den USA oder im Land der Ausgabe, an der sie arbeiten, damit sie den lokalen kulturellen Kontext und die Gespräche erhalten. Es ist eine sehr spezifische Fähigkeit und erfordert eine gewisse Mentalität, um es gut zu machen. Ich bin immer wieder beeindruckt von diesem Team.

Sie werden von einigen der besten Technologien der Branche unterstützt. Es würde wirklich lange dauern, all die verschiedenen Technologien zu erklären, die in den Moderationsfluss einfließen, aber im Kern steht Julia. Sie ist eine Maschine mit künstlicher Intelligenz, die den Mods hilft. Sie ist ein sehr cooles Stück Technik, das wir vor etwa 2 Jahren erworben und seitdem stark ausgebaut haben.

Ich würde gerne mehr über „Julia“ erfahren. Welche Rolle spielt sie bei der Moderation von Kommentaren? Woher stammt diese Technologie und kann sie von anderen übernommen werden? Führt sie semantische Analysen durch? „Lernt“ sie mit der Zeit? Was hat den Namen inspiriert?

Unter: Sie war Teil von eine Übernahme eines Unternehmens namens Adaptive Semantics das hat sie und die ursprüngliche Technologie dahinter erschaffen. Es war ein Zwei-Personen-Team, Jeff Revesz und Elena Haliczer. Elena ist jetzt VP of Product bei HuffPost, und die kontinuierliche Entwicklung von Julia wird von einigen sehr schlauen Leuten mit Doktortiteln in Dingen durchgeführt, die ich nie verstehen werde.

Julia ist ein maschineller Lernalgorithmus (JuLiA steht für „Just a Linguistic Algorithm“), dem wir beigebracht haben, mehrere Sprachen zu verstehen, und den wir kontinuierlich weiter unterrichten (ja, sie lernt mit der Zeit). Sie liest alles, was an HuffPost gesendet wird, und hilft den Moderatoren, ihre Arbeit schneller und genauer zu erledigen. Wir haben wirklich viel mit der maschinengestützten Moderation gemacht, die es uns ermöglicht, 9,5 Millionen Kommentare pro Monat vorzumoderieren, und Julia ist das Herzstück davon.

Ich bin ein großer Fan davon, dass uns Maschinen bei Aufgaben auf niedrigerer Ebene helfen, wodurch Zeit, Ressourcen und Gehirnleistung für interessantere und komplexere Aufgaben frei werden. Julia geht noch ein paar Schritte weiter und hilft uns bei vielen anderen Aspekten von HuffPost, zusätzlich dazu, missbräuchliche Mitglieder auszusortieren, einschließlich der Identifizierung intelligenter Gespräche für die Werbung und von Inhalten, die für unsere Werbetreibenden nicht geeignet sind. Sie hat es uns ermöglicht, mit viel weniger viel mehr zu erreichen.

Was bleibt also angesichts der ziemlich fortgeschrittenen Fähigkeiten von „Julia“ für die menschlichen Moderatoren übrig? Haben sie es mit den Kommentaren in der Grauzone zu tun, bei denen sich der Computer nicht sicher war?

Unter: Unser menschliches Team befasst sich mit vielen Problemen. Dazu gehören definitiv Graubereichskommentare, bei denen Julia sich nicht sicher ist, aber auch die Moderation auf höherer Ebene und besondere Pflege, Benutzerprobleme, Auditierung und Qualitätspflege usw.

Zum Beispiel:

• Julia hat Ressourcen freigesetzt, um in unser Community-Editor-Programm zu wechseln – Redakteure, die sich darauf konzentrieren, Inhalte zu erstellen und unser Publikum mit dem ausdrücklichen Ziel zu erreichen, eine dichtere Community von Menschen rund um Inhalte aufzubauen, die ihnen wichtig sind, mit Gleichgesinnten. Es ist sehr praktisch, grundlegend menschlich und hat erstaunliche Gruppen von Einzelpersonen geschaffen, die jetzt ein Zuhause haben, in dem sie ihre Leidenschaft mit ähnlichen Menschen teilen können, die sie sonst vielleicht nie getroffen hätten.
• Wenn umstrittene Persönlichkeiten sterben oder ins Krankenhaus eingeliefert werden, bemühen wir uns sehr, sicherzustellen, dass die Threads angemessen sind und nicht von Personen übernommen werden, die ihre Abneigung gegen die Person übermäßig lautstark zum Ausdruck bringen. Es ist die Art von Fürsorge, die Maschinen noch nicht ganz bekommen, aber dies sind immer noch Menschen mit Gefühlen, Familie, Freunden, geliebten Menschen, und wir sehen es als Teil unserer Verantwortung, dafür zu sorgen, dass Gespräche auf HuffPost dies berücksichtigen.
• Wir haben mehrere Geschichten und Abschnitte auf der Website, die leider kontrovers sind, und einige, die heikel sind – unsere Voices-Vertikalen, Teenager, Artikel über das Aussehen von Menschen usw. In vielen Fällen möchten wir in diesen Vertikalen sicherstellen, dass wir mehr menschliche Beteiligung haben weil sie so viele echte Leben berühren und echte Gefühle beeinflussen. Deshalb wollen wir sicherstellen, dass Menschen mit Gefühlen und Leben beteiligt sind. Julia ist der sensible Typ, aber sie „versteht es“ nicht immer, wenn es emotional ist.

Zu guter Letzt, wie denken Sie über den Versuch, die allerbesten Kommentare aus den Tausenden, die Sie erhalten, an die Oberfläche zu bringen? Oder allgemeiner gesagt, können Sie ein Kommentarsystem entwerfen, das für die Leute optimiert ist, die die Kommentare lesen, und nicht für die Leute, die die Kommentare hinterlassen?

Unter: Es gibt oft einen Kompromiss bei der Designauswahl – Menschen, die lesen, und Menschen, die sich unterhalten, haben oft unterschiedliche Bedürfnisse.

Sie können (und sollten) definitiv für das Lesen optimieren, besonders wenn man bedenkt, dass dies ein großer Teil einer Community ist (siehe „ 1-9-90-Regel “). Aber wenn Sie gleichzeitig für die Leute optimieren, die sich nicht unterhalten, riskieren Sie, die Menge an zu lesendem Zeug zu reduzieren.

Wir verfolgen den Ansatz, dass wir eine Plattform aufbauen wollen, die es unseren Community-Mitgliedern unglaublich einfach macht, miteinander in Kontakt zu treten, aber die es auch Erstlesern sehr einfach macht, die besten Interaktionspunkte und interessantesten Gespräche zu finden.

Es ist sicherlich ein Balanceakt, und wir haben im Laufe der Jahre sowohl qualitative als auch quantitative Daten verfolgt, um sicherzustellen, dass wir die ansprechendste und robusteste Plattform und Community schaffen, die wir können. Unser Ansatz funktioniert vielleicht nicht in jedem Fall, aber für uns hat es ziemlich gut funktioniert.

Früher: HuffPost schätzt Konversation und Gemeinschaft mehr als Inhalt | HuffPost verwendet Badges, um Benutzer als Moderatoren zu befähigen.