WissensWert/93 - Wettbewerb zur Erkennung von Vandalismus

93 - Wettbewerb zur Erkennung von Vandalismus

Zur Idee

Kurzbeschreibung deiner Idee und deren Beitrag zur Förderung Freien Wissens

Es soll im kommenden Jahr ein Wettbewerb zu Erkennung von Vandalismus in der Wikipedia veranstaltet werden. Ziel ist es, die Entwicklung von Vandalismusdetektoren zu fördern, neue Ansätze der Erkennung zu erforschen und die bisherigen qualitativ miteinander zu vergleichen. Die Weiterentwicklung von Tools, die dem Schutz der Integrität der Wikipedia dienen, wirkt sich direkt auf die Zeit aus, die Freiwillige in diese Aufgaben investieren müssen: Je verlässlicher solche Tools arbeiten, desto mehr Zeit bleibt, neue Inhalte zu schaffen, anstatt vorhandene zu beschützen.

Welches Ziel soll mit deiner Idee erreicht werden?

Es soll im kommenden Jahr, im Rahmen einer angesehenen wissenschaftlichen Konferenz, ein Evaluierungswettbewerb veranstaltet werden, bei dem es darum geht, in einer zuvor von Menschenhand geprüften Kollektion von Edits, automatisch Vandalismus zu erkennen. Die Erkennungsleistung der eingereichten Detektoren wird ausgewertet und inklusive ausführlicher Verfahrensbeschreibungen frei zugänglich veröffentlicht.

Wie lässt sich messen, ob dieses Ziel erreicht wird?

Der unmittelbare Erfolg eines solchen Wettbewerbs bemisst sich in der Anzahl der Teilnehmer, ihrem Erfolg bei der Lösung der gestellten Aufgabe, und natürlich durch das potentielle Medienecho. Mittelbar erhoffen wir uns, dass der Wettbewerb für größere Aufmerksamkeit unter Forschern und Entwicklern in Bezug auf die Problemstellungen der Wikipedia sorgt.

Was ist die Zielgruppe deiner Idee?

Die Zielgruppe sind Informatiker (Studenten, Forscher, interessierte Laien).

Wie erreichst du diese Zielgruppe?

Wir werden Einladungen zum Wettbewerb über alle fachbereichsrelevanten Mailinglisten sowie mit Hilfe einer Presseankündigung durch die Bauhaus-Universität verbreiten. Darüber hinaus werden die Entwickler bereits existierender Tools persönlich eingeladen, teilzunehmen.

Beschreibe, welche Tools, Technologien oder Hilfsmittel du für die Umsetzung benötigst

Eine der größten Herausforderungen bei der Ausrichtung dieses Wettbewerbs ist die Erstellung einer repräsentativen Testkollektion von Edits, die von Menschenhand auf Vandalismus hin überprüft wurden. Wir planen in Größenordnungen von bis zu 50000 Edits, die direkt aus den Wikipedia Edit-Logs gezogen und dann per Hand überprüft werden. Die händische Prüfung ist teuer aber auch wichtig, da sie als Referenz für den Erfolg einer automatischen Erkennung dient.

Wird deine Idee weiterleben, nachdem die Förderphase beendet ist? Wie nachhaltig ist dein Projekt?

Definitiv, die Forschung an Vandalismusdetektoren steckt noch in den Kinderschuhen, und es ist bislang wenig darüber bekannt, wie gut die existierenden Ansätze funktionieren. Die für den Wettbewerb erschaffenen Testkollektionen werden vollständig zur Verfügung gestellt, so dass zukünftige Forschung und Entwicklung, die nach Ablauf des Wettbewerbs durchgeführt wird, sich direkt mit den Ansätzen des Wettbewerbs vergleichen kann. Es ist nicht unüblich, dass solcherlei Kollektionen über Jahre hinweg zu Standards für die Auswertung solcher Algorithmen avancieren. Nicht zuletzt erhoffen wir uns natürlich, dass die Ergebnisse des Wettbewerbs in die Entwicklung von Vandalismusdetektoren mit einfließen werden.

Lässt sich deine Idee auch von anderen Zielgruppen, Orten, Projekten nutzen? Wenn ja, wie und von wem?

Die Verfahren, die im Rahmen des Wettbewerbs von den Teilnehmern entwickelt werden, können mit großer Wahrscheinlichkeit direkt auch in anderen Sprachen der Wikipedia eingesetzt werden, oder generell in anderen Wikis.

Zur Person

Name

Martin Potthast

Website des Einreichers oder Projektes

http://www.webis.de (unsere Arbeitsgruppe)
http://www.potthast.net (zu meiner Person)

Profil des Einreichers

Ich habe Informatik an der Universität Paderborn studiert und bin nach
meinem Diplom in 2006 der Arbeitsgruppe Web-Technology & Information
Systems and der Bauhaus-Universität Weimar beigetreten. Meine
Forschung dort betrifft vor allem die Erkennung von Plagiaten,
Vandalismuserkennung in Wikipedia, sowie Tools zur
Schreibunterstützung.