Jump to content

Template:Model card ORES goodfaith edit/nl

From Meta, a Wikimedia project coordination wiki
Model card
This page is an on-wiki machine learning model card.
A diagram of a neural network
A model card is a document about a machine learning model that seeks to answer basic questions about the model.
Model Information Hub
Model creator(s)Aaron Halfaker (User:EpochFail) and Amir Sarabadani
Model owner(s)WMF Machine Learning Team (ml@wikimediafoundation.org)
Model interfaceOres homepage
CodeORES Github, ORES training dataen ORES model binaries
Uses PIINo
In production?Yes
Which projects?{{{language}}} {{{project}}}
Dit model gebruikt 'gegevens over een herziening' om te voorspellen 'de waarschijnlijkheid dat de herziening in goede trouw is'.


Motivering

[edit]

Het model is bedoeld om te onderscheiden tussen edits die opzettelijk schadelijk zijn (badfaith/vandalism) en edits die schadelijk zijn bedoeld (goodfaith edits/goodfaith damage). Het model geeft een gok op of een bepaalde revisie in goede trouw is of niet, en biedt een aantal waarschijnlijkheden om te dienen als een maatstaf van het vertrouwen. Dit model is geïnspireerd door onderzoek naar het kwaliteitscontrole-systeem van Wikipedia en het potentieel voor vandalisme detectie modellen om ook te worden gebruikt als goodfaith newcomer detectie systemen.

Gebruikers en gebruik

[edit]
Use this model for
  • Dit model moet worden gebruikt om de herziening en mogelijke terugkeer van vandalisme op de Nederlandse Wikipedia te prioriteren.
  • Dit model dient te worden gebruikt om bijdragen van goede wil van redacteuren op de Nederlandse Wikipedia te detecteren.
Don't use this model for
  • Dit model mag niet als uiteindelijk scheidsrechter worden gebruikt voor het bepalen of een bewerking in goede trouw moet worden beschouwd.
  • Het model mag niet buiten de Nederlandse Wikipedia worden gebruikt.
Current uses
  • De Nederlandse Wikipedia gebruikt het model als dienst voor het faciliteren van efficiënte bewerkingsreviews of ondersteuning voor nieuwkomers.
  • Op individuele basis kan iedereen een goed geformatteerde API-oproep indienen aan ORES voor een bepaalde herziening en het resultaat van dit model terug krijgen.
Example API call:
{{{model_input}}}

Ethische overwegingen, waarschuwingen en aanbevelingen

[edit]

De Nederlandse Wikipedia besloot dit model te gebruiken.

Dit model geeft nieuwere redacteurs een lagere kans op goed geloof.

Interne of externe wijzigingen die dit model kunnen verouderen of niet langer bruikbaar maken:

  • Data drift betekent dat de traininggegevens voor het model niet langer bruikbaar zijn.
  • Niet voldoet aan de gewenste prestatiemetrices in de productie.
  • De Nederlandse Wikipedia-gemeenschap beslist dit model niet meer te gebruiken.

Model

[edit]

Prestaties

[edit]

Test data confusion matrix: {{{confusion_matrix}}}

Test data sample rates: {{{sample_rates}}}

Test data performance: {{{performance}}}

Uitvoering

[edit]
Model architecture
{{{model_architecture}}}
Output schema
{{{model_output_schema}}}
Example input and output
Input:
{{{model_input}}}

Output:

{{{model_output}}}

Gegevens

[edit]
Data pipeline
Tabelleerde gegevens over bewerkingen worden verzameld uit de Mediawiki API, vooraf verwerkt (via log-transformaties, verbonden met publieke redactiegegegegevens, enz.), en gecombineerd met door de gebruiker gegenereerde goodfaith/damaging labels.
Training data
Dit model is getraind met behulp van handmatig gemarkeerde traininggegevens die enkele jaren oud zijn.
Test data
De hier vermelde statistieken zijn berekend door een willekeurige verdeling van de opleidingsgegevens te selecteren die uit het opleidingsproces voortkomt.

Vergunningen

[edit]

Citaten

[edit]

Cite this model card as:

@misc{
  Triedman_Bazira_2023_{{{language}}}_{{{project}}}_goodfaith,
  title={ {{{language}}} {{{project}}} goodfaith model card },
  author={ Triedman, Harold and Bazira, Kevin },
  year={ 2023 },
  url={ https://meta.wikimedia.org/wiki/Model_card_ORES_goodfaith_edit/nl }
}