Jump to content

Template:Model card ORES goodfaith edit/ca

From Meta, a Wikimedia project coordination wiki
Model card
This page is an on-wiki machine learning model card.
A diagram of a neural network
A model card is a document about a machine learning model that seeks to answer basic questions about the model.
Model Information Hub
Model creator(s)Aaron Halfaker (User:EpochFail) and Amir Sarabadani
Model owner(s)WMF Machine Learning Team (ml@wikimediafoundation.org)
Model interfaceOres homepage
CodeORES Github, ORES training data, and ORES model binaries
Uses PIINo
In production?Yes
Which projects?{{{language}}} {{{project}}}
Aquest model utilitza dades sobre una revisió per predir la probabilitat que la revisió sigui de bona fe.


Motivació

[edit]

No totes les edicions perjudicials són vandalisme. Aquest model pretén diferenciar entre edicions que són intencionadament perjudicials (malediccions/danys de bon estat) i edicions que pretenen ser perjudicials (bones edicions/danys de bon estat). El model proporciona una suposició de si una revisió donada és de bona fe, i proporciona algunes probabilitats de servir com a mesura del seu nivell de confiança. Aquest model es va inspirar en la investigació del sistema de detecció de vandalisme i el potencial perquè els sistemes de detecció de vandalisme també s'utilitzin com a sistemes de detecció de nous resultats de bon estat. ⁇ ref ⁇ Halfaker, A., Geiger, R. S., ⁇ Terveen, L. G. (2014, April). Snuggle: Disseny de la conferència SIGCHI sobre factors humans en sistemes de computació (pp. 311-320). ⁇ /ref ⁇

Usuaris i usos

[edit]
Use this model for
  • Aquest model s'ha d'utilitzar per prioritzar la revisió i la possible reversió del vandalisme a la Viquipèdia catalana.
  • Aquest model s'ha d'utilitzar per detectar contribucions de bona fe per part d'editors a la Viquipèdia en català.
Don't use this model for
  • Aquest model no s'ha d'utilitzar com a àrbitre definitiu de si una edició s'ha de considerar o no de bona fe.
  • El model no s'ha d'utilitzar fora de la Viquipèdia en català.
Current uses
  • La Viquipèdia en català utilitza el model com a servei per facilitar revisions d'edició eficients o suport per a nouvinguts.
  • De manera individual, qualsevol pot enviar una crida API amb format adequat a ORES per a una revisió donada i recuperar el resultat d'aquest model.
Example API call:
{{{model_input}}}

Consideracions ètiques, advertències i recomanacions

[edit]

La Viquipèdia en català va decidir utilitzar aquest model. Amb el temps, el model s'ha validat mitjançant l'ús a la comunitat.

Aquest model és conegut per donar als editors més nous menor probabilitat d'editar de bona fe.

Els canvis interns o externs que podrien fer que aquest model sigui obsolet o ja no es pugui utilitzar són:

  • La deriva de dades significa que l'entrenament de dades per al model ja no es pot utilitzar.
  • No compleix les mètriques de rendiment desitjades en producció.
  • La comunitat catalana de la Viquipèdia decideix no utilitzar aquest model més.

Model

[edit]

Rendiment

[edit]

Test data confusion matrix: {{{confusion_matrix}}}

Test data sample rates: {{{sample_rates}}}

Test data performance: {{{performance}}}

Implementació

[edit]
Model architecture
{{{model_architecture}}}
Output schema
{{{model_output_schema}}}
Example input and output
Input:
{{{model_input}}}

Output:

{{{model_output}}}

Dades

[edit]
Data pipeline
Les dades tabulars sobre les edicions es recullen a l'API Mediawiki, preprocessada (a través de log-transformations, unint-se amb dades de l'editor públic, etc.), i unida amb etiquetes de bona fe/dany generades per l'usuari.
Training data
Aquest model es va formar amb dades de formació etiquetades a mà que tenen diversos anys.
Test data
Les estadístiques que s'han informat aquí s'han calculat seleccionant una partició aleatòria de les dades d'entrenament per a mantenir-les fora del procés d'entrenament. El model llavors fa una predicció d'aquestes dades, la qual cosa es compara amb la veritat fonamental subjacent.

Llicències

[edit]

Cita

[edit]

Cite this model card as:

@misc{
  Triedman_Bazira_2023_{{{language}}}_{{{project}}}_goodfaith,
  title={ {{{language}}} {{{project}}} goodfaith model card },
  author={ Triedman, Harold and Bazira, Kevin },
  year={ 2023 },
  url={ https://meta.wikimedia.org/wiki/Model_card_ORES_goodfaith_edit/ca }
}