Jump to content

Template:Model card ORES goodfaith edit/cs

From Meta, a Wikimedia project coordination wiki
Model card
This page is an on-wiki machine learning model card.
A diagram of a neural network
A model card is a document about a machine learning model that seeks to answer basic questions about the model.
Model Information Hub
Model creator(s)Aaron Halfaker (User:EpochFail) and Amir Sarabadani
Model owner(s)WMF Machine Learning Team (ml@wikimediafoundation.org)
Model interfaceOres homepage
CodeORES Github, ORES training data, a ORES model binaries
Uses PIINo
In production?Yes
Which projects?{{{language}}} {{{project}}}
Tento model používá data o revizi k předpovědi pravděpodobnosti, že revize je v dobré víře.


Motivace

[edit]

Tento model je určen k rozlišení mezi úpravami, které jsou úmyslně škodlivé (zlá víra/vandalismus) a úpravami které jsou zamýšleny být škodlivé (dobré úpravy/zlé víra). Model poskytuje odhad, zda je daná revize ve dobré víře, a poskytuje některé pravděpodobnosti sloužit jako měřítko její úrovně důvěry. Tento model byl inspirován výzkumem systému kontroly kvality Wikipedie a potenciál pro odhalování vandalismu modelů, které mohou být také použity jako dobré víry nováčků detekční systémy.

Uživatelé a použití

[edit]
Use this model for
  • Tento model by měl být použit pro stanovení priorit pro přezkoumání a případné reverzi vandalismu na české Wikipedii.
  • Tento model by měl být použit k odhalení dobrovoľních příspěvků redaktorů na české Wikipedii.
Don't use this model for
  • Tento model by neměl být použit jako konečný rozhodčí, zda by se úprava měla považovat za správnou.
  • Model by neměl být používán mimo českou Wikipedii.
Current uses
  • Česká Wikipedie používá model jako službu pro usnadnění efektivních editovaných recenzí nebo podpory pro nově přijaté.
  • Každý může na individuální bázi předložit správně formátovanou výzvu API ORES k danému přepracování a získat výsledek tohoto modelu.
Example API call:
{{{model_input}}}

Etické úvahy, upozornění a doporučení

[edit]

Česká Wikipedie se rozhodla používat tento model.

Tento model je známý tím, že dává novějším editorům nižší pravděpodobnost úpravy v dobré víře.

Vnitřní nebo vnější změny, které by mohly způsobit, že tento model bude zastaralý nebo už nebude použitelný, jsou:

  • Dátový drift znamená, že údaje o výcviku pro model již nejsou použitelné.
  • Neplní požadované výkonnostní metry v produkci.

Česká Wikipedie se rozhodla už tento model nepoužívat.

Model

[edit]

Výkon

[edit]

Test data confusion matrix: {{{confusion_matrix}}}

Test data sample rates: {{{sample_rates}}}

Test data performance: {{{performance}}}

Provádění

[edit]
Model architecture
{{{model_architecture}}}
Output schema
{{{model_output_schema}}}
Example input and output
Input:
{{{model_input}}}

Output:

{{{model_output}}}

Údaje

[edit]
Data pipeline
Tabulární údaje o úpravách jsou shromažďovány z Mediawiki API, předem zpracovány (přístupněním přeměny protokolu, připojení k datům veřejného editora atd.), a připojeny k uživatelsky generovaným štítkám dobré víry/škodné.
Training data
Tento model byl vyškolen pomocí rukově označených výcvikových dat starých několik let.
Test data
Zpráva o výcviku byla vypočítavá náhodným rozdělením výcvikových údajů, které se vypočítají z výcvikového procesu.

Licence

[edit]

Citát

[edit]

Cite this model card as:

@misc{
  Triedman_Bazira_2023_{{{language}}}_{{{project}}}_goodfaith,
  title={ {{{language}}} {{{project}}} goodfaith model card },
  author={ Triedman, Harold and Bazira, Kevin },
  year={ 2023 },
  url={ https://meta.wikimedia.org/wiki/Model_card_ORES_goodfaith_edit/cs }
}