Jump to content

Template:Model card ORES damaging edit/pt

From Meta, a Wikimedia project coordination wiki
Model card
This page is an on-wiki machine learning model card.
A diagram of a neural network
A model card is a document about a machine learning model that seeks to answer basic questions about the model.
Model Information Hub
Model creator(s)Aaron Halfaker (User:EpochFail) and Amir Sarabadani
Model owner(s)WMF Machine Learning Team (ml@wikimediafoundation.org)
Model interfaceOres homepage
CodeORES Github, ORES training data, e ORES model binaries
Uses PIINo
In production?Yes
Which projects?{{{language}}} {{{project}}}
Este modelo utiliza dados sobre uma revisão para prever a probabilidade de que a revisão seja prejudicial.


Motivação

[edit]

Algumas edições de boa fé prejudicam um artigo, e nem todas as edições prejudiciais são de má fé. Este modelo (junto com um modelo de boa fé) é destinado a diferenciar entre edições que são intencionalmente prejudiciais (mafia / vandalismo) e edições que pretendem ser prejudiciais (boas edições / dano de boa fé).

Este modelo ajuda a priorizar a revisão de edições potencialmente prejudiciais ou vandalismo. Ele fornece uma previsão sobre se uma determinada revisão é prejudicial ou não, e fornece algumas probabilidades para servir como uma medida do seu nível de confiança.

Utilizadores e utilizações

[edit]
Use this model for
  • Este modelo deve ser utilizado para priorizar a revisão e a possível reversão do vandalismo na Wikipédia portuguesa.
  • Este modelo deve ser utilizado para detectar contribuições prejudiciais de editores na Wikipédia portuguesa.
Don't use this model for
  • Este modelo não deve ser utilizado como árbitro final sobre se uma edição deve ou não ser considerada prejudicial.
  • O modelo não deve ser utilizado fora da Wikipédia portuguesa.
Current uses
  • A Wikipédia Portuguesa usa o modelo como um serviço para facilitar a triagem eficiente de vandalismo, editar avaliações ou apoiar recém-chegados.
  • Em uma base individual, qualquer pessoa pode enviar uma chamada de API de forma correta para a ORES para uma revisão dada e obter o resultado deste modelo.
Example API call:
{{{model_input}}}

Considerações éticas, avisos e recomendações

[edit]

A Wikipédia Portuguesa decidiu usar este modelo.

Este modelo é conhecido por dar aos editores mais novos uma maior probabilidade de edições prejudiciais.

As alterações internas ou externas que podem tornar este modelo obsoleto ou não mais utilizável são:

  • A deriva de dados significa que os dados de formação do modelo deixam de ser utilizáveis.
  • Não atende às métricas de desempenho desejadas na produção.
  • A comunidade portuguesa da Wikipédia decide não usar mais este modelo.

Modelo

[edit]

Performance

[edit]

Test data confusion matrix: {{{confusion_matrix}}}

Test data sample rates: {{{sample_rates}}}

Test data performance: {{{performance}}}

Implementação

[edit]
Model architecture
{{{model_architecture}}}
Output schema
{{{model_output_schema}}}
Example input and output
Input:
{{{model_input}}}

Output:

{{{model_output}}}

Dados

[edit]
Data pipeline
Os dados tabulares sobre edições são coletados a partir da API da Mediawiki, pré-processados (através de log-transformações, juntando-se aos dados do editor público, etc.), e unidos a rótulos de boa fé/destruição gerados pelo usuário.
Training data
Este modelo foi treinado utilizando dados de formação etiquetados à mão que têm vários anos.
Test data
As estatísticas aqui relatadas foram calculadas selecionando uma partição aleatória dos dados de formação para se manterem fora do processo de formação.

Licenças

[edit]

Citação

[edit]

Cite this model card as:

@misc{
  Triedman_Bazira_2023_{{{language}}}_{{{project}}}_damaging,
  title={ {{{language}}} {{{project}}} damaging model card },
  author={ Triedman, Harold and Bazira, Kevin },
  year={ 2023 },
  url={ https://meta.wikimedia.org/wiki/Model_card_ORES_damaging_edit/pt }
}