Jump to content

Template:Model card ORES goodfaith edit/pt

From Meta, a Wikimedia project coordination wiki
Model card
This page is an on-wiki machine learning model card.
A diagram of a neural network
A model card is a document about a machine learning model that seeks to answer basic questions about the model.
Model Information Hub
Model creator(s)Aaron Halfaker (User:EpochFail) and Amir Sarabadani
Model owner(s)WMF Machine Learning Team (ml@wikimediafoundation.org)
Model interfaceOres homepage
CodeORES Github, ORES training data, e ORES model binaries
Uses PIINo
In production?Yes
Which projects?{{{language}}} {{{project}}}
Este modelo utiliza dados sobre uma revisão para prever a probabilidade de que a revisão seja de boa fé.


Motivação

[edit]

Não todas as edições prejudiciais são vandalismo. Este modelo é destinado a diferenciar entre edições que são intencionalmente prejudiciais (badfaith/vandalism) e edições que pretendem ser prejudiciais (boas edições/danos de boa fé). O modelo fornece uma adivinhação sobre se uma dada revisão é de boa fé ou não, e fornece algumas probabilidades de servir como uma medida de seu nível de confiança. Este modelo foi inspirado pela pesquisa do sistema de controle de qualidade da Wikipédia e o potencial para que os modelos de detecção de vandalismo também sejam usados como sistemas de detecção novos de boa-fé.

Utilizadores e utilizações

[edit]
Use this model for
  • Este modelo deve ser utilizado para priorizar a revisão e a possível reversão do vandalismo na Wikipédia portuguesa.
  • Este modelo deve ser usado para detectar contribuições de boa fé de editores na Wikipédia em português.
Don't use this model for
  • Este modelo não deve ser utilizado como um árbitro final sobre se uma edição deve ou não ser considerada de boa fé.
  • O modelo não deve ser utilizado fora da Wikipédia portuguesa.
Current uses
  • A Wikipédia Portuguesa usa o modelo como um serviço para facilitar revisões de edição eficientes ou suporte para recém-chegados.
  • Em uma base individual, qualquer pessoa pode enviar uma chamada de API de forma correta para a ORES para uma revisão dada e obter o resultado deste modelo.
Example API call:
{{{model_input}}}

Considerações éticas, avisos e recomendações

[edit]

A Wikipédia Portuguesa decidiu usar este modelo.

Este modelo é conhecido por dar aos editores mais recentes menor probabilidade de editar em boa fé.

As alterações internas ou externas que podem tornar este modelo obsoleto ou não mais utilizável são:

  • A deriva de dados significa que os dados de formação do modelo deixam de ser utilizáveis.
  • Não atende às métricas de desempenho desejadas na produção.
  • A comunidade portuguesa da Wikipédia decide não usar mais este modelo.

Modelo

[edit]

Performance

[edit]

Test data confusion matrix: {{{confusion_matrix}}}

Test data sample rates: {{{sample_rates}}}

Test data performance: {{{performance}}}

Implementação

[edit]
Model architecture
{{{model_architecture}}}
Output schema
{{{model_output_schema}}}
Example input and output
Input:
{{{model_input}}}

Output:

{{{model_output}}}

Dados

[edit]
Data pipeline
Os dados tabulares sobre edições são coletados a partir da API da Mediawiki, pré-processados (através de log-transformações, juntando-se aos dados do editor público, etc.), e unidos a rótulos de boa fé/destruição gerados pelo usuário.
Training data
Este modelo foi treinado utilizando dados de formação etiquetados à mão que têm vários anos.
Test data
As estatísticas aqui relatadas foram calculadas selecionando uma partição aleatória dos dados de formação para se manterem fora do processo de formação.

Licenças

[edit]

Citação

[edit]

Cite this model card as:

@misc{
  Triedman_Bazira_2023_{{{language}}}_{{{project}}}_goodfaith,
  title={ {{{language}}} {{{project}}} goodfaith model card },
  author={ Triedman, Harold and Bazira, Kevin },
  year={ 2023 },
  url={ https://meta.wikimedia.org/wiki/Model_card_ORES_goodfaith_edit/pt }
}