Edição de IP: aprimoramento de privacidade e redução de abusos/Estudo de restrição de edição IP

Contexto da Experiência de Login Requerido

WMF leadership is currently conducting the IP Editing Restriction Study to monitor the impact of IP Editing restrictions in communities that vote to block IP Editing. So far, we have been studying the following wikis:

• Portuguese Wikipedia (Read the full report)
• Farsi Wikipedia (Read the full report)

Below are summaries:

Portuguese Wikipedia

• Wikipédia em português votou e desativou a edição de IP em outubro de 2020.
• A equipe de ferramentas antiassédio tem coletado métricas do projeto desde então (até junho de 2021) para entender como essa mudança impactou o estado geral da wiki.
• Um relatório abrangente de todas as métricas (com gráficos) foi publicado.
• As principais áreas em que focamos incluem: impacto no conteúdo, impacto nos editores, impacto nas ações administrativas e impacto na comunidade.

Farsi Wikipedia

• Farsi Wikipedia voted and turned off IP Editing between October 20, 2021, and April 20, 2022.
• The Wikimedia Foundation's Product Analytics team tracked the impact of this change on Farsi Wikipedia on a weekly basis in order to learn more about the impact of IP editing on a Wikipedia project.
• A comprehensive report of all the metrics (with graphs) has been published.
• The key areas we focused on include: impact on content, impact on editors, impact on administrative actions and impact on the community.

Conclusões do experimento

Portuguese Wikipedia

Não encontramos nenhum impacto negativo significativo na análise realizada até agora. No entanto, continuaremos monitorando os efeitos de longo prazo por 1-2 anos e ainda mais, se necessário. As principais conclusões são capturadas abaixo:

• O número de registros de contas de usuários, bem como de editores ativos na Wikipédia em português, aumentou desde que o bloqueio de edição de IP foi introduzido. Não sabemos se é uma tendência de longo prazo.
• A métrica de retenção de usuários não teve um aumento ou diminuição significativa. Não sabemos o impacto de longo prazo nisso.
• O número de reversões, proteções de página e bloqueios diminuiu consideravelmente, indicando uma diminuição na quantidade de vandalismo no projeto.
• O número total de edições feitas no projeto mostra um declínio quando as edições e reversões de robôs são incluídas. Sem edições de robô e edições revertidas, o número de edições diminuiu no segundo e terceiro trimestre em comparação com o ano passado e aumentou no quarto trimestre. Os impactos nas edições não são claros.
• Também buscamos feedback da comunidade na Wikipedia em português sobre sua experiência e feedback sobre a proibição de edição de IP. Descobrimos que a maioria dos editores da Wikipédia em português permanecem a favor da proibição e relatam ter visto menos conflito e hostilidade na plataforma.

You may find the comprehensive report for Portuguese Wikipedia's restriction.

Farsi Wikipedia

On the outset we should note that the Farsi and Portuguese Wikipedia experiments were very different in their structures. Portuguese community chose to block unregistered editors from all namespaces except the Discussion and Help namespaces. On the other hand, Farsi community chose to block unregistered editors from the Main/Article namespace only. The other important factor to note before reading the metrics is that the pandemic has played out differently in different parts of the world and has made a significant impact on metrics across the board.

Highlights

We can say that the restriction on Farsi effectively reduced vandalism on the wiki. We can say this based on the fact that reverts were down 68% compared to the previous six months and down 70% compared to same time period last year. Blocks were also down by over 50% in both comparisons. This trend was consistent with the Portuguese Wikipedia experiment.

However, the restriction also prevented good-faith edits. The total number of content edits was down -24% compared to the previous six months. This was a much larger decline than what we saw in Portuguese. On Portuguese, content edits declined -15% over the unusually high number in the previous six months, but it was generally in line with the previous couple of years. Farsi's decline in edits was well below the previous years.

Unlike Portuguese Wikipedia, the partial restriction on Persian Wikipedia did not drive new account creation or active logged-in editors.

A survey of Persian Wikipedia editors found that about two-thirds of the editors surveyed had a positive opinion about the experiment, while the rest felt that it was harmful to the project.

Nossas recomendações

Com base no que aprendemos, o departamento de produtos da Wikimedia Foundation fez as seguintes recomendações:

• Permitir que a Wikipédia em português continue desautorizando a edição de IP, se a comunidade quiser continuar.
• Valide essas descobertas executando um experimento semelhante em mais dois projetos da Wikimedia (idiomas), onde os voluntários estão interessados ​​em experimentar. A experiência de uma única wiki não deve ser usada como evidência decisiva.

Continuando a experiência

Nossos aprendizados com a Wikipédia em português têm sido positivos. Isso, entretanto, não deve ser usado para concluir que veremos resultados semelhantes em diferentes projetos. Se você olhar para os números da edição de IP, vemos um envolvimento muito variado de usuários não registrados em diferentes projetos. Projetos diferentes também se comportam de maneira muito diferente com editores não registrados.

There is also a separate study – Research:Value of IP editing – published by a group of scholars and researchers who have closely studied Wikipedia which states that there can be lasting negative consequences of blocking edits from unregistered editors.

To understand how other projects would be impacted if IP editing is blocked, we would like to conduct a similar experiment on two more Wikimedia wikis. Here is the proposed plan:

Plano

• Estamos convidando comunidades que estão interessadas em tal experimento em sua wiki para expressar seu interesse na página de discussão. É necessário que haja algum interesse histórico demonstrável no projeto para impedir a edição não registrada.
• Para cada comunidade wiki interessada, eles precisam identificar uma pessoa com quem trabalharemos para lançar e conduzir o experimento.
• É necessário consenso da comunidade antes do início do experimento.
• Por um período de oito meses, a edição não registrada não será permitida nos projetos selecionados. Ao longo desse tempo, coletaremos métricas e faremos uma pesquisa com os membros da comunidade para entender o impacto.
• Quando esse período de tempo terminar, ativaremos a edição de IP no projeto enquanto preparamos a análise dos dados.
• Assim que os dados forem publicados, as comunidades poderão decidir por si mesmas se desejam ou não continuar a proibir a edição não registrada do projeto.

Critérios para seleção de wikis

A equipe de ferramentas antiassédio trabalhará com duas wikis que acreditamos ser as mais adequadas para executar este experimento com base em fatores como

• Tamanho do projeto
• Quantidade de edições não registradas
• Número de administradores
• Quantidade de vandalismo
• O quão localizado ou globalizado é o idioma

Linha do tempo

A linha do tempo foi atualizada.

Data	Atividade
24 de agosto - 31 de outubro	Comunidades expressam interesse em realizar o experimento
A ser decidido depois que o interesse da comunidade for estabelecido.	A equipe de ferramentas antiassédio decide quais wikis podem prosseguir com o experimento
A ser decidido depois que as comunidades decidirem quanto tempo levará um RFC local.	As comunidades conduzem o RfC local e concordam em realizar o experimento
A ser decidido quando o RFC terminar	Executar o experimento

Estamos ansiosos para trabalhar com as comunidades. Qualquer pessoa pode ajudar a compartilhar esta chamada de participação.

Some Frequently Asked Questions

Q: Can you give me a background of this "IP Editing Restriction Study"?

A: Portuguese Wikipedia (ptwiki) decided to turn off IP editing by community decision.

Following the vote, Portuguese Wikipedia initially decided to block IP edits using an abuse filter which was later changed in the favor of using site JavaScript to avoid privacy concerns.

We analyzed the outcome of the change on the health of Portuguese Wikipedia over a period of eight months. The outcome was fairly positive and encouraged us to continue this study on other projects which have expressed a strong desire to block IP editing.

Q: What was the Wikimedia Foundation's role in the study?

A: WMF leadership and the board wanted to monitor the impact of the change, so the Wikimedia Product Analytics team built a dashboard to monitor the metrics and summarize the data quarterly.

The report from the study was published on meta.

Q: Why did we share the metrics summary?

A: We believed the community would be interested in seeing the data, and that it may inform continued discussions across the movement about the role of IP editing. Therefore, our team shared the metrics summary on Meta-Wiki for your information without any intention to advocate one way or the other.

Q: How did Wikimedia Product select and define the metrics?

A: We started with core metrics which this change might impact. Most of them adopted the definitions from this glossary.

For reverts - we used a 48-hour revert window to make the year over year comparisons more valid. If we did not limit reverts to a revert window, edits made last year would have more time & opportunity to be reverted than edits made this year.

Similarly, when we calculated net edits, we only removed edits that were reverted in that 48-hour revert window,

We also further adjusted net edit metrics by excluding edits which reverted other edits in a 48-hour window based on community members' suggestions on Phabricator.

Q: What percentage of users gave up editing instead of creating an account is essential to know. Why is that not captured in the report?

A: There is no good way to calculate the percentage of users who gave up editing after banning IP editing. Anonymous users can edit from multiple IP addresses and devices. Multiple anonymous users can share one IP address or device.

We cannot identify the number of non-bot editors who edited in anonymous mode before the banning. If we have the data on the unique device of editors, maybe we can alternatively estimate the change of the unique editor devices. However, the foundation does not track unique devices of editors. We have only aggregated unique devices estimation on readers. Please find more info about the unique device tables here.

Q: How do the edits metrics of the ptwiki compare with the other wikis?

A: We initially compared Portuguese Wikipedia with some other European and South American language Wikipedias, like German Wikipedia, French Wikipedia, Italian Wikipedia, Russian Wikipedia, Spanish Wikipedia.

You can find the non-reverted non-bot edits graphs of the other wikis at the appendix section (page 47-51, page 62-69) in these report slides.

The growth on the other Wikipedias is not present on Portuguese Wikipedia.

These graphs show non-reverted non-bot edits on these European and South American language Wikipedias grew solidly in 2020 while Portuguese Wikipedia did not.

However, after looking at the historical data (net non-reverted non-bot edits), we found Portuguese Wikipedia’s trend does not correlate very well with these Wikipedias. Portuguese Wikipedia is not similar to any other medium-sized wikis. Zooming out to a longer time period by looking at the historical trend (please see page 23 in the slides), non-bot edits (including reverts) on Portuguese Wikipedia have been slightly declining since as early as 2018 while the other European and South American language Wikipedias did not decline.

By comparing Portuguese Wikipedia to the other wikis, we assume that Portuguese Wikipedia would grow as the other wikis do. Historical trends do not support this assumption, that is why we did not discuss it in the report and only put the comparison graphs in the appendix.

We also explored edits (including reverts) by countries to find comparison benchmarks. 95% of edits on Portuguese Wikipedia are from Brazil and Portugal. It has a good correlation with the edits on English Wikipedia from Brazil and Portugal. However, the data is only available for a short period (90 days). We don't have historical data to compare this to.

We also compared bot edits trend on ptwiki to the other Wikipedias, because we see bot edits decreased in 2013 in the historical trend of ptwiki (please see page 23 in the slides). We found it was a common phenomenon across wikis, not the one only ptwiki has.