Codi Universal de Conducta/Consultes de 2021/Recerca
Per donar suport al comitè redactor de la fase 2 del Codi Universal de Conducta, la Fundació Wikimedia ha dut a terme un projecte de recerca centrat en experiències d'assetjament en projectes de Wikimedia. Això es va concretar en una enquesta i diverses entrevistes en profunditat.
L'enquesta, distribuïda principalment als afiliats de Wikimedia, es va centrar en les percepcions, els coneixements i el compromís dels enquestats amb els sistemes d'informació i de control existents. Les entrevistes, realitzades amb membres de la comunitat que havien contactat Confiança i Seguretat en el passat per casos relacionats amb l'assetjament, es van centrar en les experiències dels usuaris que havien estat objecte d'assetjament greu i sostingut.
Vam descobrir que hi ha diversos obstacles clau que limiten la interacció amb aquests sistemes, com el confús sistema de denúncia i la por a la reacció pública. Tanmateix, el sentiment general continua sent positiu i els membres de la comunitat volen continuar col·laborant amb els sistemes d'aplicació de la comunitat i de la WMF, malgrat aquests contratemps.
Mètodes de recerca
Un dels principals obstacles de la investigació és el fet que, al tenir un sistema no estructurat de notificació, ens és molt difícil recopilar mètriques sobre la notificació. A més, volíem capturar més dades sobre opinions relacionades amb els nostres sistemes de compliment, en lloc d'informació sobre la freqüència i el tipus d'informes.
Per a aquesta recerca, vam optar per un enfocament dividit. Portem a terme una enquesta, que principalment distribuïm a organitzacions afiliades, així com entrevistes semiestructurades de membres de la comunitat que havien contactat anteriorment amb l'equip de Confiança i Seguretat per qüestions relacionades amb l'assetjament.
Enquesta
L'enquesta, titulada «Enquesta de sistema de denúncia de la comunitat Wikimedia», incloïa 37 preguntes i va estar disponible en anglès, castellà i hindi. Abans de la seva posada en pràctica, l'enquesta va obtenir la preaprovació d'un grup de voluntaris de el grup afiliat Wiki LGBT+. L'enquesta es va realitzar a Qualtrics i es va administrar mitjançant un enllaç anònim, a fi de recopilar la menor quantitat possible d'informació identificativa. Va estar disponible durant quatre setmanes, del 15 d'abril al 7 de maig de 2021.
Principalment, l'enquesta es va enviar per correu electrònic a un seguit d'organitzacions afiliades, sobretot a grups LGBT+ que treballaven en tasques d'edició, així com a diversos grups de dones dins del moviment. També es van enviar correus electrònics d'invitació als comitès d'arbitratge de les Viquipèdies en anglès, francès, rus i alemany. També es van publicar avisos per a aquesta enquesta a tavernes (o el seu equivalent) a les Viquipèdies en italià, castellà, francès, alemany, polonès i àrab.
En lloc de centrar-se en l'assetjament en si mateix, aquesta enquesta es va dissenyar per centrar-se en les percepcions que la nostra comunitat tenia sobre els sistemes de compliment existents. Concretament, alguns dels temes clau que es van tractar van ser els següents:
- Comprensió dels sistemes de supervisió: coneixen els usuaris quines són les formes d'informar sobre incidents en els nostres projectes? Saben com utilitzar aquests sistemes? Com van aprendre a utilitzar aquests sistemes en un primer moment?
- Implicació amb els sistemes de supervisió: utilitzen els membres de la comunitat aquests sistemes de forma habitual? En quina mesura és habitual utilitzar aquests sistemes?
- Percepció dels sistemes de supervisió: gaudeixen aquests sistemes d'una bona reputació? Creuen els usuaris que val la pena utilitzar-los?
- Privadesa i transparència: quines parts de sistema creuen els usuaris que haurien d'estar a disposició del públic? Quina informació sobre tot l'aparell de supervisió hauria d'estar disponible per al públic?
En total, vam obtenir 85 respostes de l'enquesta. D'aquestes, 68 (el 80%) es van emplenar en la seva totalitat i 17 (el 20%) es van completar només parcialment. Pel que fa als idiomes, 53 enquestes (el 62%) es van fer en anglès, mentre que 31 (el 36%) es van lliurar en castellà. Només una persona va realitzar l'enquesta en hindi.
La majoria de les persones que van completar la nostra enquesta es trobaven a Europa. La majoria d'elles, es van identificar com a dones, i la franja d'edat més comuna va ser la de 30-44 anys. Al voltant d'un quart de les persones enquestades es va identificar com a part de la comunitat LGBT+.
Gairebé totes les persones enquestades han passat més d'un any en projectes de Wikimedia i, aproximadament, un terç d'aquestes han comunicat comptar amb més d'una dècada d'experiència en els nostres projectes. El 39% de les persones enquestades tenien, bé ara o en el passat, drets d'administració, mentre que una mica més de la meitat -el 55%- havia col·laborat en tasques d'organització d'esdeveniments o de grups de Wikimedia en el passat. La majoria de les persones enquestades -el 73%- afirma estar contribuint a un o fins a tres projectes diferents.
Encara que en l'enquesta es facilitava l'opció perquè les persones menors de 18 anys revelessin la seva edat, no vam recollir cap informació d'aquelles persones que es declaressin menors d'edat, de manera que, al seleccionar aquesta opció, es redirigia directament a aquestes persones fins al final de l'enquesta.
En comparació amb l'informe de 2018 d'Informació sobre la participació de la comunitat, hi va haver una participació molt més gran de dones entre les persones enquestades en aquest estudi, amb una edat mitjana i una ubicació geogràfica similars. Si prenem com a referència el conjunt de dades de comparació de la wiki, de les nostres 100 wikis principals, classificades en funció de la seva mida, la mitjana mensual de persones amb tasques administratives actives representa, aproximadament, el 7% de la mitjana total mensual de persones actives en tasques d'edició (9 persones actives en tasques d'administració a el mes i 129 actives en edició, també a el mes). Es tracta d'un resultat esperat, a causa del nostre mètode de reclutar, principalment, participants d'organitzacions afiliades, Comitès d'Arbitratges i membres de la comunitat amb prou experiència com per trobar tavernes o pàgines similars.
Entrevistes
Per complementar les dades de l'enquesta, vam realitzar 4 entrevistes semiestructurades. Tots els participants s'havien posat en contacte anteriorment amb l'equip de Confiança i Seguretat. De les nostres 6 invitacions inicials, es van programar 4 entrevistes en total. Una d'elles es va dur a terme amb un membre de personal de la Fundació Wikimedia, tot i que l'enfocament de l'entrevista es va centrar en la seva experiència com a persona voluntària abans de començar a treballar com a membre de la Fundació.
Limitacions
A causa de la petita mida de la mostra i al grup enquestat no representatiu amb els que hem treballat, aquesta recerca s'ha d'entendre com un estudi pilot i les conclusions extretes d'ella no poden generalitzar-se. Sabem que les persones enquestades solen tenir més experiència i que han passat més temps en projectes Wikimedia que la comunitat general, i que disposem de moltes més persones amb tasques administratives que de la comunitat general. No obstant això, les conclusions aquí plantejades són importants per algunes raons clau:
- Es tracta de preguntes que no s'havien respost en recerques anteriors o que, directament, no s'havien formulat anteriorment.
- Aquesta investigació suposa un repte inicial que és útil per a aquelles presumpcions sobre com es perceben els sistemes de supervisió.
- Aquests resultats subratllen quines són les àrees que convindria prioritzar en futures investigacions.
- Atès que sabem que les persones enquestades tenen, de mitjana, més experiència, podem deduir que els usuaris en general estan menys familiaritzats amb els sistemes de notificació i supervisió, i es necessita ajustar les nostres presumpcions perquè coincideixin amb la realitat.
Principals conclusions
De forma aclaparadora, els participants van declarar que els nostres actuals sistemes de compliment són massa complicats i difícils d'entendre.
Les respostes escrites a l'enquesta van trobar llacunes, redireccions poc clares, la temença d'informar a les mateixes persones que vol denunciar i la manca completa d'instruccions clares sobre com informar. Un dels nostres enquestats va assenyalar que va trigar tres anys i una reunió presencial amb un administrador fins i tot abans de conèixer els canals de denúncia formal. Altres frustracions expressades pels participants van incloure el fet que només es pot informar una mica del comportament problemàtic segons les normes de la seva comunitat; per exemple, és difícil denunciar els insults dirigits a un grup minoritari en lloc d'un individu concret.
"Un desastre. Hem d'aguantar i callar".
L'actual sistema de denúncia exposa als informadors a represàlies, reaccions negatives o a un qüestionament públic indegut.
Moltes de les nostres respostes escrites específicament van assenyalar que la por a les represàlies era un negatiu important en el nostre sistema actual. Alguns d'ells han utilitzat un terme d'argot específic, "bumerang", per referir-se a aquest fenomen, suggerint que això és tan comú que mereix un nom especial.
Els administradors i els comitès d'arbitratge també en són conscients i ho pateixen. Un entrevistat va assenyalar que els casos "semitransparents" (aquells en què les proves públiques d'assetjament es van complementar amb proves privades) gestionades pel Comitè d'Arbitratge eren especialment esgotadores. Van descriure com els espectadors especularien amb aquests detalls privats i procedirien a examinar o fins i tot assetjar els presumptes informadors i membres de l'ArbCom, basant-se en aquesta especulació.
"No hi ha cap garantia que la comunitat tracti el problema d'una manera respectuosa amb la persona que va ser atacada, cosa que fa que el procés d'informació sigui intimidant".
Una discreta majoria dels enquestats mai ha presentat una denúncia.
El 54% dels enquestats mai no va presentar cap informe. Això inclou el 40% dels enquestats que tenen o han tingut drets d'administrador.
Sis de cada deu enquestats han decidit deliberadament no denunciar els incidents.
Entre els motius exposats s'inclouen la por a reaccions contràries o represàlies, la creença que el resultat seria ineficaç i el procés d'informació massa confús o difícil. Les respostes escrites també indicaven que, en ocasions, les persones encarregades de rebre els informes eren les mateixes persones objecte de queixes.
Dos terços dels enquestats que no són administradors no estan segurs o no saben com denunciar un comportament problemàtic.
En canvi, els enquestats actuals o antics administradors confiaven molt més en el seu coneixement de com informar: el 83% va informar de saber com informar d'aquest comportament.
"Heu de ser un expert per saber utilitzar [el sistema d'informes] i, si teniu tants coneixements, ja sou administrador".
Aquesta diferència també existeix entre els enquestats que havien fet informes en el passat. El 80% dels administradors actuals o antics que van fer informes abans de reclamar, entenien el procés. Només el 31% dels no administradors que han informat en el passat asseguren que han entès el procés.
Entre els participants en la recerca, hi ha un desig generalitzat de disposar d'un canal de denúncia privat en la wiki.
Quan es va preguntar als enquestats quines ubicacions havien d'estar disponibles pels informes, l'opció més habitual escollida va ser "una altra ruta privada"; la tercera opció més comuna va ser "en un canal privat separat, en una wiki".
Es triga massa en resoldre els casos d'assetjament.
Això ho van expressar els usuaris que van fer informes, així com els administradors que esperaven gestionar-los. Els denunciants assenyalen el consum de temps que suposa el procés d'informació, ja que generalment inclou haver de conèixer les opcions d'informació disponibles, conèixer l'estructura adequada dels informes i reunir les proves necessàries per a l'informe. Els administradors assenyalen la manca de formació per gestionar els conflictes interpersonals, la complexitat dels casos prou greus per estimular els informes i la manca general de capacitat a causa de la disminució del nombre d’administradors actius.
Tots aquests factors es combinen per fer de la resolució d'informes un procés molt llarg, que esdevé un factor més que dissuadeix els membres de la comunitat a informar-ne.
Les comunitats interconnectades amb un compliment desconnectat permeten als membres de la comunitat amb un historial d'assetjament continuar amb aquestes accions i evadir les conseqüències.
Sense sol·licitud, hem escoltat periòdicament enquestes d'algunes comunitats amb mala reputació de ser particularment combatives o hostils. El que tenien en comú era la manca de pautes sobre el comportament o la presentació d'informes i una actitud general "cega" envers les històries de comportament que incompleixen les normes dels membres de la comunitat, especialment quan s'uneixen a una llarga història de contribucions.
En almenys un cas, a Wikimedia Commons, diversos enquestats van assenyalar que els usuaris amb una llarga història d'abús, fins al punt de ser prohibits a d'altres projectes de Wikimedia, podrien tenir un comportament similar a Commons.
Els participants van estar dividits pel que fa a quin hauria de ser el paper precís de la Fundació Wikimedia en els sistemes d'aplicació.
Tot i que hi ha un ampli consens a la comunitat Wikimedia que la Fundació hauria de ser responsable d'alguns casos relacionats amb menors o amenaces de violència creïbles, aquest consens es desglossa quan es tracta de la majoria d'altres qüestions.
Els entrevistats van denigrar alternativament la participació de la Fundació, considerant-la també una via necessària que evita els sistemes d'informes locals gestionats per les persones que volen informar. Altres volien que la Fundació actués com una opció de "còpia de seguretat" si no estaven disponibles administradors, supervisors o administradors globals. D'altres encara es van sorprendre que la càrrega de gestionar els informes d'assetjament, especialment quan s'organitzen esdeveniments de Wikimedia, s'hagi traslladat als voluntaris en lloc de a la Fundació.
Els enquestats desitjaven tenir accés a les estadístiques globals i als resums dels casos, però no necessàriament als detalls complets dels mateixos.
Els nostres sistemes actuals proporcionen una visibilitat pública completa de tots els casos fets a la wiki. Tanmateix, quan se'ls va preguntar quina informació hauria de veure el públic en general sobre els informes del projecte Wikimedia, més enquestats van escollir estadístiques i resums agregats sobre els detalls complets del cas. Això era cert tant per als administradors com per als no administradors.
Malgrat tot, els enquestats segueixen considerant, en general, que val la pena denunciar.
Tot i que els usuaris eren molt més propensos a veure tot el procés d'aplicació com a ambiguament útil, en el millor dels casos, els enquestats seguien sent generalment positius sobre els administradors locals, la WMF i la probabilitat que els planificadors d'esdeveniments abordessin els informes. Poc més de la meitat dels enquestats van dir que era "definitivament" o "probablement" útil fer un informe. Dos dels enquestats també van assenyalar que, tot i que sabien (o creien) que les persones a les quals es referien no podien actuar segons els seus informes, encara volien fer-ho. Això suggereix que el fet d'informar és una acció que la gent vol realitzar, independentment del resultat.
Recomanacions
Basant-nos en aquestes conclusions principals, i recolzats en les conclusions de recerques anteriors sobre assetjament i informes sobre projectes de Wikimedia, suggerim aquestes recomanacions per al comitè redactor de la fase 2 del Codi Universal de Conducta.
Proporcionar un sistema de denúncia anònim o privat en la wiki.
La por aclaparadora de les represàlies per informar fa que sigui encara més sorprenent que poc més de la meitat dels enquestats creguin que el sistema val la pena. Per no erosionar aquesta confiança, en la qual es basa tot el sistema, hem de proporcionar als informadors la manera de denunciar els incidents de forma privada.
Tant si es fa de manera anònima com privada (és a dir, limitant qui pot veure la identitat de l'informador), hauria de ser la nostra màxima prioritat proporcionar una solució tècnica o política per satisfer aquesta necessitat clara i urgent.
Aclarir i agilitzar el procés de denúncia, tant per als denunciants com per als administradors.
La nostra combinació de diferents sistemes d'informació per a esdeveniments administrats per governs locals, administradors globals i fundacions és profundament confusa.
Hauríem de proporcionar als membres de la comunitat, especialment als novells, un mitjà per trobar clarament el canal i l'òrgan d'informació adequats per als incidents que volen informar. Això és especialment important per als casos d'assetjament, ja que ser objectiu d'assetjament prolongat fa que sigui difícil buscar ajuda a temps.
La claredat, en aquest sentit, significa aclarir diversos factors:
- Destinatari dels informes: qui els rebrà i els dirigirà.
- Camins per informar: quin és el més adequat per a una situació específica i on anar per fer-ho.
- Informació necessària en un informe: com proporcionar la informació necessària per produir un informe d'alta qualitat que permeti als administradors actuar-hi
- Visibilitat de l'informe: qui podrà veure l'informe esmentat.
- Procés d'aplicació: com s'arriba a les sentències i com s'executen aquestes sentències.[note 1]
Facilitar la presentació d'incidents d'assetjament als administradors.
Els participants en aquesta investigació indiquen que és extremadament difícil trobar on informar, entendre qui ha de rebre l'informe i, en última instància, aprendre a estructurar l'informe adequadament.
Això limita greument la facilitat d'informació, cosa que pot limitar les oportunitats per mitigar els desacords abans que siguin molt més difícils de tractar. També pot ajudar a fer que els informes siguin una acció generalment menys estressant i a millorar les taxes d'interacció, cosa que és necessària en un sistema que depengui de la bona voluntat de la comunitat i de la confiança en els administradors locals per funcionar.
Proporcionar resultats més flexibles i variats per a les denúncies.
Actualment, els resultats dels informes solen limitar-se a cap acció de l'administrador o a un cert nivell de restricció creixent en l'edició. Tot i que la Fundació ha intentat proporcionar als administradors opcions més detallades per limitar el canvi, hauríem de buscar oportunitats per ampliar els resultats dels informes.
Això podria incloure permetre als informadors tenir informació sobre el resultat dels informes, proporcionar als subjectes informants maneres de demanar disculpes o esmenar, i altres resultats que no depenen del bloqueig. Alternativament, això podria implicar una major coordinació entre projectes per imposar sancions al comportament d'un editor en un nombre més gran de projectes o una via per reenviar informes a altres autoritats fora dels administradors locals.
Fer que el procés de denúncia sigui transparent i no només visible.
Els nostres sistemes d'informes locals existents són en general totalment visibles públicament. Tot i això, no vol dir que siguin transparents.
Aquesta és una barrera per als aspirants a informadors, que no només poden veure la complexitat dels seus informes, sinó que també mostren evidències de reaccions negatives passades i represàlies contra altres informadors.
Per als administradors, els nostres sistemes d'informes completament desestructurats dificulten la cerca d'arxius d'informes amb el mateix tema, especialment si es produeix entre projectes. També dificulta l'abordatge dels informes, ja que varien molt en qualitat.
Finalment, els observadors no tenen accés a estadístiques útils, ja que la naturalesa desestructurada del sistema actual fa impossible la recopilació de mètriques precises o fiables en els informes i l'ús intensiu de l'argot en aquests informes els dificulta la comprensió dels observadors o dels profans.
Proporcionar millors directrius o formació específica perquè els administradors puguin resoldre els desacords evitant que es converteixin en un assetjament manifest.
Les nostres entrevistes i investigacions prèvies sobre el tema indiquen un vincle entre desacords de contingut i escalada a assetjament o abús. Tanmateix, tal com indica la investigació anterior, tenim pocs mecanismes per transformar les accions administratives passades en directrius reals o anteriors per a incidents futurs. [note 2]
Un entrevistat també va assenyalar que els seus molts anys d'experiència en assetjament van començar realment amb un petit desacord sobre la categorització, i una part de com va augmentar aquest assetjament es va produir quan presumptament es van introduir altres usuaris per donar "consentiment" al desacord de la categorització. L'experiència d'assetjament d'un altre entrevistat va començar amb un editor que va plantejar unilateralment un problema de procediment mitjançant proves falses i va atreure altres editors a donar les seves opinions.
En una comunitat sana, podríem esperar que aquests problemes de procediment o tècnics estiguessin separats de la possibilitat d'assetjament. Amb aquest objectiu, hauríem de fer un esforç per permetre als administradors o altres membres de la comunitat de confiança alleujar les tensions i resoldre els desacords tot evitant comportaments agressius.
Recerca addicional
Aquest estudi planteja algunes vies d'investigació que poden valer la pena explorar.
S'estenen aquestes conclusions als usuaris en general dels projectes Wikimedia? Hi ha diferències significatives en funció de la mida?
Tot i que la nostra enquesta i entrevistes específiques han proporcionat perspectives importants per al treball del comitè, seria útil saber si aquestes troballes són certes per a la població en general. Com que moltes de les preocupacions plantejades en aquesta investigació semblen estar relacionades amb la mida i la capacitat dels administradors locals, valdria la pena veure si aquests problemes existeixen a les wikis independentment de la mida o si canvien en conseqüència.
Quin és l'estat dels nostres sistemes de denúncia i compliment a nivell global o interwiki?
Aquesta investigació s'ha centrat en gran mesura en les experiències dels membres de la comunitat en un grapat de wikis, amb qüestions d'assetjament generalment limitades també als mateixos espais. Hem sentit a parlar d'incidents d’assetjament fora de la wiki o interwiki, però no han estat el focus d'aquesta recerca. Per tant, sembla una expansió lògica per a aquesta línia de recerca.
Com aborden els desacords els nostres sistemes actuals de resolució de conflictes? Fins a quin punt faciliten o mitiguen la progressió cap a l'assetjament?
Aquesta línia d'investigació examinarà possibles problemes estructurals pel que fa al nostre procés polític basat en el consens i les maneres en què s'acostumen a tractar els desacords de baix nivell. Si els problemes subjacents que condueixen l'assetjament són estructurals més que no pas accidentals, és a dir, si les formes en què s'incentiva als usuaris a interactuar faciliten o tenen més probabilitats que les persones es comprometin de manera agressiva, abordar la mala conducta adoptarà un enfocament molt llarg, que el problema rau en una població de persones que opten per actuar de manera agressiva.
Influeixen els sistemes de denúncia privats en els índexs de denúncia? Influeix aquesta privadesa en els índexs de compliment?
Tot i que l'autora d'aquest informe recolza l'imperatiu moral de proporcionar camins d'informació privats, també seria prudent investigar com la implementació d'aquest sistema podria afectar els informadors, els subjectes informants i els administradors del projecte Wikimedia.
És realment transparent l'estat actual de sistema de denúncia? Qui fa ús actualment de la informació de denúncia disponible públicament?
Els informes visibles públicament són l'estàndard actual del nostre sistema d'informació, i això normalment es justifica en nom de la transparència. No obstant això, hem dut a terme una investigació mínima sobre si aquesta visibilitat significa realment que el propi sistema és transparent, ni què vol dir la comunitat per "transparència". Hauríem d'investigar com es relacionen la visibilitat i la transparència en termes de sistemes d'informes de Wikimedia.
Una segona pregunta clau és entendre a qui serveix millor aquest estat actual de visibilitat. Com indica aquest projecte Objectius d'Assetjament, els informadors potencials no estan preparats per aquest sistema visible públicament. Per tant, hauríem d'entendre a qui es beneficia, si algú, aquest sistema i com utilitza aquesta informació visible públicament.
Com es gestionen actualment les apel·lacions? És aquest sistema una exigència realista per a les persones que volen apel·lar?
Tot i que hem realitzat investigacions sobre molts aspectes de l'aplicació i la denúncia de projectes de Wikimedia, encara hem de prestar molta atenció al nostre procés de desqualificació i apel·lació. Investigar aquestes parts del nostre procés de sol·licitud també seria una extensió lògica de la recerca d'aplicacions en general.
Notes
- ↑ n.b. Hi ha motius forts per voler amagar els detalls sobre el funcionament de les accions de l'administrador. En aquest cas, la claredat no hauria d'anul·lar els problemes de seguretat operativa. La claredat es pot aconseguir proporcionant un esquema d'accions en lloc de detalls complets.
- ↑ En particular, fem referència a Arribar a la zona de col·laboració en línia.
Més informació
Per obtenir una bibliografia completa de recerques prèvies sobre l'assetjament i la presentació d'informes sobre els projectes de Wikimedia, dirigida per la WMF, vegeu més avall. Actualment, els documents no enllaçats marcats com a "informe intern" estan limitats al personal i als contractistes de la WMF i poden estar disponibles a petició individual. Tots els documents enllaçats estan en anglès.
Lee, Han A., and Crupi, Joseph. Reaching the Zone of Online Collaboration: Recommendations on the Development of Anti-Harassment Tools and Behavioral Dispute Resolution Systems for Wikimedia. Harvard Negotiation and Mediation Clinical Program, 12 Dec. 2017, p. 50.
Lo, Claudia. Reporting System Rubrics: A Comparison of Peer-Dependent Reporting Systems. Wikimedia Foundation, Feb. 2019, p. 62.
Lo, Claudia “Take It to AN/I”: Summary of Existing Research about Reporting Systems. Internal report, Wikimedia Foundation, Nov. 2018, p. 12.
Poore, Sydney. AN/I Survey Summary. Internal report, Wikimedia Foundation, 22 Mar. 2018.
“Wikipedia:Community Health Initiative on English Wikipedia/Administrator Confidence Survey/Results.” Wikipedia, 28 Nov. 2017.
Raish, Michael. Admin Confidence Survey 2019 Preliminary Results. Internal report, Wikimedia Foundation, 20 Aug. 2019, p. 50.
Raish, Michael. Identifying and Classifying Harassment in Arabic Wikipedia: A “Netnography.” Internal report, Wikimedia Foundation, 21 Dec. 2018, p. 23.
Support & Safety Team. Harassment Survey 2015 Results Report.
“User Reporting System/Wikimania 2018 Notes – Meta.” Meta-Wiki, 20 July 2018.