Универсальный кодекс поведения/Консультации 2021 года/Исследование
Чтобы поддержать работу редакционного комитета по подготовке второго этапа Всемирного кодекса поведения, Фонд Викимедиа провел исследовательский проект, посвященный случаям притеснений в проектах Викимедиа. Это было проведено в форме опроса и нескольких углубленных интервью.
Опрос, который в основном проводился среди филиалов Викимедиа, был посвящен восприятию респондентами существующих систем обеспечения соблюдения и отчетности, их знаниям и взаимодействию с ними. Интервью, проведенные с членами сообщества, которые в прошлом обращались в Trust and Safety по делам, связанным с домогательствами, были посвящены опыту пользователей, которые подвергались серьезным и продолжительным преследованиям.
Мы обнаружили, что существует несколько ключевых препятствий, ограничивающих взаимодействие с этими системами, ключевыми из которых являются запутанная система отчетности и боязнь негативной реакции общественности. Однако общее настроение по-прежнему остается позитивным, и члены сообщества хотят продолжать взаимодействовать с сообществом и системами обеспечения соблюдения WMF, несмотря на эти неудачи.
Методы исследования
Одним из основных препятствий для исследований является тот факт, что неструктурированная система отчетности в рамках движения Викимедиа затрудняет сбор показателей отчетности. Кроме того, мы хотели собрать больше данных о настроениях, связанных с нашими системами обеспечения соблюдения, а не информацию о частоте и типе отчетов.
Для этого исследования мы выбрали раздельный подход. Мы провели опрос, в первую очередь среди аффилированных лиц, а также целевые полуструктурированные интервью с членами сообщества, которые ранее обращались в Доверие и Безопасность по вопросам, связанным с домогательствами.
Опрос
Опрос под названием "Обзор системы отчетности сообщества Викимедиа" состоял из 37 вопросов и был доступен на английском, испанском и хинди. Перед размещением опрос был предварительно проверен добровольцами из партнерской группы Вики ЛГБТ+. Опрос был проведен на Квалитраты с использованием анонимной ссылки, чтобы собрать как можно меньше идентифицирующей информации. Он был открыт в течение четырех недель, с 15 апреля по 7 мая 2021 года.
Опрос был разослан в основном по электронной почте нескольким аффилированным лицам, в основном группам редакторов ЛГБТ+ и ряду женских групп по всему движению. Электронные письма с приглашениями были также разосланы арбитражным комитетам английской, французской, русской и немецкой Википедий. Объявления об этом опросе были также размещены на сайте the village pumps (или аналогичном сайте) в итальянской, испанской, французской, немецкой, польской и арабской википедиях.
Этот опрос был разработан не для того, чтобы заострять внимание на притеснениях как таковых, а для изучения восприятия нашим сообществом существующих систем принуждения. В частности, он был посвящен нескольким ключевым темам:
- Понимание систем обеспечения соблюдения: знают ли люди, как сообщать об инцидентах в наших проектах? Знают ли они, как использовать эти системы? Как они изначально научились использовать эти системы?
- Взаимодействие с правоохранительными системами: регулярно ли члены сообщества используют эти системы? Насколько распространено использование этих систем вообще?
- Восприятие систем правоприменения: хорошо ли в целом оцениваются эти системы? Считают ли люди целесообразным взаимодействовать с ними?
- Конфиденциальность и прозрачность: какие части системы, по мнению людей, должны быть доступны общественности? Какая информация обо всем правоприменительном аппарате должна быть доступна общественности?
В общей сложности на опрос было получено 85 ответов. Из них 68 (80%) были заполнены полностью, а 17 (20%) - частично. 53 (62%) респондента заполнили анкету на английском языке, в то время как 31 (36%) - на испанском. Только один респондент заполнил анкету на хинди.
Большинство наших респондентов проживали в Европе. Большинство из них назвали себя женщинами, а наиболее распространенный возрастной диапазон - от 30 до 44 лет. Около четверти также назвали себя частью сообщества ЛГБТ+.
Почти все наши респонденты проработали в проектах Викимедиа более года, и примерно треть из них сообщили о более чем десятилетнем опыте работы с нашими проектами. 39% респондентов в настоящее время или ранее обладали правами администратора, в то время как чуть более половины – 55% - ранее были организаторами мероприятий или групп Викимедиа. Большинство респондентов (73%) сообщили, что они активно участвуют в одном-трех проектах.
Несмотря на то, что в опросе была предусмотрена возможность для лиц моложе 18 лет сообщить о своем возрасте, мы не собирали информацию от несовершеннолетних, сообщивших о себе самостоятельно, и, выбрав этот вариант, быстро перенаправили их к концу опроса
По сравнению с отчетом Информации о вовлечении сообщества в 2018 году, в этом исследовании среди респондентов была значительно более высокая доля женщин, аналогичный средний возраст и схожее географическое положение. На основе Набора данных для сравнения вики-сайтов, согласно нашему рейтингу 100 лучших вики-сайтов по размеру, среднемесячные активные администраторы составляют около 7% от общего числа среднемесячных активных редакторов (9 активных администраторов в месяц и 129 активных редакторов в месяц). Это ожидаемый результат, поскольку наш метод заключается в наборе участников в первую очередь из числа аффилированных лиц, членов Арбкома и сообществ, имеющих достаточный опыт, чтобы найти Village Pumps или аналогичные страницы.
Интервью
Чтобы дополнить данные опроса, мы провели четыре полуструктурированных интервью. Все участники ранее обращались в компанию Доверие и Безопасность. Из шести наших первоначальных приглашений было запланировано всего четыре интервью. Одно из интервью было проведено с сотрудником Фонда Викимедиа, хотя основное внимание в нем было уделено его опыту работы волонтером до начала работы в качестве сотрудника Фонда.
Ограничения
Из-за небольшого размера нашей выборки и нерепрезентативного состава респондентов данное исследование следует рассматривать как пилотное и не поддающееся широкому обобщению. Мы знаем, что респонденты нашего опроса, как правило, более опытны и проводят в проектах Викимедиа больше времени, чем представители сообщества в целом, и что у нас гораздо больше администраторов, чем в сообществе в целом. Однако приведенные здесь выводы важны по нескольким ключевым причинам:
- Это вопросы, на которые предыдущие исследования не дали ответов или которые ранее вообще не задавались.
- Это исследование дает полезную начальную оценку предположениям о том, как воспринимаются системы правоприменения.
- Эти результаты показывают, какие области лучше всего определить в качестве приоритетных для будущих исследований.
- Поскольку мы знаем, что наши респонденты в среднем более опытны, мы можем сделать вывод, что население в целом менее знакомо с системами отчетности и правоприменения, и скорректировать наши предположения в соответствии с ними.
Основные выводы
В подавляющем большинстве случаев участники сообщают, что наши существующие системы правоприменения чрезмерно сложны и их трудно понять.
В письменных ответах на опрос отмечалось наличие лазеек, неясных перенаправлений, ожидание того, что человека могут попросить отчитаться именно перед теми людьми, о которых он хотел сообщить, и полное отсутствие четких инструкций о том, как отчитываться. Один из наших собеседников отметил, что потребовалось три года и случайная личная встреча с доверенным лицом, прежде чем они узнали о каких-либо официальных каналах информирования. Среди других разочарований, высказанных участниками, был тот факт, что в соответствии с правилами их сообщества можно сообщать лишь о незначительной части проблемного поведения; например, трудно сообщать об оскорблениях, направленных скорее в адрес группы меньшинств, чем в адрес конкретного человека.
"Катастрофа. Мы должны терпеть и молчать".
Существующая система отчетности делает репортеров уязвимыми для репрессий, негативной реакции или чрезмерного общественного внимания.
Во многих наших ответах страх перед репрессиями был назван главным негативным фактором в нашей нынешней системе. Некоторые из них использовали специальный жаргонный термин "бумеранг" для обозначения этого явления, предполагая, что оно настолько распространено, что заслуживает специального названия.
Администраторы и Арбитражные комитеты также знают об этом недостатке и страдают из-за него. Один из опрошенных отметил, что "полупрозрачные" дела (те, в которых публичные доказательства преследования дополнялись частными доказательствами), рассматриваемые Арбитражным комитетом, были особенно сложными для рассмотрения. Они описали, как зрители будут спекулировать на этих частных деталях и приступать к тщательному изучению или даже преследованию предполагаемых репортеров и членов Арбкома на основе этих предположений.
"Нет никакой гарантии, что сообщество отнесется к этой проблеме с уважением по отношению к человеку, который подвергся агрессии, что делает процесс подачи заявления пугающим".
Незначительное большинство респондентов, участвовавших в нашем опросе, никогда не делали отчетов.
54% респондентов, участвовавших в опросе, никогда не создавали отчетов. В их число входят 40% респондентов, которые имеют или обладали правами администратора.
Шесть из десяти респондентов намеренно решили не сообщать об инцидентах.
Среди приведенных причин - боязнь негативной реакции или репрессий, уверенность в том, что результат будет неэффективным, а также в том, что процесс подготовки отчетов является слишком запутанным или сложным. В письменных ответах также указывалось, что иногда люди, ответственные за получение отчетов, являются теми самыми людьми, на которых подаются жалобы.
Две трети респондентов, не являющихся администраторами, не уверены или не знают, как сообщить о проблемном поведении.
Напротив, респонденты, являющиеся нынешними или бывшими администраторами, были гораздо более уверены в своих знаниях о том, как сообщать о подобном поведении – 83% сообщили, что они действительно знают, как сообщать о подобном поведении.
"Вы должны быть экспертом, чтобы знать, как пользоваться [системой отчетности], и если у вас достаточно знаний, вы уже являетесь администратором".
Это различие существует даже среди респондентов, которые ранее писали отчеты. 80% нынешних или бывших администраторов, которые писали отчеты ранее, сообщают о понимании процесса. Только 31% не администраторов, которые писали отчеты в прошлом, сообщают, что они понимают процесс.
Среди участников исследования наблюдается общее стремление к созданию частного канала для публикации репортажей в wiki.
Когда респондентов спросили, какие места должны быть доступны для проведения репортажей, наиболее распространенным вариантом был "другой частный маршрут"; третьим наиболее распространенным вариантом было "на отдельном частном канале, на вики".
Рассмотрение дел о домогательствах занимает слишком много времени.
Это было выражено как пользователями, создающими отчеты, так и администраторами, которые, как ожидается, будут их обрабатывать. Журналисты отмечают, насколько трудоемким является процесс подготовки отчетов, поскольку обычно он включает в себя изучение доступных вариантов отчетности, изучение соответствующей структуры отчета и сбор необходимых подтверждающих данных для отчета. Администраторы указывают на недостаточную подготовку по разрешению межличностных конфликтов, сложность случаев, которые являются достаточно серьезными, чтобы стимулировать подачу заявлений, и общую нехватку возможностей из-за сокращения числа активных администраторов.
Все эти факторы в совокупности превращают рассмотрение жалоб в очень длительный процесс, который сам по себе становится еще одним фактором, препятствующим представлению отчетов членами сообщества.
Взаимосвязанные сообщества с отключенным правоприменением позволяют членам сообщества, ранее подвергавшимся преследованиям, продолжать подобные действия и избегать последствий.
Без каких-либо подсказок мы регулярно слышали от респондентов о некоторых сообществах с плохой репутацией, которые отличаются особой воинственностью или враждебностью. Общим для них было отсутствие руководящих принципов в отношении поведения или отчетности и общее отношение "сквозь пальцы" к нарушениям правил членами их сообщества, особенно в сочетании с длительной историей их вклада.
По крайней мере в одном случае, на Викискладе, несколько опрошенных отметили, что пользователям с длительной историей злоупотреблений, вплоть до запрета на участие в других проектах Викимедиа, было разрешено вести себя подобным образом на Викискладе.
Участники разошлись во мнениях относительно того, какой именно должна быть роль Фонда Викимедиа в системах правоприменения.
Хотя в сообществе Викимедиа существует широкий консенсус в отношении того, что Фонд должен нести ответственность за определенные случаи, связанные с несовершеннолетними или достоверными угрозами насилия, этот консенсус нарушается, когда речь заходит о большинстве других вопросов.
Респонденты, участвовавшие в опросе, поочередно осуждали участие Фонда, но в то же время рассматривали его как необходимый способ обойти местные системы отчетности, которые находятся в ведении людей, о которых они хотят сообщить. Другие хотели, чтобы Фонд действовал как "запасной вариант" на случай отсутствия глобальных администраторов, контролеров или стюардов. Третьи были расстроены тем, что бремя рассмотрения сообщений о домогательствах, особенно при организации мероприятий Викимедиа, было возложено на волонтеров, а не на Фонд.
Респонденты, участвовавшие в опросе, хотели получить доступ к совокупной статистике и кратким описаниям дел, но не обязательно к полной информации о делах.
Наши текущие системы обеспечивают полную публичную видимость всех дел, опубликованных в вики. Однако, когда нас спросили, какую информацию следует предоставлять широкой общественности в отношении отчетов о проектах Викимедиа, большинство респондентов предпочли сводную статистику и резюме подробным сведениям о делах. Это касалось как администраторов, так и не-администраторов.
Несмотря на все это, респонденты, как правило, по-прежнему считают целесообразным подготовить отчет.
В то время как пользователи с гораздо большей вероятностью рассматривали весь процесс обеспечения соблюдения в лучшем случае как неоднозначно полезный, респонденты, участвовавшие в опросе, по-прежнему в целом положительно оценивали вероятность рассмотрения жалоб местными администраторами, WMF и организаторами мероприятий. Чуть более половины респондентов, участвовавших в опросе, заявили, что "определенно" или "вероятно" стоит подготовить отчет. Двое из наших собеседников также отметили, что, хотя они знали (или верили), что люди, которым они сообщали, были бессильны что-либо предпринять в соответствии с их сообщениями, они все равно хотели это сделать. Это говорит о том, что сам по себе акт информирования является действием, которое люди хотят совершить, независимо от результата.
Recommendations
Based on these key findings, and supported by the conclusions of previous research on harassment and reporting on Wikimedia projects, we suggest these recommendations for the Universal Code of Conduct phase 2 drafting committee.
Provide an anonymous or private on-wiki reporting system.
The outsized fear of reprisal for reporting makes it all the more astonishing that slightly over half of the survey respondents still believe the system is worthwhile. In order not to corrode this trust, on which the entire system relies, we need to provide a way for reporters to privately report incidents.
Whether this is done anonymously or privately (that is, limiting who can see the identity of the reporter), it should be our absolute priority to provide either a technical solution or a policy one to accommodate this clear and pressing need.
Clarify and streamline the reporting process, for both reporters and administrators.
Our mix of different reporting systems for local admin, global admin, and Foundation-handled events is deeply confusing.
We should provide a means for community members, especially newcomers, to clearly find the appropriate channel and reporting body for the incidents they wish to report. This is especially important for cases of harassment since being the target of sustained harassment already makes it difficult to seek out help in a timely manner.
Clarity, in this sense, means clarifying several factors:
- Recipient of reports: who will receive and address it.
- Pathways for reporting: which is best suited to a specific situation, and where to go to do so.
- Necessary information in a report: how to provide the necessary information to make a report high-quality that allows administrators to act on it/
- Visibility of the report: who will be able to see said report.
- Process of enforcement: how are judgements reached and how are these judgements enforced.[note 1]
Make it easier to surface incidents of harassment to administrators.
Participants in this research indicate that it is extremely difficult to find where to report, figure out who should receive the report, and finally learn how to structure the report appropriately.
This severely limits the ease of reporting, which may limit opportunities to de-escalate disagreements before they become much harder to address. It may also help make reporting a less stressful action overall and improve rates of engagement, which is necessary in a system that relies on community goodwill and trust in local administrators to function.
Provide more flexible and varied outcomes for reporting.
Currently, the outcomes of reports tend to be limited to no administrator action, or some level of escalating restriction on editing. While the Foundation has tried to provide more granular options for administrators to restrict editing, we should look into opportunities to broaden the outcomes of reports.
This could include allowing reporters to have input on the outcome of reports, providing ways for subjects of reports to apologize or make amends, and other non-block dependent outcomes. Alternatively, this could involve greater inter-project coordination to place sanctions on an editor’s behavior across a wider number of projects, or a pathway to escalate reports to other authorities outside of local administrators.
Make the reporting process transparent and not just visible.
Our existing local reporting systems are by and large fully publicly visible. Nevertheless, this does not mean that they are transparent.
This is a barrier for would-be reporters, who can not only see how complex their reports are expected to be, but also shows them evidence of past backlash and reprisal against other reporters.
For administrators, our completely unstructured reporting systems make it difficult to find archives of reports with the same subject, especially if this happens across projects. It also makes it difficult to address reports as they vary wildly in quality.
Lastly, observers have no access to useful statistics since the current system’s unstructured nature makes it impossible to gather accurate or reliable metrics on reporting, and these reports’ heavy use of jargon makes them hard for observers or laypeople to understand.
Provide better guidelines or specific training for administrators to resolve disagreement while avoiding escalation into full-blown harassment.
Our interviews, and prior research on the topic, point to a link between disagreements over content and escalation into harassment or abuse. However, as prior research has indicated, we have few mechanisms to turn past administrative actions into actual guidelines or precedent for future incidents.
One interviewee also noted that their years-long experience of harassment actually started with a minor disagreement over categorization, and part of how this harassment intensified came about when other users were brought in supposedly to provide “consensus” on the categorization disagreement. Another interviewee’s experience of harassment started with an editor unilaterally bringing up a procedural concern using spurious evidence and drawing in other editors to provide their opinions.
In a healthy community, we could expect such procedural or technical concerns to be separate from the possibility of harassment. To this end, we should make an effort to allow administrators or other trusted community members to diffuse tensions and resolve disagreements, while avoiding aggressive behavior in the process.
Further research
This study raises a few avenues of research that may be worth further exploration.
Do these findings extend towards the general population of the Wikimedia projects? Are there any significant differences based on size?
While our targeted survey and interviews provided important perspectives for the work of the committee, it would be useful to know if these findings hold true for the general population. Since many of the concerns raised in this research seem linked to the size and capacity of the local administrators, it would be worthwhile to see if these issues exist across wikis regardless of size or if they change accordingly.
What is the state of our cross-wiki or global reporting and enforcement systems?
This research focused largely on the experiences of community members on a handful of wikis, with issues of harassment generally also limited to those same spaces. We did hear about incidents of off-wiki or cross-wiki harassment, but they were not the focus of this research. Therefore, this seems like a logical expansion for this line of research.
How do our existing conflict resolution systems address disagreement? To what extent do they facilitate or mitigate escalation into harassment?
This line of research would look at potential structural issues regarding our consensus-driven policy process, and the ways in which low-level disagreements are usually treated. If the underlying issues driving harassment are structural rather than incidental – that is, if the ways in which users are encouraged to interact makes it easier or more likely for people to engage in aggressive ways – tackling misconduct will require a very different approach than if the issue lies with a population of people choosing to act aggressively.
Do private reporting systems impact rates of reporting? Does this privacy impact rates of enforcement?
While the author of this report would argue for a moral imperative to provide private reporting pathways, it would also be prudent to investigate how implementing such a system might impact reporters, subjects of reports and administrators on Wikimedia projects.
Is the current state of the reporting system truly transparent? Who currently makes use of publicly available reporting information?
Publicly visible reports are the current standard of our reporting system, and this is usually justified in the name of transparency. However, we have conducted minimal research into whether or not such visibility actually means the system itself is transparent, nor what the community means by “transparency”. We should investigate how visibility and transparency relate in terms of Wikimedia reporting systems.
A second key question is to figure out who this current state of visibility best serves. As this Targets of Harassment project indicates, would-be reporters are badly served by this publicly visible system. Therefore, we ought to figure out who benefits, if anyone, from this system, and how they make use of this publicly visible information.
How are appeals currently handled and is this system placing a realistic ask on people seeking appeals?
While we have conducted research on many aspects of enforcement and reporting on Wikimedia projects, we have yet to pay close attention to our unban and appeals process. Investigating these parts of our enforcement process would also be a logical extension of research into enforcement overall.
Примечания
Читать далее
Ниже приведена полная библиография предыдущих исследований о домогательствах и репортажах о проектах Викимедиа, проведенных под руководством WMF. Несвязанные документы с пометкой “внутренний отчет” в настоящее время доступны только сотрудникам и подрядчикам WMF и могут быть доступны по индивидуальному запросу. Все связанные документы на английском языке.
Lee, Han A., and Crupi, Joseph. Reaching the Zone of Online Collaboration: Recommendations on the Development of Anti-Harassment Tools and Behavioral Dispute Resolution Systems for Wikimedia. Harvard Negotiation and Mediation Clinical Program, 12 Dec. 2017, p. 50.
Lo, Claudia. Reporting System Rubrics: A Comparison of Peer-Dependent Reporting Systems. Wikimedia Foundation, Feb. 2019, p. 62.
Lo, Claudia “Take It to AN/I”: Summary of Existing Research about Reporting Systems. Internal report, Wikimedia Foundation, Nov. 2018, p. 12.
Poore, Sydney. AN/I Survey Summary. Internal report, Wikimedia Foundation, 22 Mar. 2018.
“Wikipedia:Community Health Initiative on English Wikipedia/Administrator Confidence Survey/Results.” Wikipedia, 28 Nov. 2017.
Raish, Michael. Admin Confidence Survey 2019 Preliminary Results. Internal report, Wikimedia Foundation, 20 Aug. 2019, p. 50.
Raish, Michael. Identifying and Classifying Harassment in Arabic Wikipedia: A “Netnography.” Internal report, Wikimedia Foundation, 21 Dec. 2018, p. 23.
Support & Safety Team. Harassment Survey 2015 Results Report.
“User Reporting System/Wikimania 2018 Notes – Meta.” Meta-Wiki, 20 July 2018.
Cite error: <ref> tags exist for a group named "note", but no corresponding <references group="note"/> tag was found