Colaboración/Encuenta de Satisfacción sobre "FLOW" /Reporte

En Septiembre de 2016, La Fundación Wikimedia organizó una encuesta sobre Flow, el cual es un moderno sistema de discusión y colaboración. Flow provee discusiones estructuradas y soporta tanto wikitext como modos de edición visual. Un pequeño número de wikis están empleando páginas de Flow por defecto para todos sus sitios de conversación, en vez de páginas de discusión inestructuradas basadas en wiki-text. Algunos otros wikis permiten a usuarios individuales convertir sus propias páginas de conversación a Flow (Versión Beta), o usar Flow en páginas de comunidad (Mesas de ayuda, impulsores comunitarios,...)

Resumen

La encuesta, liderada por el Equipo Técnico de Colaboración, fue inicialmente distribuida a los usuarios y comunidades que tenían de primera mano la experiencia de utilizar ambos sistemas de discusión. La participación fue anónima y abierta a cualquier persona; todas las preguntas fueron opcionales. 583 respuetas de aproximadamente 20 proyectos Wikimedia fueron registradas.

Las razones principales de los editores para preferir las discusiones empleando Flow son:

• Un sistema de discusión estructurado por software el cual permite ver tópicos en lugar de páginas enteras,
• Notificaciones dedicadas cuando una respuesta es recibida o un tópico es realmente relevante,
• Un cómodo diseño para agregar nuevos tópicos y editar sus propios mensajes, particularmente relevante para personas quienes trabajan con novatos.
• Una mejor integración y uso en dispositivos móviles,
• Citar, agradecer y responder a otros usuarios es más fácil que en las páginas de discusión inestructurada de wikitext.

Las razones principales de los editores para preferir las discusiones inestructuradas empleando las páginas basadas en wikitex son:

• Encontrar una discusión específica dentro de las páginas de discusión inestructurada de wikitext puede ser realizado con la función de búsqueda de MediaWiki, mientras que en Flow, incluso las funciones de búsqueda elementales aun faltan,

• Ver los cambios y monitorear el vandalismo en las páginas de discusión inestructurada de wikitext se puede hacer con las funciones de MediaWiki para ver el contenido del artículo, mientras que Flow tiene varias deficiencias que hacen que ver y deshacer los cambios sea más complicado.

• Algunos usuarios prefieren la vista compacta de las páginas de discusión inestructuradas de wikitext. Ellos encuentran que en las discusiones en Flow se dejan muchos espacios en blanco por lo que se requiere hacer mucho desplazamiento (scroll) en la pantalla.

• Algunos usuarios prefieren la flexibilidad provista por las páginas de discusión inestructurada de wikitext, las cuales inician con un página en blanco, en contraste con el comportamiento guiado de las discusiones estructuradas de Flow.

De acuerdo con los datos arrojados por la encuesta, quienes colaboran diaria y semanalmente tienden a preferir las páginas de discusión inestructurada de wikitext, mientras que Flow es el sistema preferido entre los editores quienes contribuyen a las páginas de conversación con menos frecuencia. Estos datos reflejan 2 aspectos claves de Flow en su estado actual:

• Flow ya es una herramienta útil para interactuar y satisfacer las expectativas de editores nuevos o informales que están familiarizados con otros sistemas de discusión en línea, pero que no están familiarizados con las páginas de discusión inestructurada de MediaWiki y las convenciones sociales que las comunidades de Wikimedia han desarrollado en torno a las discusiones en las páginas de conversación (uso de dos puntos, listas de viñetas, plantillas de discusión, firma para agregar ...)

• Sin embargo, las funciones inexistentes de Flow (Para ver, buscar, moderar, bifurcar...) y la falta de madurez de la experiencia del usuario se hace más evidente para los usuarios regulares.

La encuesta revela que las discusiones inestructuradas de wikitext tienen un solido apoyo al igual que Flow en este punto. 52% de los participantes expresaron sus preferencia por las páginas de conversación inestructuradas de wikitext, cerca del 38% por Flow y 10% fueron indiferentes. En respuestas libres, la mayoría de los editores que prefieren las discusiones inestructuradas de wikitext o que no tienen alguna preferencia, señalan las debilidades de Flow, afirman que si éstas fuesen resueltas, harían que ellos utilicen más el nuevo sistema de discusión.

En respuestas libres también se muestra que el desarrollo de Flow continúa para convertirse en tópico de importancia. Hay un grupo de editores experimentados quienes fuertemente se oponen al desarrollo de Flow en principio. Hay también editores experimentados quienes piden por el desarrollo continuo de Flow, arreglando las características faltantes y desplegándolas en sus wikis.

Mejoras

Mejor soporte para la revisión del historial de una conversación y tener a una forma de búsqueda en un tablero de Flow, son las características más solicitadas. Estas mejoras no tendrían un gran impacto en el aspecto visual de Flow, así que ello puede ser balanceado por cambios más visibles, como proporcionar un marco para compactar conversaciones, desplegar sangrías o tener URLs inteligibles.

El Diseño podría ser revisado para darle a cada usuario una posibilidad de tener algo más familiar a el diseño actual de las páginas de discusión inestructurada de wikitext. Las notificaciones de Flow son apreciadas pero tienen algunas críticas. Las entradas de "Watchlist" también tienen críticas. Ambos podrían ser revisados para evitar "El Efecto Ruidoso"

Satisfacción con funciones particulares

La encuesta le pidió a los usuarios evaluar qué tan bien, ambos sistemas de páginas de discusión, desempeñan funciones particulares.

Comparación de Flow y las funciones de las páginas de discusión inestructuradas de wikitext

Fig. 1 - Herramientas favoritas para acciones similares, en porcentaje.

Se pidió a los usuarios comparar qué tan bien, Flow y las páginas de discusión inestructuradas de wikitext, se desempeñan en 5 funciones típicas de las páginas de conversación:

• Lectura de discusiones en las páginas de conversación,

• comprensión de discusiones en las páginas de conversación,

• escritura y edición de discusiones en las páginas de conversación,

• interactuar con otros usuarios en las páginas de conversación,

• resumen de discusiones en las páginas de conversación

En general, las preferencias de los usuarios en este desglose se alinean con sus preferencias generales de las herramientas: una mayoría de usuarios prefieren las páginas de discusión inestructuradas de wikitext y lo prefieren más fuertemente, pero Flow se muestra fuerte también. Esa comparación no es siempre relevante: las páginas discusión inestructurada de wikitext son páginas en blanco las cuales permiten combinaciones de características tales como discusión, sondeo, redacción y más. Flow has sido diseñado para ser un sistema de discusión, el cual podría ser usado para construir otras herramientas(en el momento, Flow es mayormente usado en las páginas de conversación del usuario).

Características de satisfacción de Flow

Fig. 2 - Apreciación de las características de Flow, en porcentaje.

En esta sección, se les pidió a los encuestados decir que tan útil encontraron Flow para actividades particulares de páginas de conversación, absteniéndose cualquier comparación con las páginas de discusión inestructuradas de wikitex.

• Agregar un nuevo tema o comentario en las discusiones de las páginas de conversación,

• editar un mensaje en las discusiones de las páginas de conversación,

• seguir el diseño de las discusiones de Flow,

• resolver conversaciones,

• resumir discusiones

• ver y recibir notificaciones sobre temas individuales (en lugar de páginas de conversación completas).

Evaluación de las herramientas de Flow

50% o más de los encuestados encuentran Flow "completamente" o "algo" útil para todas las tareas.

Las tres tareas donde Flow obtiene el mayor apoyo son:

• ver una sección en vez de una página entera (68% de satisfacción).

• agregar un nuevo tema a la página de Flow (61% de Satisfacción). Flow proporciona herramientas especializadas para agregar nuevos temas a una discusión que, según los comentarios, incluso los usuarios experimentados reconocen que hacen la tarea más fácil, especialmente para los recién llegados.

• editar un mensaje en las discusiones de la página de conversación (57% de satisfacción). Porque los usuarios no necesitan abrir una página entera para corregir algo en un comentario.

Si bien la fuerte integración de Flow y las Notificaciones es claramente un área donde Flow resalta, es importante tener en cuenta los comentarios en las secciones de forma libre relacionados con la gran cantidad de notificaciones recibidas por las personas que siguen los paneles de Flow. Tal Flow expande el volumen de Notificaciones en wikis donde es implementado, eso es un hecho conocido. Cualquier proyecto buscando expandir el uso de Flow hará bien en considerar esto y proporcionar nuevos medios a los usuarios para administrar cuáles Notificaciones desean recibir ellos.

De los encuestados quienes expresaron que Flow es "Nada útil" para las tareas en cuestión, una mayoría (60%) son usuarios quienes por lo general "prefieren acentuadamente" las páginas de discusión inestructurada de wikitex. Más personas quienes "prefieren acentuadamente wikitext" aprecian las características de Flow que viceversa, lo que tiene sentido si los usuarios de Flow tienen en general menos experiencia.

En respuestas libres, muchos encuestados se quejaron acerca del diseño de las páginas de Flow ("... deja mucho más espacio que alarga y ahoga la discusión"; "se parece a un blog"). Otros comentarios apuntan a la superioridad de Flow para el uso móvil ("Soporte Móvil!!! Es ya mucho mejor in Flow que en las viejas páginas de conversación.") y el archivado ("Sistemas de Archivado ya no son requeridos").

Flow functions for engaging with other users

Fig. 3 - In regards to engaging other users, to what extent are you satisfied with the following features of Flow.

Helping users to engage with one another is another area where Flow finds strong support. Thanking, mentioning and replying to users all get +50% satisfaction. Respondents show the strongest satisfaction with Flow's Thank feature (32% "very satisfied").

Evaluation of Flow discussions functions

Fig. 4 - Possibly useful aspects of Flow

To gauge how well Flow achieves a number of its design goals, users were asked to agree or disagree with a series of eight propositions:

• writing and editing with Flow is easy and intuitive,

• the layout of Flow discussions is easy to read and understand,

• watching topics on Flow discussions is easy,

• following individual topics on Flow through notifications is more useful than following an entire page,

• Flow makes discussions easier to summarize,

• Flow makes it easier to mention other participants in the discussion,

• Flow makes it easier to mark the conversation as resolved,

• with Flow, the interactions with other users are easier than with wikitext (easier to mention, thank, respond, watch).

It's worth noting that users who "strongly agree" and "strongly disagree" are more or less evenly divided. But total approval for most of these eight key functions is near or over 50%. A couple of results stand out:

• there is an overall appreciation of Notifications related to Flow, as seen in the popularity of both "Watching topics on flow" and Following individual topics on Flow through notifications." These same 2 value propositions point to another thing users like about Flow, the "structured" part of "structured discussions" —they like following individual topics. This is one of Flow's core ideas,

• mentioning other users is considered the least easy feature and should be investigated.

What Flow improvements do users want most?

Respondents were asked to rank the importance of improvements to Flow that users have requested in the past. Here is the list, as ordered by survey respondents:

1. better support for checking the history of a conversation, display diffs, and clearing vandalism,
2. search and find specific topics,
3. being able to move topics to a different page would help,
4. filter or categorize topics to make it easy to focus,
5. view all my Flow activity at once on a single page.

Better support for checking the history of a conversation, its changes, and clearing vandalism would be helpful for most users. On free-form fields, users have shared examples, like the lack of similarities with the current history system (lack of comparisons for the whole activity on a page between two moments using diffs, no way to undo things easily), the difficulties of doing some particular actions (delete contents from your own page, difficulties for sysops or oversighters to perform maintenance actions), etc.

Search was a virtual tie with better history support. In free-text comments, users clarified that they want to search Flow comments overall and they want to be able to search a single Flow page for a specific comment.

Managing and organizing conversations by moving topics among pages was a close third. In the comments, users asked for ways to split, merge, move or relocate topics or parts of topics.

Conclusion concerning particular functions

When users are comparing unstructured wikitext discussion pages and Flow for the same activities, there is a preference for unstructured wikitext talk pages. But when users are judging specific features, Flow has more support: strong support from people who like the tool and meaningful support from people who prefer unstructured wikitext discussion pages. Users who don’t have a preferred system tend to appreciate Flow’s ease of use.

That feature support notwithstanding, Flow has a lot of room to improve. Creating a search function, providing better history support and enabling users to better manage and organize topics will be first steps towards winning over Flow skeptics and strengthening the approval of existing fans.

Satisfacción general

The two discussion systems are quite different; one purpose of the survey was to know which system people prefer. With some limitations, the data can provide useful information about attitudes.

Satisfacción general basada en la frecuencia de las contribuciones

Fig. 5 - Favorite tool by editing experience, grouped, in percents. "Wikitext" refers to unstructured wikitext discussions pages.

Looking at tool preference through the lens of frequency of contribution is revealing: it's clear that Flow appeals strongly to users who edit less frequently. Among users who edit once per month, 58% prefer Flow, compared to 24% for unstructured wikitext discussion pages. By contrast, among those who edit every day, almost 40% prefer unstructured wikitext discussion pages compared to 26% for Flow.

The same pattern can be seen when the axis of the analysis is reversed: among editors who prefer Flow, 40% are infrequent users (editing once a month or less). By contrast, among users who favor unstructured wikitext discussion pages, only 17% are infrequent users.

That said, it’s worth noting that Flow has many adherents among frequent users: of those who edit once a week, 32% favor Flow.

The fact that new users favor flow would seem to be consistent with other research showing that beginners are able to do more tasks using Flow than unstructured wikitext discussion pages.

Overall satisfaction based on project where Flow is mainly used

Fig. 6 - Preferred tool by wiki with more than 40 answers recorded, in percent. Wikis with less than 40 answers have been grouped in the "all other wikis" bar.

Unstructured wikitext discussion pages is favored by a similar margin on mediawiki.org, the biggest wiki where Flow is the default discussion system. Wikis that appreciate Flow and had more than 40 responses are Wikidata (over 70% support), French Wikipedia and Chinese Wikipedia (~40% support). As a comparison, users of English Wikipedia show the strongest support for unstructured wikitext talk pages, at about 70%, based on 24 answers.

Overall satisfaction based on first year of contribution

The largest cohort of respondents started to contribute in 2005 and 2006. 209 respondents started to contribute before 2009, 198 after 2009 (included). However data are not conclusive, because of the bias related to first year of contribution, which is not meaningful compared to experience. Users who contribute frequently gain experience and comfort with unstructured wikitext discussion pages quickly enough so that a survey question based on starting year doesn't show a pattern based on the first year of contribution.

Conclusion concerning satisfaction

Users who contribute frequently tend to prefer the unstructured wikitext discussion page editor. Users who contribute less regularly tend to prefer Flow.

However, these preferences are not absolute. Among people who contribute at least once a day, 34% say they value both systems, and 27% prefer Flow. The difference between daily users who prefer unstructured wikitext discussion pages and daily users who prefer Flow is only 12%. That difference decreases to 6% among users who contribute weekly (31% for Flow, 37% for unstructured wikitext discussions).

In free form comments, the majority of users without a strong opinion for unstructured wikitext talk pages (from strongly or somewhat supporting Flow to indifferent or somewhat preferring unstructured wikitext discussion pages) tend to point to Flow weaknesses and suggestions for improvement. However, a majority of editors expressing a strong preference for unstructured wikitext talk pages just ask to remove Flow.

Recommendations

Based on the result of this survey, the Technical Collaboration team recommends:

• to continue the development of Flow, focusing on major missing features and design issues, as a natural complement to the editing experience provided by the visual editor and as part of our effort to onboard and retain new editors successfully,

• to focus the development on the needs reported by the communities that are already using Flow or that are willing to adopt Flow,

• to focus first on the use cases where Flow is a viable alternative already today, notably user talk pages, which are the main channel through which new and casual users engage with other editors, and where other editors reach out to them,

• to offer Flow to communities that are looking forward to adopting it.

About the survey

Distribución

The survey was open to anyone. The survey was distributed to all public wikis using Flow in order to reach users who use Flow and can compare it knowledgeably to unstructured wikitext talk pages. A message was sent to users that use or used Flow (including people who disabled it) on wikis where Flow is enabled as a Beta feature, manually activated on user talk pages or used as the default talk page system. A message also was sent to main community hubs on wikis where Flow is used on a few pages as a trial. The invitation was also sent to some public Wikimedia mailing-lists or other public hubs, and shared by users to others. Any user who has seen the survey’s link could participate, even if they never used Flow. One answer was allowed by IP address.

Distribution has been done by messages batches, with an invitation posted in the wiki language, when possible. A few days after the beginning of the distribution, while no message has been sent to Mediawiki.org users, 17.47% of recorded answers were from that wiki. Due to the fact that Flow is the default discussion system on that wiki, it was not possible to identify which talk pages were used by really active users. Hence, a decision had been made not to deliver messages on Mediawiki.org user talk pages, just on community pages.

Limitaciones

These are the main limitations registered in this survey:

• this survey has been promoted to existing users. However, Flow is being developed equally for new users and those who are not here yet,

• this survey doesn’t claim to take into account a representative sample of Flow users or Wikimedia users, since participation was open to anyone:

• • regular users and active users at that time are more likely to be over-represented versus casual users.

• • a self-selection based on high interest for/against Flow is also expected.

• • the survey was promoted by some users seeking like-minded participation.

• • people that stopped using or never used Wikimedia wikis due to the barrier to entry of unstructured talk pages are not surveyed.

Véase también

• Raw data from the 2016 Flow satisfaction survey