Permissões:Avaliação/Glossário

Parte de Wikimedia - Centro de Recursos

Aprendizagem e Avaliação

• Início
  • Introdução
  • Glossário
  • Outros recursos
• Plano
• Relatório
• Contribuir
• Notícias e Eventos

Bem-vindo(a) ao glossário da Avaliação e Concepção de Programa (ACP). Ele ajuda a comunidade da Wikimedia a desenvolver uma linguagem comum em torno da avaliação de programa.

O glossário está em progresso, e a equipe da APP está trabalhando para que ele seja o mais fácil de entender possível. Esperamos que você se junte a nós em desenvolvê-lo e torna-lo uma ferramenta multilíngue.

atividades

Atividades são coisas que fazemos para ajudar a alcançarmos nossas missões e metas organizacionais. Atividades são as ações que acontecem como parte de um programa. Ao planejar um programa, suas entradas vão para as suas atividades, que resultam em saídas.

Exemplos:

• ensinar um novo editor como fazer uma conta de usuário em um editathon;
• realizar uma pesquisa pós-oficina para que os participantes forneçam comentários aos organizadores;
• tirar fotografias durante a “Wiki Loves Monuments”;
• organizar um guia turístico para um Wiki Takes Your City;
• mostrar a estudantes como editar a Wikipédia na sala de aula, e permiti-los de fazer isto;
• carregar imagens de pinturas durante uma doação de conteúdo ao GLAM;
• fornecer um fórum para participantes para debaterem sobre ideas para hacks durante uma hackathon.

investigação apreciativa

Investigação apreciativa é uma forma de avaliação que foca no que funcionou direito em um programa ao invés de focar no que não funcionou nele. Perguntando coisas positivas, organizações e líderes de programa podem saber o que está funcionando e fazer mais coisas “boas” como aquilo para obter mais sucesso em seus programas. Usando a investigação apreciativa, você estará tomando uma perspectiva de investigação apreciativa.

Exemplos:

• Você descobre que só a metade dos participantes de uma editathon continuaram editando seis meses após o encerramento do programa. Ao invés de perguntar o porquê da outra metade não editar, você pergunta o que os faz continuarem a editar.
• A Wiki Loves Monuments obteve sucesso em incentivar pessoas a fotografar locais históricos. Você nota que fotografias sobre os parques nacionais do seu país estão em falta na Wikipédia do seu idioma. O que você pode tomar do sucesso da WLM e colocar na idea “Wiki Loves Parks” que você desenvolveu para levá-la ao sucesso?

Saiba mais:

• Investigação apreciativa na Wikipédia;
• Appreciative Inquiry Commons, site educacional.

suposições

Fazendo uma suposição (supor algo), você está tendo fé, mesmo que sem provas, em algo verdadeiro ou que acontecerá.

Exemplos:

• todos que comparecerem a sua edithathon trarão seus próprios notebooks;
• todos deixaram sua oficina entendendo bem como funciona a Wikipédia.

Saiba mais:

• definição de suposição e supor no Wikcionário.

Ver também: justificativa

benchmarking

Benchmarking é quando uma organização vê o grau de sucesso de um programa ao longo do tempo com base nas melhores medições e saídas produzidas por organizações ou programas semelhantes. Você pode fazer isto procurando por programas semelhantes ao seu e que mediram seu sucesso ou falta de sucesso, e pensando como aqueles benchmarks podem ser usados ou modificados no seu programa. Benchmarking é geralmente mais credível onde é expressado em termos numéricos, embora não seja sempre possível.

Exemplo:

• Seu capítulo quer fazer parceria com um GLAM para realizar um concurso de doação para um museu de história armênio. Você lê o estudo de caso sobre o Museu de Arte Walters e nota os “sucessos” importantes, que incluem “55 fotografias das obras do museu foram carregadas ao Commons”. Você modifica isso para “Esperamos que pelo menos 80 fotografias das obras do museu sejam carregadas ao Commons com descrições em armênio e português durante o projeto, e que pelo menos 10 destas sejam promovidas dentro de três meses após o carregamento”.

Saiba mais:

• Benchmarking na Wikipédia;
• definição de benchmark no Wikcionário.

coorte

Um grupo de pessoas que se juntam por terem algo em comum.

Exemplos:

• alunos em uma sala parte do “Programa Educacional da Wikipédia”;
• todos os participantes de uma edit-a-thon;
• fotógrafos participantes da “Wiki Loves Monuments”;
• participantes de uma Wikimania que falam espanhol.

Saiba mais:

• Coortes na Wikipédia;
• Definição de coorte no Wikcionário;
• Wikimétricas, que usam coortes para obter dados.

grupo de comparação

Um grupo de comparação é um grupo de pessoas que compartilham características semelhantes aos participantes de um programa, mas que não estão envolvidas nele.

Dados sistemáticos são geralmente coletados de grupos de comparação e grupos de participantes e comparados para identificar as diferenças entre eles em relação ao programa e sua meta. Como o grupo de comparação não participou do seu programa, a comparação de dados ajuda a determinar se um programa está fazendo diferença em termos das métricas e saídas visadas.

Um grupo de controle é um tipo específico de grupo de comparação que vem da seleção aleatória do potencial de dois grupos: os que participaram e os que não participaram.

Exemplo:

• Um grupo de comparação poderia ser selecionado aletoriamente ou estrategicamente da população geral de usuários da Wikimedia, de um projeto particular, idioma, ou de um subconjunto geográfico relevante para a população alvo de um programa. Por exemplo, um número aleatório de novos usuários da Wikimedia Commons como um grupo de comparação para novos usuários do Commons recrutados pela “Wiki Loves Monuments” –

os antigos não receberam nenhuma intervenção do programa, e estes últimos que entram através do programa “Wiki Loves Monuments”.

fase de conclusão

Uma fase de conclusão ou fase de acompanhamento é uma das quatro fases do processo de avaliação de programa (identificação, concepção, implementação, e conclusão/acompanhamento).

A fase de conclusão foca na análise, no relatório, e no uso de resultados de avaliação. Estes resultados geralmente são compartilhados em relatórios de avaliações somativas e de saída, para explicar quais lições foram aprendidas, o quê as saídas alcançaram, e quais devem ser os próximos passos para um programa.

condição

Uma condição é um estado ambiental, político, social ou civil em que uma pessoa ou um grupo de pessoas estão.

Em avaliações de impacto, estamos tentando medir se um programa teve efeito na condição dos participantes.

avaliação contextual

Um tipo de avaliação de programa. Ela foca em variáveis, como fatores sociais, políticos, econômicos, geográficos e culturais, e como elas afetam a execução ideal de uma atividade, e o quão sucessível ela foi.

Isto é, Quais fatores externos influenciaram o programa?

dados

Partes qualitativas ou quantitativas de informação.

Exemplos:

• resultados de pesquisas;
• histórico de edições de um contribuinte;
• orçamentos de múltiplas organizações;
• entrevistas de saídas;
• o número de reversões das edições de uma pessoa;
• artigos submetidos a avaliação em um projeto da Wikipédia;
• nomes de arquivos.

coleta de dados

O ato de coletar, gravar, e/ou recolher dados.

Exemplos:

• escrever, distribuir e coletar respostas de pesquisas;
• entrevistar pessoas sobre as opiniões delas em certo tópico;
• recolher registros de históricos de edição;
• compilar uma lista de todos os participantes um evento da Wikimedia;
• contar a diferença do número homens para o de mulheres que comparecerão a um encontro da Wikimedia;
• contar o número total de votos em uma eleição a administração e quem votou.

fase de concepção

A fase de concepção é uma das quatro fases do processo de avaliação de programa (identificação, concepção, implementação, e conclusão/acompanhamento). A fase de concepção foca no entendimento do patamar da performance e na decisão das suas metas e objetivos, estratégias serão a de alvo em indicadores, benchmarks, e de avaliação.

perspectiva de discrepância

O ponto de vista que vê a avaliação como um processo de identificação e medição de diferenças e inconsistências entre (i) o que o processo é na realidade (ou o que você tem), e (ii) o que você queria ou esperava. Ela funciona para melhorar a performance localizando desafios e corrigindo problemas em atingir as metas e os objetivos do programa.

revisão de documento

Uma forma de coleta de data na qual você intencionalmente coleta, revisa e analisa os documentos e materiais existentes do programa relacionados à entrega do mesmo (entradas de documentação do programa e comentários, como a folha de presença, as notas de programação e os materiais de apresentação).

Exemplo:

• Após uma edit-a-thon, você revisa o material promocional, as postagens no blog, no espaço do evento da wiki, e observações gerais de contribuições por participantes. Fazendo isto, você pode capturar a evidência da entrega do programa em termos de entradas, saídas, e o processo na sua programação.

avaliação;
avaliador

A determinação sistemática do mérito, valor, ou significância de algo. A avaliação usa um conjunto de padrões ou critérios para avaliar qualquer esforço, programa, ou iniciativa para compreender seu impacto e tomar decisões sobre como proceder.

O propósito primário da avaliação — além de ganhar conhecimento dos esforços passados ou presentes, programas, e iniciativas — é habilitar a reflexão e ajudar na identificação de necessidades e estratégias para mudanças futuras.

plano de avaliação

Uma descrição detalhada de como uma avaliação será feita. Um plano de avaliação define estratégias para sistematicamente coletarem informações necessárias para contar a história de um programa e seu sucesso.

Isto pode incluir quem está envolvido em uma avaliação de programa (um membro designado de um grupo de usuários da Wikimedia pode ser o líder nesta avaliação, ou voluntários que produziram uma edit-a-thon podem trabalhar juntos para avaliá-la), umas estratégias de avaliação (monitoramento, pesquisa, acompanhamento da performance), papéis de indivíduos em uma avaliação (Julia está no comando de coletar todos os dados de pesquisa dos participantes), o cronograma usado para executar a avaliação, e os recursos disponíveis para implementar o plano (que dados serão coletados, formas de pesquisa a serem usadas para coletar os dados, uma descrição os papéis e responsabilidades de patrocinadores e avaliadores, e um cronograma para efetuar tarefas).

pergunta de avaliação

Uma pergunta relacionada às saídas, aos resultados, indicadores, ou outra definição de sucesso.

A meta de um esforço de avaliação é a resposta de uma ou mais perguntas de avaliação.

avaliação de viabilidade

Tipo de avaliação de programa, ou estratégia de avaliação, feita antes de começar um programa. A avaliação de viabilidade foca em saber se o programa e as atividades propostas nele são possíveis e analisa se os objetivos podem ser arquivados no plano e cronograma propostos.

Isto é, O que podemos realizar razoavelmente?

Exemplo:

• Você quer fazer uma “Wiki Loves Monuments” em seu país neste ano. Há apenas cinco voluntários disponíveis no país e você não tem certeza se poderá produzir o programa eficientemente. Você faz um estudo de viabilidade para determinar quanto custará, e se tiver a capacidade, com apenas cinco voluntários, você poderá ter um site e a promoção começará.

viabilidade formativa

Um tipo de avaliação de programa ou estratégia de avaliação que foca em como o processo de aprendizado funciona; o que está funcionando como o esperado, o que não está, e todas as estratégias para atenderem aos desafios arquivando as saídas e os resultados esperados do componente de aprendizado da entrega do programa.

isto é, Como isto aconteceu? Quais foram os caminhos da implementação e mudança?

Ver também: avaliação de processo.

metas

Metas são declarações claras do propósito geral do seu programa ou da sua organização. Aqui estão dois tipos de metas relevantes à avaliação de programa:

• “Metas de programa” sobre a finalidade ou impacto planejados do programa.

  Exemplo:

  • O seu “programa educacional da Wikipédia” pode ter metas relacionadas a melhorar o conteúdo da Wikipédia hindu usando os conhecimentos dos estudantes e professores e para trazer mais consciência à comunidade educacional da sua área em como usar a Wikipédia na sala de aula.

• “Metas organizacionais” que definem uma direção clara para a organização como um todo e fornecem orientação e direção aos funcionários para a missão e o plano estratégico da organização.

  Exemplo:

  • As cinco metas priorizadas da Wikimedia Foundation para melhorar: o conteúdo, alcanço, a participação, qualidade, e diversidade, através de todos os projetos dela.

fase de identificação

A fase de identificação é uma das quatro fases do processo de avaliação de programa (isto é, identificação, concepção, implementação, conclusão/acompanhamento).

A fase de identificação foca no descobrimento do que é conhecido de sucessos e falhas passados, fornecendo lições aprendidas, e identificando suposições.

impacto

Em geral, impacto significa um efeito total de um programa. Ele é frequentemente usado amplamente, descrevendo as metas finais do programa, como reduzir a pobreza ou ajudar crianças a terem uma escola para ir. Programas são feitos para ter um impacto, mas porque a meta final é muitas vezes muito grande, de longo alcance, e amplamente indicada, muitas vezes é difícil ou impossível medi-la ou entender exatamente como um programa a influencia.

O impacto é a área onde as metas de um programa muitas vez alinham-se com a missão de fundar organizações: uma fundação pode desejar “tornar as vidas das crianças melhores” e um programa operado por esta fundação pode abordar esta meta em uma maneira pequena com resultados específicos.

Em termos de programas da Wikimedia, impacto refere-se à medida em que os resultados de um programa de alguém levam à mudanças de longo prazo e sustentadas pela visão e metas estratégicas da Wikimedia.

Exemplos:

• a quantidade de novos colaboradores recrutados através de atividades de programas, como a “Wiki Loves Monuments”, podem trabalhar para melhorar a participação total;
• uma doação de conteúdo na área histórica de mulheres pode atrair mais editoras da Wikipédia em uma certa wiki (participação e diversidade);
• a qualidade de conteúdo em uma versão de algum idioma da Wikipédia (qualidade);
• uma taxa de retenção melhorada entre os colaboradores da Wikipédia mais ativos (participação e conteúdo).

avaliação de impacto

Tipo de avaliação de programa, ou estratégia de avaliação, que foca em medir o quão bom as metas e objetivos de um programa foram cumpridas.

Geralmente, as avaliações de impacto examinam os grupos de comparação e/ou controle, para fornecer dados através de programas para informar as decisões daqueles realizando o programas.

Com este tipo de avaliação, os líderes do programa podem ver que tipo de impacto seu programa está fazendo, em que custo, e se devem continuar, modificar, ou trabalhar para reduzir ou expandir o programa com base no custo de obtenção do impacto.

Isto é, Quanta diferença foi feita?

Ver também: avaliação de resultado

implementação

Cada instância de um programa sendo planejada e implantada representa uma implementação diferente deste programa.

Exemplo:

• A “Wiki Loves Monuments” é um programa, enquanto que a “Wiki Loves Monuments 2013 na Estônia” é uma implementação.

fase de implementação

A fase de implementação é uma das quatro fases do processo de avaliação de programa (isto é, identificação, concepção, implementação, conclusão/acompanhamento).

A fase de implementação foca em monitorar a entrega do programa, progredir para a obtenção de saídas esperadas, e obter êxito coletando os dados necessários para contar a história do programa e seus resultados.

indicadores

Indicadores são marcadores medíveis que uma certa condição ou situação existe, ou certos resultados foram alcançados. Eles dizem a você quanto progresso foi feito para uma meta, saída, ou um resultado.

entradas

Algo colocado em um processo com a intenção de formar ou afetar as saídas do mesmo.

Na avaliação de programa, as entradas são os recursos (humanos e tangíveis) colocados no seu programa para o fazer funcionar. Tempo e dinheiro são os recursos mais fundamentais.

Exemplo:

• Entradas para a sua oficina incluem quantas horas os voluntários trabalharam para planejar e produzi-la, quanto dinheiro foi gasto em fundos do FDC para produzi-la, se doações foram fornecidas por patrocinadores, e se o dinheiro foi gasto em fazer cartilhas para distribuir na oficina.

resultados intermediários

A camada do meio crítica de qualquer estrutura de medição de saídas (isto é, saídas a curto prazo, intermediário, e logo prazo).

Resultados intermediários geralmente referem-se às alterações e as ações a serem tomadas pelos participantes do programa. Especificamente, resultados intermediários são as ações tomadas que levarão alterações nas condições visadas ao relacionado impacto.

Exemplo:

• Você organiza uma “Wiki Loves Monuments” mesmo convidando os participantes a fotografarem um sítio histórico em parceria com uma organização de monumentos históricos. 20 pessoas comparecerão ao seu evento. Um resultado intermediário é que cada participante carregue pelo menos 5 imagens ao Commons em pelo menos duas semanas após o evento, antes do fim de setembro.

organização de apredizagem

É isto que queremos que a Wikimedia, capítulos e afiliados sejam! Até pessoas! (“Pessoa de aprendizagem!”) Estas organizações têm a capacidade de manter e melhorar sua performance e seus programas com base da sua experiência. Eles se avaliam e intencionalmente criam ciclos de comentários para se certificarem de que sempre estarão refletindo em suas próprias ações e conquistas.

modelo lógico

Uma representação visual de como o seu programa funciona — uma “imagem” do seu programa. Um modelo lógico inclui o que você coloca no seu programa (entradas de recursos), faz (atividades e participação de programa), e planeja para alcançar (saídas de programa e resultados).

Importante: um modelo lógico é uma:

1. descrição organizada e básica de um programa e suas conquistas medíveis;
2. série ordenada de relações “se-então” esperadas para conduzir às saídas de programa desejadas (também conhecidas como “teoria da mudança”);
3. estrutura para descrever as relações entre entradas, saídas, e resultado de programação.

resultados de longo prazo

Saídas geralmente relacionadas às consequências em termos de mudança às condições. Estes são os pontos finais das condições sociais, econômicas, e/ou ambientais visadas pela sua teoria da mudança.

Exemplo:

• As saídas pretendidas de uma edit-a-thon incluem 10 artigos escritos sobre mulheres na ciência. No entanto, o alvo de saída/impacto a longo prazo pode estar tendo mais artigos de alta qualidade entre os assuntos sobre mulheres na Wikipédia.

Ver também: impacto.

métrica

Métricas são valores ou conjuntos de valores bem definidos que podem ser computados e rastreados, e geralmente usados em agregação para comparar grupos de participantes ou projetos diferentes (isto é, comparando o coorte de um programa) com outros.

As métricas computadas pela UserMetricsAPI nos ajudam a entender a atividade — e o comportamento — da qualidade, quantidade e tipo de contribuição do usuário, para o quão bem nossos editores são mantidos.

declaração de missão

Uma declaração que descreve como o propósito de uma organização está alinhado com sua visão. Uma declaração de missão é breve — “curta o bastante para caber em uma camisa” é uma regra de ouro — e descreve o motivo da organização existir, o que ela faz, para quem ela existe, e que valor ela cria, sem listar atividades específicas empregadas para alcançar a missão.

Saiba mais:

• Declaração de missão na Wikipédia.

monitoramento

Tipo de avaliação de programa, ou estratégia de avaliação focada em rastrear e descrever as entradas da programação, entrega das atividades do programa, e as saídas. Ela é literalmente a “contagem por grão de arroz” das atividades e eventos a ver se você fez o que disse que faria.

Isto é, Fizemos o que definimos para fazer?

avaliação de necessidades

Tipo de avaliação de programa, ou estratégia de avaliação, que foca em achar uma demanda (isto é, assuntos que a Wikipédia necessita de um melhoramento neles) ou falhas (isto é, temos milhares de fotos de monumentos no México, mas quais outras fotos do México precisamos?).

Geralmente, é feita antes do programa, durante a fase de concepção. Os dados recolhidos são então usados para formular os patamares (pontos de início), metas, objetivos e os recursos necessários para o programa.

Isto é, Precisamos alterar o quê?

objetivos

Um objetivo é um pequeno componente de uma meta. Ele foca nos alvos que você tomará para obter sua meta.

Exemplo:

• Se sua meta é ter mais mulheres editando a Wikipédia, seu objetivo seria organizar 10 edit-a-thons em 6 meses para tentar conseguir fazer a meta.

resultados

Resultados são aqueles que seu programa quer alcançar. Resultados são uma parte detalhada do impacto. Caso seu edit-a-thon atender seus resultados, em teoria ele terá impacto. Resultados são aqueles que seu programa visa em alcançar e são representados pelas alterações que acontecem aos participantes em termos de alterações no conhecimento, comportamento, nas habilidades, e/ou outros atributos e condições que são o alvo de um programa.

Ao definir resultados, considere: o quão tocante o programa é para a vida de pessoas, grupos, famílias, organizações, ou comunidades à curto, médio e longo prazos? Idealmente, os resultados de um programa devem resultar em um impacto mantido pelos Projetos da Wikimedia. Exemplos de resultados incluem habilidades necessárias para edit um artigo na Wikipédia, ganhar novos editores, manter e melhorar a participação dos editores, etc.

Exemplo:

• Se sua meta abrangente é ter mais mulheres editando a Wikipédia no próximo ano, você terá o objetivo de realizar 10 edit-a-thons nos próximos seis meses. Após sua edit-a-thon, você a avaliará para descobrir os resultados. Cada edit-a-thon terá resultados, e o programa inteiro como um todo poderia também. Os resultados podem incluir que 20% das 150 mulheres participantes das 10 edit-a-thons editaram a Wikipédia 2 meses após a série de eventos se encerrar.

corrente de resultados

Também chamada de “caminho de resultados”, este termo se refere à sequência na qual os resultados são alcançados. Os resultados não podem ser atingidos todos ao mesmo tempo, e alguns deles dependem da conquista das saídas e outros resultados anteriores.

Seus resultados à curto, médio, e longo prazos devem refletir uma corrente de resultados (ou caminho de resultados) lógica, na qual seus resultados à longo prazo são suportados pelos (e dependem dos) à curto prazo.

avaliação de resultados

Tipo de avaliação de programa, ou estratégia de avaliação, mais conhecida e foca na extensão a qual um programa cumpre suas metas e objetivos para mudar seus resultados.

Ver também: avaliação somativa.

saídas

Produtos diretos e medíveis de atividades de programas e participação. Saídas são o que sai das atividades de um programa durante o(s) evento(s) de programação.

Isto geralmente inclui observações do número de sessões conduzidas de oficinas, materiais educacionais contribuídos, e participantes servidos. Estas saídas devem ser o primeiro passo para os resultados desejados para os participantes do programa.

Exemplos:

• o número de participantes (20 participantes no total, 2 voluntários);
• que tipo de participantes eles eram (15 estudantes de medicina e 5 professores, 10 mulheres);
• quantos artigos ou imagens foram enviados durante o(s) evento(s) de programação;
• o objeto das contribuições.

medidas de performance

Indicadores quantitativos consistentes usados para avaliar se, e o que extender, um resultado é alcançado.

declaração de problema

Também conhecida como “problema”, ou “desafio”, uma declaração de problema é uma declaração concisa do problema ou um desafio que o seu programa visa resolver.

Exemplo:

• Os Projetos da Wikimedia sofrem de uma diferença de gênero — mais homens contribuem que mulheres — portanto seu programa quer obter mais mulheres envolvidas.

avaliação de processo

Tipo de avaliação de programa, ou estratégia de avaliação, que foca no grau o qual uma iniciativa, programa ou projeto foi implementado como planejado.

Isto é, Como isto funcionou/aconteceu?

Ver também: viabilidade formativa.

programa

Um grupo de projetos e atividades relacionados que compartilham os mesmos objetivos, são repetidos regularmente, baseados em uma teoria da mudança semelhante, e usam processos e intervenções semelhantes para fazer com que esta mudança aconteça.

Características principais de programas:

• objetivo compartilhado: um grupo de projetos relacionados que compartilham o mesmo objetivo;
• mantido: um grupo de projetos relacionados em andamento ou repetidos regularmente;
• modelo: um grupo de projetos relacionados compartilhando uma teoria da mudança semelhante e usando processos e intervenções semelhantes para fazer com que esta mudança aconteça

Exemplo:

• Em 2012, a Wikimedia Suécia, Argentina, Polônia e outras estavam sediando os projetos da “Wiki Loves Monuments” que eram parte de um programa “Wiki Loves Monuments” global. Este programa global foi organizado por vários anos, enquanto seus objetivos (obter mais fotos de monumentos enviados ao Commons) e sua teoria da mudança continuaram os mesmos. A cada ano, os processos são refinados (por exemplo, novas ferramentas de envio de fotos foram desenvolvidas), enquanto que “enviar imagens” continua no centro do que está acontecendo para alcançar impacto na Wikipédia (com a meta de ter uma alta porcentagem de artigos sobre monumentos sendo equipados com uma imagem apropriada).

avaliação de programa

A determinação sistemática do mérito, valor e/ou significância de algo. A avaliação usa um conjunto de padrões ou critérios para avaliar cada esforço, programa, ou iniciativa para entender seu impacto e tomar decisões sobre como proceder.

O propósito primário da avaliação, além de ganhar conhecimento dos esforços passados ou presentes, programas, e iniciativas, é habilitar a reflexão e ajudar na identificação de necessidades e estratégias para mudanças futuras.

plano de avaliação de programa

Um documento que detalha as estratégias para uma coleção de informações sistemáticas a serem usadas para responder questões criticamente importantes sobre um programa.

Um plano de avaliação de programa fornece uma estrutura para o desenvolver de indicadores para os resultados de programa, e determinar como as informações da avaliação serão coletadas.

Ver também: plano de avaliação.

líder de programa

Um líder de programa é quem planeja, executa e, geralmente, avalia programas. Às vezes, programas têm múltiplos líderes.

Em relação aos programas da Wikimedia, líderes de programas podem não ter afiliação capitular. Podem ser Presidentes voluntários de um capítulo, ou talvez um funcionário de um capítulo que projeta e executa programas especificamente para este capítulo. Poderiam ser membros de um grupo afiliado reconhecido pela comunidade da Wikimedia. Um líder poderia ser um bibliotecário que organizaria oficinas em sua biblioteca para ensinar às pessoas como editar a Wikipédia.

Você pode ser um líder de programa!

projeto

Um indivíduo ou empresa colaborativa frequentemente envolvendo pesquisas ou projetos, planejado e designado para alcançar um alvo particular. Geralmente, há uma data de início e de fim, não necessariamente podendo ser repetida.

Não confundir com os “Projetos da Wikimedia” como a Wikipédia, Wikivoyage, Wikiversidade, o Wikcionário, WikiQuote, Wikinotícias, Wikisource, Wikibooks, Wikilivros, Wikimedia Commons, WikiData, MetaWiki, MediaWiki, etc.

dados qualitativos

Dados descritos em termos de “qualidade”, não “quantidade”.

Dados qualitativos são geralmente obtidos através de perguntar coisas sem datas de voltas marcadas, às quais as perguntas não são limitadas a um conjunto de escolhas ou uma escala. A coleta de dados qualitativos é mais útil ao querer as informações vindas das pessoas, ou quando as questões sendo feitas têm muitas respostas possíveis para você poder listá-las. Dados qualitativos também podem vir ao capturar através de medidas observacionais.

Dados qualitativos são mais demorados para analisar do que dados quantitativos, mas podem valer a pena e ser uma parte importante de um esforço de coleta de dados.

Exemplo:

• Se você perguntar a estudantes no final de seus semestres no “Programa Educacional da Wikipédia”, para “compartilhar o que gostaram mais sobre editar a Wikipédia na sala de aula” e compartilharem suas próprias opiniões e pensamentos escrevendo um parágrafo numa seção de uma pesquisa ou verbalmente compartilhando respostas numa enquete da sala de aula e codificar aquelas, ou outras naturais, observações dos pontos que os voluntários gostaram.

Saiba mais:

• definição de qualitativo no Wikcionário.

dados quantitativos

Dados descritos em termos de “quantidade”, não “qualidade”.

Dados quantitativos são coletados através perguntas sem datas de volta marcadas, onde os usuários recebem um número limitado de alternativas, ou perguntados para classificar em escala. Enquanto a coleta de dados quantitativos é mais adequada para coletar dados numéricos, como idade, renda, número de funcionários e/ou de crianças, etc., muitos tipos de informações podem ser coletados quantitativamente se colocados em escala.

Exemplo:

• Ao realizar uma pesquisa para estudantes no final de um semestre do “Programa Educacional da Wikipédia”, você pode perguntá-los pela sua idade, gênero, que ano esperam se graduar, dando apenas caixas de seleção ao invés de perguntar algo mais aberto.

Saiba mais:

• definição de quatitativo no Wikcionário.

análise racional

Por que você espera que as atividades do seu programa levem a um conjunto particular de resultados? Também chamadas de “suposições teóricas”, seus racionais são declarações expressando por quê você acredita que suas atividades levarão aos seus resultados, ou por que resultados a curto prazo levarão a de longo prazo. Eles são geralmente baseados em pesquisas, mas também podem vir de experiências passadas, senso comum, ou conhecimento da sua situação específica.

Exemplo:

• Você acredita que se baseando nas avaliações de programa das “Wiki Loves Monuments” passadas, você acredita que se juntar com as agências governamentais do seu país responsáveis por manter monumentos trará mais participantes como resultado. Graças aos relatórios de outros líderes de programa na comunidade WLM, você pode perceber que eles tiveram mais sucesso satisfazendo resultados relacionados à participação por causa destas parcerias.

resultados de curto prazo

Resultados geralmente relacionados ao aprendizado, estes são as mudanças imediatas em consciência, habilidades, atitudes, conhecimento, e motivações resultantes de um programa ao longo de sua teoria da mudança.

Exemplo:

• Você organiza uma oficina sobre como editar a Wikipédia. Os participantes obtêm experiência em primeira mão sobre como editar e aprendem habilidades básicas. No fim da oficina, você tem os participantes para responderem a uma pesquisa sobre suas experiências. De 30 participantes, 20 disseram que saíram com um entendimento melhor na edição e se sentem mais confiantes sobre isto. Seu entendimento e confiança melhorados é um resultado de curto prazo da sua oficina.

avaliação somativa

Tipo de avaliação de programa, ou estratégia de avaliação, que foca em avaliar se um programa satisfez suas metas e objetivos esperados para mudança.

Isto é, Fizemos o que planejamos? O que funcionou? O que não funcionou?

Ver também: avaliação de resultados.

alvos

Alvos unem um número às metas do programa e declaram expectativas para a performance dos resultados. Identificar alvos ajuda na tradução de metas gerais (O que cumpriremos?) em metas específicas (Quanto cumpriremos?).

Ver também: benchmarking.

prova

Uma medida de performance; pode ser usada como parte de um esforço de coleta de dados em indicadores particulares.

Exemplo:

• No final de uma oficina, você pode questionar os participantes sobre o que eles aprenderam sobre as políticas da Wikipédia. Isto lhe informará o quanto eles aprenderam.

teoria da mudança

Uma teoria da mudança é um modo de projetar e avaliar iniciativas de mudança social. Uma teoria da mudança apresenta um caminho teórico descrevendo os passos de ação que:

1. ligam suas atividades de missão e programação para mudar através de causas e efeitos lógicos relacionamentos;
2. lhe permitem o efeito para a especificação das saídas do programa e resultados de participantes;
3. focam em resultados principais específicos, medíveis, alcançáveis, realísticas, e em tempo limite.

Uma teoria da mudança oferece um roteiro claro para alcançar seus resultados identificando as precondições, caminhos, e as atividades, saídas, e resultados necessários para o sucesso de um programa.

ferramenta

Uma ferramenta é qualquer item físico que pode ser usado para alcançar uma meta. Informalmente, a palavra é usada para descrever um procedimento ou processo com um propósito específico.

Em avaliações de programa, ferramentas são geralmente usadas para rastrear e monitorar (registros) assim como capturar comentários (pesquisas, entrevistas, grupos de foco, etc.) ou extrair informações de resultados (ferramentas de relatórios).