Professores de alto valor agregado melhoram os resultados dos alunos?

Pesquisador responsável: Viviane Pires Ribeiro

Título do artigo: MEASURING THE IMPACTS OF TEACHERS II: TEACHER VALUE-ADDED AND STUDENT OUTCOMES IN ADULTHOOD

Autores do artigo: Raj Chetty, John N. Friedman e Jonah E. Rockoff

Localização da intervenção: Estados Unidos

Tamanho da amostra: Aproximadamente 2,5 milhões de crianças         

Grande tema: Educação

Tipo de Intervenção: Impactos dos professores sobre os resultados de longo prazo dos alunos
Variável de Interesse principal: Valor Agregado do professor

Método de avaliação: Teste Score

Contexto da Avaliação

Um método proeminente, porém, controverso, é avaliar a eficácia dos professores com base em seus impactos nas notas dos testes dos alunos, comumente denominada abordagem de Valor Agregado (VA). Importantes distritos escolares já aderiram ao uso de VA para avaliar os professores, como os distritos de Washington, DC a Los Angeles. Alguns autores argumentam que a seleção de professores com base em seus valores agregados pode gerar ganhos substanciais no desempenho dos alunos, enquanto outros mais críticos afirmam que essas não são boas medidas para avaliar a qualidade dos docentes.

Detalhes da Intervenção

Chetty et al. (2014) estudaram os impactos a longo prazo dos professores, usando registros escolares e fiscais para mais de um milhão de crianças. As informações sobre os alunos – incluindo histórico de matrículas, resultados de testes e tarefas dos professores – foram obtidas nos registros administrativos de um grande distrito escolar urbano. Esses dados abrangem os anos escolares de 1988–1989 a 2008-2009 e cobrem aproximadamente 2,5 milhões de crianças nas séries 3–8. Por outro lado, as informações sobre os resultados dos alunos na idade adulta foram obtidas nas declarações de imposto de renda federal dos Estados Unidos, no período de 1996 a 2011.

Os registros do distrito escolar foram vinculados aos dados fiscais usando um algoritmo baseado em identificadores padrão (data de nascimento, estado de nascimento, sexo e nomes), após os identificadores individuais foram removidos para proteger a confidencialidade. No total, os autores combinaram aproximadamente 90% das observações dos dados do distrito escolar com os dados fiscais, permitindo assim, rastrear quase um milhão de pessoas do ensino fundamental ao início da idade adulta, a fim de medir resultados como salário, frequência da faculdade e taxa de natalidade das adolescentes.

Detalhes da Metodologia

Foram utilizados dois projetos de pesquisa para estimar os impactos a longo prazo da qualidade dos professores: comparações transversais nas salas de aula e um desenho quase-experimental com base na rotatividade de docentes. O primeiro projeto compara os resultados dos alunos para professores com VA diferentes, controlado por um conjunto de características dos alunos, como pontuações em testes anteriores e dados demográficos. Os autores implementaram essa abordagem ao regredir os resultados a longo prazo nas estimativas de VA do teste score. O pressuposto de identificação subjacente a este projeto é a seleção de observáveis: determinantes não observados dos resultados na idade adulta (como a capacidade do aluno) não devem estar relacionados à VA do professor, dependendo das características observáveis. Por outro lado, o segundo projeto relaxa essa suposição de seleção de observáveis, explorando a rotatividade de professores como uma fonte quase-experimental de variação na qualidade dos docentes.

Resultados

No primeiro projeto de pesquisa, os resultados encontrados por Chetty et al. (2014) mostram que a melhoria de um desvio padrão no valor agregado do professor em uma única série aumenta a probabilidade de os alunos frequentar a faculdade aos 20 anos em 0,82 pontos percentuais, em relação a uma média da amostra de 37%. Melhorias na qualidade dos professores também aumentam a qualidade das faculdades nas quais os alunos frequentam, conforme medido pelos ganhos médios dos graduados anteriores.

Alunos que estudam com professores de maior VA possuem trajetórias de ganhos mais acentuadas na casa dos 20 anos. Ou seja, aos 28 anos, um aumento de um desvio padrão no VA do professor em uma única série aumenta os ganhos anuais dos alunos em 1,3%. Se o impacto nos ganhos permanecerem constantes em 1,3%, os alunos receberão em média US$ 39.000 na renda acumulada ao longo da vida. O desconto a uma taxa de 5% gera um ganho de valor presente de US$ 7.000 aos 12 anos, a idade média dos alunos.

Melhorias na qualidade de ensino dos professores reduzem significativamente a probabilidade de os alunos terem um filho durante a adolescência, aumenta a qualidade da vizinhança em que o aluno mora na idade adulta (medido pela porcentagem de formandos desse código postal) e aumenta as taxas de participação nos planos de aposentadoria.

No segundo projeto, os resultados evidenciam que uma melhoria de um desvio padrão no VA do professor aumenta a probabilidade de os alunos frequentar a faculdade aos 20 anos em 0,86 pontos percentuais, valor quase idêntico à estimativa obtida no primeiro projeto. Melhorias no VA médio dos professores também aumentam a qualidade das faculdades nas quais os alunos frequentam.

Lições de Política Pública

Professores de alto valor agregado melhoram os resultados de longo prazo dos alunos? Os resultados encontrados por Chetty et al. (2014) mostram que as medidas de valor agregado do teste score são uma boa proxy informativa para os impactos a longo prazo dos professores. Nesse sentido, os alunos atribuídos a professores de alto valor agregado são mais propensos a frequentar a faculdade, receber maiores salários e menos propensos a terem filhos quando adolescentes. Substituir um professor cujo valor agregado é inferior a 5% por um professor de VA médio aumentaria o valor presente da renda vitalícia dos alunos em aproximadamente US$ 250.000 por sala de aula.

Os autores afirmam que duas questões devem ser resolvidas antes de determinar o uso de valor agregado na elaboração de políticas educacionais. Primeira, o uso dessa medida para avaliar os professores podem induzir respostas, como o ensino para o teste ou trapaça. Assim, é possível estimar a magnitude de tais efeitos por meio da análise desenvolvida pelos autores em um distrito que avalia os docentes com base em seu valor agregado. Segunda questão, deve-se comparar os impactos de longo prazo da avaliação de professores com base no VA para outras métricas, tais como avaliações principais ou observações de aulas.

No entanto, independentemente de o valor agregado ser ou não usado como uma ferramenta política, os resultados mostram que os pais devem valorizar o fato de terem seus filhos na sala de aula de um professor de alto valor agregado e a melhoria da qualidade de ensino provavelmente trará benefícios econômicos e sociais.

Referências

CHETTY, Raj; FRIEDMAN, John N.; ROCKOFF, Jonah E. Measuring the impacts of teachers I: Evaluating bias in teacher value-added estimates. American Economic Review, v. 104, n. 9, p. 2593-2632, 2014.