COMO A PREMIAÇÃO POR PERFORMANCE ACADÊMICA AFETA OS RESULTADOS  DOS ALUNOS EM EXAMES DE PROFICIÊNCIA?

Pesquisador responsável: Bruno Benevit

Autores: Joshua Angrist e Victor Lavy

Localização da Intervenção: Israel

Tamanho da Amostra: 12.188 crianças

Setor: Educação

Variável de Interesse Principal:  Certificação do Ensino Médio

Tipo de Intervenção: Prêmio por certificação

Metodologia: OLS e Logit

Resumo

Os certificados de exames de conclusão do ensino médio costumam estar associados ao ingresso no ensino superior, ganhos de produtividade e renda. Apesar do potencial valor econômico atrelado a esses certificados, algumas sociedades apresentam grandes diferenças nas taxas de conclusão resultantes de diferenças regionais e socioeconômicas entre os indivíduos. Para testar como prêmios pela obtenção do certificado israelense Bagrut afetariam a chance dos alunos conseguirem o certificado, os autores deste estudo conduziram um experimento com escolas definidas aleatoriamente. Adotando os métodos de OLS e Logit, os resultados demonstraram que somente as meninas das escolas contempladas tiveram um aumento em suas chances de certificação, incorrendo em elevação na probabilidade de ingresso em faculdades. Esse resultado foi parcialmente explicado pelo aumento de tempo dedicado à preparação para o exame. Não foram identificados efeitos significativos para os meninos.

1. Problema de Política

A certificação de conclusão do ensino médio é um pré-requisito formal para a admissão em universidades em Israel, denominado Bagrut. De acordo com Angrist & Lavy (2009), os detentores da certificação possuem salários 25% mais altos. No entanto, existem grandes diferenças na sociedade israelense nas taxas de conclusão do Bagrut entre regiões e decorrentes do contexto socioeconômico dos alunos. Os educadores israelenses adotaram diversos programas visando modificar esse cenário, porém sem efeito aparente. Portanto, os formuladores de políticas têm o desafio de identificar quais incentivos econômicos estão associados a esse fenômeno.

2. Contexto de Implementação e de Avaliação

A obtenção do Bagrut consiste em uma série de exames nacionais em disciplinas básicas e eletivas que começam na décima série e encerram décima segunda série. Os certificados Bagrut costumam ser obtidos no final do último ano (ou posteriormente), ano em que a maioria dos exames são realizados. Os alunos escolhem testes com vários níveis de proficiência. Cada teste concede de uma a cinco unidades de crédito por disciplina, dependendo da dificuldade selecionada. Para  qualificar-se para um certificado de Bagrut é necessário um mínimo de 20 unidades de créditos, embora alguns programas de estudo exijam mais e/ou um requisito mínimo de distribuição dos créditos. Segundo o Ministério de Educação de Israel (2001), cerca de 52% de todos os alunos do ensino médio receberam um certificado de matrícula nas coortes de 1999 e 2000.

Este artigo realizou um experimento aleatório com o Achievement Awards, projeto que oferecia prêmios em dinheiro para alunos do ensino médio com baixo desempenho em Israel que concluíssem e tivessem bom desempenho no Bagrut. A necessidade de inserirem-se no mercado de trabalho e as incertezas relacionadas aos retornos da educação podem explicar esse fenômeno. Nesse sentido, a provisão financeira imediata pode ser uma ferramenta eficaz para incentivar o envolvimento desse grupo de alunos na certificação do Bagrut.

3. Detalhes da Política/Programa

A seleção do experimento se deu em dezembro de 2000 com a seleção de 40 escolas secundárias não profissionais com as menores taxas de Bagrut de 1999 em um ranking nacional. Adicionalmente, foram escolhidas apenas escolas acima da taxa mínimas de 3%, dado que escolas com taxas ínfimas provavelmente não se beneficiariam do programa. O número total de escolas tratadas foi determinado pela restrição orçamentária do programa, cerca de $ 650.000. A lista das escolas participantes incluiu 10 escolas religiosas árabes, 10 escolas religiosas judaicas e 20 escolas seculares judaicas. A atribuição do tratamento, a oferta de prêmios aos certificados no Bagrut, se deu aleatoriamente. Somente as escolas selecionadas para tratamento foram informadas sobre o programa. A seleção usou uma estratégia de correspondência que emparelhou escolas de tratamento e controle com base em valores defasados da taxa média de Bagrut de 1999.

4. Método

Os dados do ponto de partida (baseline) deste estudo foram coletados em janeiro de 2001, e o resultado principal para a coorte das escolas que sofreram a intervenção foram coletados em junho de 2001. Pesquisas adicionais foram aplicadas entre 2001 e 2002 para a coleta de dados sobre os resultados do exame. Os dados contemplam os resultados do Bagrut, características das escolas, informações socioeconômicas básicas e escore de performance acadêmica defasada dos alunos. A amostra possui 12.188 alunos distribuídos entre as 39 escolas que participaram do experimento, dos quais 6.267 são meninos e 5.921 são meninas, compreendendo o período de 2000 a 2002.

O artigo apresenta diversas análises para investigar os efeitos do experimento. Foram estabelecidos dois modelos econométricos. No primeiro modelo considerou-se os coeficientes para a intervenção do prêmio por certificação na escola (tratamento), características das escolas e características sociais da família dos alunos. O segundo modelo incorporou novas variáveis das medidas defasadas do escore de créditos nos exames pré 2001. Na primeira análise, os autores verificaram os efeitos marginais do experimento através dos métodos de OLS e Logit para estimar os dois modelos econométricos com e sem os efeito de pares das escolas. A segunda análise aplicou-se o método Logit para identificar o perfil dos alunos com mais chances marginais de beneficiarem-se da intervenção entre o grupo das escolas que não sofreram a intervenção do experimento para o ano de 2001.

Com o intuito de identificar o perfil dos alunos mais beneficiados, diversas outras análises foram realizadas aplicando modelos Logit com especificações distintas, desconsiderando a escolaridade das mães ou incorporando efeitos fixos das escolas. Adicionalmente, foram estimados os efeitos para diversos subgrupos levando em consideração as distribuições do escore defasado ou da probabilidade de certificação.

Para compreender quais canais provocaram mudanças na chance de certificação, o estudo também analisou o efeito do experimento em variáveis de resultado referentes ao desempenho acadêmico dos alunos: tentativas de créditos, performance nos exames e chances de satisfazer os requisitos do Bagrut. Por fim, os autores verificaram se o aumento na chance de certificação foi refletido em maior probabilidade de ingresso no ensino superior.

• Principais Resultados

Os resultados em todas as análises demonstraram que a oferta de prêmios para estudantes em escola de baixo desempenho não teve efeito na taxa de certificação dos meninos. Contudo, os resultados para as meninas indicam elevação na taxa de certificação. Esse efeito é decorrente do subgrupo de alunas com mais chances de certificação, gerando um aumento de cerca de 10% nos modelos que permitem a omissão de efeitos escolares fixos. Analisando dados da pesquisa de acompanhamento do Ministério da Educação (2001) sugere que esse efeito possa ser explicado pela maior dedicação de tempo aos estudos das meninas em cursos preparatórios para o Bagrut.

Em relação aos mecanismos que explicam como a mudança nos incentivos modificaram o processo de estudos dos estudantes, os resultados apresentam efeitos positivos para as meninas. Foram auferidos aumentos na tentativa de obtenção de 20 unidades de créditos, na chance de obtenção de 18 e de 20 unidades de créditos, e nos requerimentos de distribuição nos testes de matemática e escrita. Novamente, não foram identificados efeitos significativos para os meninos. A diferença entre resposta aos incentivos financeiros para  o ensino superior pode explicar tal comportamento.

O aumento observado nas taxas de certificação das alunas traduziu-se em aumento de matrículas no ensino superior. Esse efeito se deu nos grupos da metade superior da distribuição de pontuação defasada, havendo um aumento de 12 a 13 pontos percentuais no quarto quartil e de cerca de 7 pontos percentuais na metade superior.

6. Lições de Política Pública

Neste artigo os autores realizaram um experimento aleatorizado em escolas para testar o impacto da concessão de prêmios a todos alunos das escolas tratadas que conquistassem o certificado de conclusão do ensino médio. Os resultados apresentaram um aumento substancial nas taxas de certificação de meninas, porém não foi observado efeito significativo sobre meninos. As alunas afetadas já faziam parte do grupo com grandes chances de certificação, indicando que o experimento não foi eficaz em aumentar a chance de certificação de alunos com baixa performance acadêmica. O aumento nas taxas de certificação de meninas incorreu em elevação na probabilidade de ingresso na faculdade. Além disso, o aumento nas taxas de certificação de meninas se deu em parte porque as alunas das escolas contempladas dedicaram mais tempo à preparação para os exames. Não foram identificadas evidências de efeitos negativos decorrentes da oferta de prêmios aos alunos.

Referências

Angrist, J. and Lavy, V. (2009), “The Effects of High Stakes High School Achievement Awards: Evidence from a Randomized Trial”, American Economic Review, Vol. 99 No. 4, pp. 1384–1414.

Israel Ministry of Education. 2001. Statistics of the Matriculation Examination (Bagrut) Test Data, 2000. Jerusalem: Ministry of Education Chief Scientist’s Office.