Como melhorar o desempenho acadêmico?

Título do Paper: Incentives and services for college achievement: Evidence from a randomized trial

Pesquisadora responsável: Viviane Pires Ribeiro

Autores: Joshua Angrist, Daniel Lang e Philip Oreopoulos

Localização da Intervenção: Canadá

Tamanho da Amostra: 1600 alunos

Grande tema: Educação

Variável de Interesse principal: Resultados acadêmicos

Tipo de Intervenção: Avaliação das principais estratégias usadas para melhorar o desempenho acadêmico

Metodologia: Estudo randomizado

Angrist, Lang e Oreopoulos (2009) relatam uma avaliação experimental de estratégias destinadas a melhorar o desempenho acadêmico entre calouros universitários. Um grupo de tratamento recebeu serviços de apoio acadêmico. Outro recebeu incentivos financeiros para boas notas. Um terceiro grupo combinou ambas as intervenções. O uso do serviço foi maior para as mulheres e para os indivíduos do grupo combinado. O tratamento combinado também elevou as notas e melhorou a posição acadêmica das mulheres. Esses diferenciais persistiram até o final do segundo ano, embora os incentivos tenham ocorrido apenas no primeiro ano.

Contexto da Avaliação

Nas últimas décadas, houve um interesse crescente em intervenções destinadas a aumentar a frequência e a conclusão do ensino superior nos Estados Unidos, especialmente para estudantes de baixa renda. Esse interesse resultou em esforços para aumentar o número de matrículas e dentre esses esforços, destacam-se o auxílio estudantil com base na necessidade e no mérito dos estudantes, programas de isenção de impostos, subsídios para ensino, assistência ao emprego e melhorias nas infraestruturas. Assim, os gastos resultantes são justificados em parte por evidências empíricas que sugerem que há retornos econômicos substanciais para a educação universitária e conclusão da graduação.

O desempenho acadêmico do aluno nem sempre é satisfatório. Muitos estudantes levam mais tempo para finalizar o curso do que o tempo previsto de conclusão – e uma das possíveis razões para esse mal desempenho é a falta de preparação. Em particular, muitos alunos possuem poucas habilidades de estudo. No entanto, motivada pela visão de que o retorno a essas habilidades é alto, a resposta tradicional aos problemas de desempenho acadêmico tem sido uma série de estratégias de serviço acadêmico (como por exemplo, oficinas de gerenciamento de tempo, estabelecimento de metas, orientação acadêmica e etc.). Além disso, em alguns casos específicos, os serviços de apoio estudantil são combinados com serviços de apoio psicológico.

Outra estratégia que busca melhorar o desempenho estudantil são os programas de bolsas de estudo por mérito – que têm se concentrado principalmente em um pequeno número de alunos de alto desempenho. Buscando ampliar o número de estudantes beneficiados por esses programas, surgiu no campo das bolsas de estudo uma tentativa de usar prêmios e incentivos financeiros para motivar alunos com bons desempenhos acadêmicos e não somente aqueles com desempenhos espetaculares. Esses programas são, em parte, um esforço para atrair melhores alunos para instituições públicas. Mas eles também são motivados pela visão de que a auxílio por mérito aumenta o interesse pela escola e torna os alunos mais dispostos a desenvolver bons hábitos de estudo.

As evidências não experimentais sobre a eficácia dos serviços estudantis são mistas. Estudos mais rigorosos com designs experimentais e quase-experimentais, principalmente para alunos do ensino médio, apresentam um quadro mais promissor. Entretanto, até onde foi observado na literatura, nem as estratégias de apoio acadêmico nem os incentivos financeiros foram objeto de avaliações em larga escala usando design de pesquisa de atribuição aleatória em um ambiente universitário tradicional. Então essa é a lacuna que Angrist, Lang e Oreopoulos (2007) buscam suprir.

Detalhes da Intervenção

Angrist, Lang e Oreopoulos (2009) relatam um grande experimento de campo randomizado que foi projetado para avaliar as principais estratégias usadas para melhorar o desempenho acadêmico de curto e longo prazo dos estudantes. Especificamente, o estudo busca identificar se os alunos com baixo desempenho acadêmico apresentam melhores resultados quando são ofertados serviços universitários adicionais, bolsas de mérito ou ambos, e se os efeitos dessas intervenções se estendem além do período em que foram disponibilizadas.

O estudo relata o Student Achievement and Retention Project (STAR), uma avaliação aleatória de serviços e incentivos acadêmicos que foi realizada em um dos campus satélites de uma grande universidade canadense. Em termos americanos, essa instituição pode ser considerada uma grande escola estadual, com mensalidades fortemente subsidiadas. Assim, aproximadamente 1.600 estudantes do primeiro ano participaram do projeto, sendo a maioria da área local e com formação comum de ensino médio.

A demonstração do STAR envolve três tipos de tratamento: uma estratégia de serviço conhecida como Programa de Apoio ao Estudante (SSP), uma estratégia de incentivo conhecida como Programa de Bolsas Estudantis (SFP) e uma intervenção que oferece ambas as estratégias, denominada SFSP. O SSP ofereceu a 250 alunos acesso a serviço de aconselhamento de pares e serviço de instrução suplementar na forma de Grupos de Estudo Facilitados (FSGs). Os conselheiros de pares são alunos treinados pelo programa de estudo com o intuito de oferecer sugestões acadêmicas para apoiar o estudante no primeiro ano escolar. Enquanto o FSGs são sessões específicas de aulas projetadas para melhorar os hábitos de estudo e as estratégias de aprendizado dos alunos, sem focar somente no conteúdo específico do curso.

O SFP ofereceu a 250 alunos a oportunidade de ganhar bolsas de mérito para manter boas notas, mas não necessariamente as melhores, no primeiro ano escolar. Os participantes desse programa receberam $ 5.000 em dinheiro para um conceito B (uma nota média de 3,0) ou superior, ou $ 1.000 em dinheiro para um C+ ou B- (uma nota média de 2,3 a 2,9). Entretanto, para ser elegível para uma bolsa, os alunos tinham que fazer pelo menos 4 cursos por período e se matricular para frequentar o segundo ano de seu programa.

Ao terceiro grupo tratado de 150 alunos foi oferecido tanto o SSP quanto o SFP. Por fim, a demonstração do STAR incluiu um grupo de controle de 1.006 alunos, com os quais os operadores do programa não tiveram contato.

Detalhes da Metodologia

O estudo realizado por Angrist, Lang e Oreopoulos (2009) relata um experimento de campo randomizado envolvendo duas estratégias projetadas para melhorar o desempenho acadêmico entre estudantes de graduação em tempo integral em uma grande universidade canadense. Um grupo de tratamento (“serviços”) recebeu aconselhamento de pares e grupos de estudo organizados. Ao outro grupo (“incentivos”) foram oferecidas bolsas de mérito para que o aluno do primeiro ano mantenha boas notas, mas não necessariamente excelentes. Um terceiro grupo de tratamento combinou ambas as intervenções.

Para os propósitos de análise, todos os alunos do primeiro ano que entraram em setembro de 2005, exceto aqueles com notas média no quartil superior, foram aleatoriamente designados para um dos três grupos de tratamento ou um grupo de controle. Um grupo de tratamento recebeu uma série de serviços de apoio, incluindo acesso a orientação por outros alunos de classe mais avançada e instrução suplementar para promover o pensamento crítico. Um segundo grupo recebeu prêmios em dinheiro por atingir uma determinada nota média. Além disso, um terceiro grupo de tratamento recebeu uma combinação de serviços e incentivos, uma intervenção que não foi analisada anteriormente. O grupo de controle era elegível para serviços de apoio universitário padrão, mas não recebeu nada extra.

Resultados

O primeiro resultado do estudo é que as mulheres jovens usam bem mais os serviços do que os homens jovens. O segundo achado relacionado ao uso do serviço é o aparecimento de uma forte interação entre a oferta de bolsas e a adesão ao serviço; os alunos do grupo combinado eram mais propensos a usar os serviços do que aqueles oferecidos sem oportunidade de ganhar bolsas. Os incentivos, portanto, tiveram o efeito imediato de curto prazo de aumentar a taxa em que os alunos buscavam apoio acadêmico.

Os efeitos da intervenção STAR no desempenho acadêmico dos alunos são mais variados. Paralelamente ao diferencial de gênero nas taxas de aceitação, os resultados no desempenho acadêmico mostram impacto significativo nas notas apenas para as mulheres. Os efeitos sobre as mulheres são maiores no grupo combinado (bolsa e serviços). O grupo combinado também ganhou mais créditos e teve uma taxa significativamente menor de estágio acadêmico no final do ano.

Os autores destacam que as mulheres do grupo combinado continuaram a superar o restante da população STAR no segundo ano – apesar das bolsas e serviços estarem disponíveis apenas no primeiro ano. Esse resultado sugere que habilidades de estudo ou hábitos de estudo adquiridos durante o primeiro ano ajudaram a aumentar o desempenho subsequente.

O interesse dos alunos pelos serviços de apoio foi menor do que o esperado. Por outro lado, o interesse em serviços, refletido nas taxas de adesão e uso do serviço, foi marcadamente maior no grupo que também recebeu incentivos monetários. O interesse em serviços e uso de serviços também foi muito maior para as mulheres jovens do que para os homens jovens. O aconselhamento por pares era consideravelmente mais popular do que a instrução suplementar para ambos os sexos. A intervenção de aconselhamento por pares claramente merece mais exploração, assim como o uso de incentivos de realização para aumentar o interesse pelos serviços.

Vários padrões emergem dos resultados do STAR. Em primeiro lugar, os alunos que receberam aconselhamento por pares e serviços de instrução suplementar sem bolsas não tiveram melhor desempenho do que os alunos do grupo de controle. Isso pode ser porque as taxas de adesão foram relativamente baixas nos grupos de tratamento de serviços, uma vez que as baixas taxas de consentimento diluem os efeitos da intenção de tratar. Por outro lado, uma análise 2SLS que ajusta os efeitos da intenção de tratar para não participação revela um nível de precisão suficiente para detectar efeitos teóricos de serviço igual a 0,25σ na amostra combinada de homens e mulheres. Os resultados, portanto, sugerem que os benefícios dos serviços por si só são relativamente modestos.

Lições de Política Pública

Com base nos resultados do estudo é possível levantar algumas questões, tais como: por que os efeitos foram maiores no grupo combinado; e por que as mulheres apresentaram melhores respostas aos programas do que os homens.

Angrist, Lang e Oreopoulos (2009) sugerem duas possíveis razões para o maior impacto do programa combinado. O impacto significativo das notas de outono nos grupos SFP e SFSP sugere que as bolsas por si só foram uma forte força motivadora. O grupo SFSP teve a vantagem, no entanto, de orientação e apoio contínuos. Esses alunos receberam contatos mais frequentes na forma de e-mails quinzenais de conselheiros de pares. A maior interação com os colegas do último ano pode ter facilitado a adaptação e integração ao novo ambiente universitário. O grupo de apenas serviço (SSP) teve acesso semelhante, mas as taxas de aceitação no SSP foram baixas. Para o serviço de aconselhamento, as taxas de aceitação das mulheres do SFSP foram quase o dobro das taxas de aceitação das mulheres do SSP. Assim, o SFSP parece ter combinado com sucesso o aumento da motivação com um canal bem definido para uma melhoria sustentada nos resultados.

Embora não se tenha uma explicação simples para as diferenças de gênero na resposta a incentivos e serviços, os autores ressaltam que as mulheres geralmente parecem mais comprometidas com o estudo pós-secundário do que os homens. Parte dessa diferença parece ser devido a melhores hábitos de estudo entre as mulheres, sugerindo que elas podem estar mais motivadas a apresentar bons resultados na escola e, portanto, a aproveitar programas como o STAR.

Estudos anteriores também confirmaram diferenças de gênero na resposta a incentivos e serviços, com as mulheres apresentando melhores respostas aos programas.

Referências

ANGRIST, Joshua; LANG, Daniel; OREOPOULOS, Philip. Incentives and services for college achievement: Evidence from a randomized trial. American Economic Journal: Applied Economics, v. 1, n. 1, p. 136-63, 2009.