Home // Page 97

Se alguma coisa existe, ela existe em certa quantidade e pode ser mensurada: o valor preditivo dos Exames Vestibulares


Prof. Dr. José Aparecido Da Silva

Prof. Titular – Prefeito do Campus da USP – Ribeirão Preto USP

Há dias, os docentes da USP viram os seus e-mails serem sobrecarregados por inúmeras mensagens, relacionadas a um hipotético “manifesto” que veiculava virtualmente, no qual pessoas se posicionavam contrariamente a duas afirmações proferidas pela Pró-reitora de Graduação, acerca dos Exames Vestibulares (EV). As polêmicas afirmações da Pró-reitora foram: “a forma como o vestibular era feito até agora não dá certo” (…) “vamos passar a cobrar raciocínio e uma postura crítica com relação ao conhecimento e não acúmulo de informações”.

Refletindo sobre tais afirmações, bem como sobre a polêmica por elas ocasionada, depreender dois aspectos que julgamos fundamentais. Primeiro: a prontidão das várias áreas do saber da Universidade de São Paulo em discutir o assunto e, em segundo lugar, a diversidade opinativa individual, tanto cognitiva quanto emocional, manifesta em resposta às diferentes mensagens recebidas. Ou seja, alguns se exaltaram contra a grande quantidade de e-mails recebida que, por sobrecarregar as caixas postais, provocou um pedido exasperado de exclusão de seus nomes na lista circulante; enquanto que outros analisaram detidamente o teor do manifesto e as colocações da Pró-reitora, entendendo, de antemão, que o tema da discussão não possui respostas corretas, dicotômicas, do tipo sim/não ou certo/errado, mas sim respostas que só podem ser geradas após intensos e contínuos debates acerca de sua natureza, modelo, forma e função.
Assim esclarecido, entendo que ambas as colocações da Pró-reitora podem ser sumariadas por meio de duas questões que, usualmente, permeiam os processos de avaliação e/ou constructos de natureza psicológica. Primeira, quais são as dimensões e/ou fatores que devem compor os EV? Segunda, qual é o valor preditivo dos EV?
A primeira questão trata da dimensionalidade dos EV. Quantas dimensões cognitivas podem ser capturadas pelos EV. Principiemos, portanto, da definição do que é uma dimensão. Pense uma dimensão como uma linha numérica. Se quisermos mensurar o constructo, temos que decidir se este pode ser adequadamente mensurado com uma única linha numérica ou se é necessário mais que uma linha. Como exemplo para tanto, tomemos a altura. Ela é um conceito que é unidimensional, ou seja, pode ser representado unicamente por uma dimensão. Assim como ela, o peso e a temperatura também são unidimensionais.
Mas pense agora sobre o EV. Enquanto exame, prova, escala ou teste ele pode ter qualquer número de dimensões, embora a maioria tenha apenas poucas dimensões. Vá mais além e pense quais constructos cognitivos podem ser capturados pelos EV. À semelhança disso, pense sobre o conceito de inteligência, bem-estar subjetivo, qualidade de vida, personalidade, avaliação da excelência do ensino e/ou professor, da produtividade acadêmica e muitos outros similares. Se você achar que pode mensurar muito bem qualquer um desses atributos com uma simples régua, variando de baixo a alto ou de pouco a muito, então você, provavelmente, tem um constructo unidimensional.
Por outro lado, o que seria um conceito multidimensional? Muitos modelos de exames de admissão, entre eles os EV, postulam que as provas, ou os itens e questões, devem ser compostos pela avaliação de, no mínimo, duas dimensões: o conhecimento cristalizado, ou seja, todo conteúdo que é processado e sistematizado pelo pensamento, e a capacidade fluída, ou seja, capacidade de resolver problemas. Um exemplo típico de exame multidimensional é o SAT (Scholastic Assessment Test), que mede uma mistura destes dois constructos, a saber, habilidade e realização, ambos comumente aferidos em estudantes norte-americanos. A propósito, as correlações entre o SAT e os testes de inteligência geral são usualmente superiores a 0,70. Este modelo traz uma forte analogia com o modelo da estrutura do intelecto humano, baseado na tradição psicométrica descrito pela teoria da inteligência fluída e inteligência cristalizada.
A teoria da inteligência fluída e cristalizada distingue estas duas habilidades. A habilidade fluída é demonstrada pela solução de problemas para os quais experiência prévia e conhecimento aprendido são de pouco uso. Ela é mensurada por testes, provas e exames, tais como tarefas verbais, que repousam sobre relações entre palavras familiares, ou tarefas perceptuais ou figurativas, tendo pouco conteúdo escolástico ou cultural. Neste caso, o processamento cognitivo não está necessariamente associado com qualquer domínio de conteúdo específico. Ao contrário, a habilidade cristalizada reflete conhecimento consolidado ganho por meio da educação, acesso a informação cultural, bem como, através da experiência. É um processamento cognitivo que envolve conhecimento previamente adquirido e armazenado a longo prazo.
Certamente a habilidade cristalizada de um indivíduo origina-se com a habilidade fluída, mas ela é desenvolvida por meio do acesso e seleção de experiências de aprendizagem. Consequentemente, entre pessoas de contextos educacional e cultural similares, as diferenças individuais na habilidade fluída são supostas influenciar as diferenças individuais na habilidade cristalizada. Contudo, pessoas de diferentes contextos culturais, com o mesmo nível de habilidade fluída, são preditas diferir em habilidade cristalizada. Mas é certo que as funções fluídas desempenham um papel determinante em decodificar e em recuperar o conhecimento cristalizado armazenado a longo prazo.

Assim, entendo que a Pró-reitora, ao comentar rapidamente a necessidade de se cobrar raciocínio, certamente quis dizer que se torna necessário que os EV atuais, por melhor que eles sejam, passem a valorizar (talvez, mais do que o fazem) a habilidade fluída e não apenas a habilidade cristalizada como muitos, aparentemente, julgam que eles façam.

A segunda questão trata de um grande problema que ataca todos os exames vestibulares, ou seja, qual o seu valor preditivo. Por definição, qualquer modelo de EV é cultural, social e ideologicamente enraizado. Como indicadores, os EV têm, supostamente, a intenção de predizer o sucesso acadêmico e mesmo profissional numa dada sociedade (isto é, num grande grupo social carregando o seu próprio conjunto de valores). Certamente os EV foram originalmente designados para especificamente predizerem o desempenho e/ou realizações educacionais. Na realidade, todos que os defendem têm adotado a concepção da causalidade recíproca entre desenvolvimento cognitivo e educação. Altos índices cognitivos são preditivos de mais realizações educacionais e mais educação torna-se preditivo de altos resultados intelectuais. O problema é: quais dimensões e/ou fatores dos EV (questões de física, de química, de matemática, de português, de redação, ou um total composto, etc.) são mais preditivos, ou se correlacionam, mais altamente, com o desempenho acadêmico, ou que permitam melhor predizer o sucesso na carreira profissional. Também, questiona se qual o valor preditivo do EV para o sucesso na carreira e a sua relação (correlação) com o bem-estar-subjetivo.
Responder a estas questões constitui-se num grande desafio para aqueles interessados na mensuração de constructos psicológicos desta natureza e, principalmente, para aqueles envolvidos na elaboração do melhor processo seletivo para adentrar à academia. É óbvio que muitos outros fatores e habilidades contribuem para o desempenho e sucesso acadêmico e na carreira profissional. Mas, ainda assim, o problema é estatístico e resume-se em saber qual, dentre vários fatores, explica mais da variância encontrada. Nada mais. Para isso, deveríamos programar uma análise exaustiva do valor preditivo dos nossos exames vestibulares, procurando analisar suas correlações com vários critérios externos, sejam estes os desempenhos nas notas de diferentes disciplinas curriculares, bem como, com os indicadores de sucesso, valorizados em nossa sociedade e cultura.
Não há razão para complacência. Devemos procurar sempre os melhores preditores e tentar mensurar todas as variedades de habilidades que podem contribuir para o sucesso acadêmico e profissional. O aprimoramento dos EV deve ser dinâmico, regular e contínuo, no presente e no futuro. Assim, entendo que tem razão a Pró-reitora de graduação ao afirmar que devemos buscar novos modelos de EV, visando encontrar melhores preditores para o sucesso pessoal, profissional e acadêmico. Estudos desta natureza devem ser realizados com freqüência nos moldes daqueles desenvolvidos pelo Educational Testing Service (ETS) da Universidade de Princeton (USA).
Biografia acadêmica: José Aparecido Da Silva, nascido em 25 de setembro de 1952, é natural de Jaboticabal (SP). Mestre em Psicologia pelo Instituto de Psicologia da USP e Ph.D. pela Universidade da Califórnia, Santa Bárbara, USA. Atualmente é Professor Titular do Departamento de Psicologia e Educação da FFCLRP-USP. Foi Chefe do Departamento de Psicologia e Educação, presidente da Comissão de Pós-graduação, e coordenador do Programa de Pós-graduação em Psicobiologia, programa este conceituado com nota 7 (máxima) pela Coordenação de Aperfeiçoamento de Pessoal de Ensino Superior (CAPES). Foi, também, vice-diretor e diretor da Faculdade de Filosofia, Ciências e Letras de Ribeirão Preto. Além disso, foi coordenador científico da área de Psicologia, no Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq).

Comparativo de Desempenho Acadêmico de Alunos USP com Notas FUVEST

Prof. Adilson Simonis e Profa. Eunice Durhan
NUPPs – Núcleo de Pesquisa de Políticas Públicas
– USP

SãoPaulo, 11 – 7 – 2006.
Propostas de alterações no processo vestibular devem, além de procurar mensurar consequências das medidas adotadas, considerar indicadores históricos para alguma comparação do que era e do que pode vir a ser o novo cenário. Em particular, o estudo do impacto nos indicadores do desempenho discente nos parece relevante.

Tem aparecido com frequência, na grande imprensa, a idéia de que candidatos ao Ensino Superior com notas de ingresso similares no vestibular, poderiam ter desempenho diferenciado caso fossem egressos do ensino médio público ou do sistema privado, justificando ações afirmativas bem-intencionadas.

Difícil sermos conclusivos sobre o tema. Nosso objetivo é o de fornecer subsídios para uma discussão que nos parece polêmica e que deve ser tratada com a seriedade que a sociedade brasileira exige. Apoiar ou não as iniciativas de quotas de ingresso e de projetos de inclusão social, tais como o favorecimento no processo seletivo das principais universidades do país, poderá ser um subproduto de um debate que por si só, trará certamente novas nuances e novas perspectivas, avançando políticas públicas para um ensino de qualidade a servico da sociedade.
A Universidade de São Paulo, hoje, organiza o principal vestibular do país e é, segundo diversos indicadores, a principal universidade de pesquisa . Portanto é obrigada a pensar e repensar a polêmica que hoje ocorre em diversos setores da sociedade. Sabemos que a qualidade do ensino fundamental e médio deixa muito a desejar, como demonstram os estudos recentes do INEP. A exclusão sócio-econômica-geográfica-étnica, a concentração da riqueza nacional nas mãos de poucos, a falta de oportunidades de ascenção, a violência das grandes cidades, assim como as próprias escolas, tem papel decisivo na criação e manutenção das desigualdades. A possibilidade de alteração desse quadro lamentável, que poderia diminuir com a formação de cidadãos plenos, são problemas nacionais, e portanto também são da USP.
Existem diversas metodologias, que podem ser aplicadas, para mensurar o desempenho acadêmico segundo a classificação no processo seletivo de entrada para a Universidade.
Ainda não sabemos se o aluno que recebemos na USP é o que queremos. Não sabemos se o vestibular mede o que pedimos que faça, isto é, escolher quem tem maior potencial de usufruir aquilo que está em constante evolução e que depende das novas gerações para manter o patamar de qualidade e importância que, por mérito, alcançou. Queremos que o processo escolha o melhor preparado mas não necessariamente apenas o melhor treinado.
Algum critério de favorecimento, como os atuais 3 % na primeira e segunda fase, válidos já para o próximo vestibular USP, irá excluir alguns que teriam entrado pelo processo antigo. Estamos bem-intencionados, não resta dúvida, mas a sociedade, que precisa ter retorno do investimento feito no ensino público de qualidade, não irá sair perdendo?
Vejamos alguns fatos: Cursos na USP são diferentes. Desde a nota de corte para ingresso até a forma de avaliação em disciplinas, diferem entre carreiras. Também difere por carreira o nível sócio-econômico dos alunos e a proporção de egressos do ensino médio público. O próprio ensino médio público tem nuances: os egressos das escolas técnicas federais e estaduais são certamente mais bem preparados que muitas escolas particulares, nas quais os professores fingem que ensinam e os alunos fingem que aprendem. Mas algumas observacõe estatísticas podem nos ajudar a entender o que vem ocorrendo sistematicamente.
Tomemos inicialmente um dos cursos da USP mais disputados, a Medicina. Fixando como escopo de estudo os 514 alunos ingressantes no curso de Medicina USP entre 2003 e 2005, temos 487 alunos que declaram terem feito o ensino médio em colégios particulares e apenas 27 em colégios públicos. A nota média no primeiro semestre destes alunos foi de 6,86 e 6,85 para egressos do ensino médio privado e público respectivamente.
Dado o pequeno percentual de alunos egressos do ensino médio público, criamos quatro faixas de classificação no vestibular (segundo os quartis de nota FUVEST para os egressos do ensino médio público) de forma a incluir alunos desse grupo em todas as faixas. Considerando as notas dos 514 alunos em todos os semestre até o segundo semestre de 2005 obtemos os seguintes resultados:
Faixa A: Nota média na USP dos egressos do sistema privado: 7,3
Nota média na USP dos egressos do sistema público: 7,4
Faixa B: Nota média na USP dos egressos do sistema privado: 7,2
Nota média na USP dos egressos do sistema público: 7,1
Faixa C: Nota média na USP dos egressos do sistema privado: 7,3
Nota média na USP dos egressos do sistema público: 7,2
Faixa D: Nota média na USP dos egressos do sistema privado: 7,3
Nota média na USP dos egressos do sistema público: 7,3

Nota-se também que a média (que inclui as reprovações) dos alunos matriculados não aumenta conforme a faixa de classificação no vestibular (as faixas estão em ordem da maior nota -faixa A- para a pior nota -faixa D- obtidas no vestibular). Vamos, portanto, incluir outros cursos em nosso estudo: Direito, Letras, Matemática e Pedagogia.

Considerando um universo de 5386 alunos e calculando a nota média de todas as disciplinas cursadas até o final do ano de 2005, incluindo eventuais reprovações, temos:
Direito: 1330 alunos (nota média do egresso do ensino médio privado é de 7,4 e nota média do egresso do ensino médio público é de 7,4).
Letras: 2222 alunos (nota média do egresso do ensino médio privado é de 5,7 e nota média do egresso do ensino médio público é de 6,0).
Matemática: 836 alunos (nota média do egresso do ensino médio privado é de 5,1 e nota média do egresso do ensino médio público é de 5,4).
Medicina: 514 alunos (nota média do egresso do ensino médio privado é de 7,3 e nota média do egresso do ensino médio público é de 7,2).
Pedagogia: 484 alunos (nota média do egresso do ensino médio privado é de 6,9 e nota média do egresso do ensino médio público é de 7,0).

Trabalhando apenas com a média global, as diferenças são pequenas. Para uma visão mais detalhada, reproduzimos a metodologia de classificar segundo a nota Fuvest o aluno em quatro faixas e estudamos a nota média dos alunos da mesma faixa. Temos portanto 40 subgrupos de alunos, divididos em cada grupo segundo a procedência do ensino médio cursado, e calculamos a média obtida nas disciplinas cursadas dentro da USP desde o ingresso até o final do ano de 2005.

Entre os 40 grupos, em 39 não existem diferenças estatisticamente significativas entre o desempenho dos alunos egressos dos sistema público e privado. Apenas em um grupo, constituído por 171 alunos da matemática, existem fortes evidências estatísticas de que o desempenho do egresso do ensino público, com notas similares, supera em desempenho os colegas egressos do ensino médio privado. Um percentual de 97 % do universo estudado não permite afirmar que o desempenho difere.

A partir destes dados, podemos concluir que o nível dos estudantes egressos do ensino médio público na USP, escolhidos por mérito, têm o mesmo desempenho que os egressos das escolas privadas. A diferença entre ambos reside no fato de que um menor percentual de egressos do ensino público alcança o padrão mínimo estabelecido pela FUVEST para a seleção dos alunos, que é dada pela nota de corte.
Dentro destes limites, a variação da nota do vestibular influi pouco no desempenho dos estudantes. Um aumento na nota dos estudantes do ensino público significará uma variação na nota de corte entre esses candidatos e os do ensino privado, em favor dos primeiros, com o que é possível que se introduza uma diferença no desempenho desses dois grupos, que agora inexiste.
Para maiores detalhes sobre as estatísticas utilizadas no presente texto veja as tabelas nos arquivos que seguem anexo:
http://www.linux.ime.usp.br/~fdaher/desempenhousp

Colaborou neste trabalho Flávio Daher, aluno do IME-USP.
Biografia acadêmica: Primeiro ano no Colégio Santa Clara de Porto Alegre. Segundo e Terceiro ano no Colégio São João de Porto Alegre. Quarto Ano até a conclusão do ensino médio (antigo colegial) no Colégio Anchieta de Porto Alegre. Bacharel em Estatística pela UFRGS (1982). Mestrado e Doutorado em Probabilidade no IME-USP (1995). Pós-Doutorado no IMPA (RJ) e em Mecânica Estatística na Università de Roma II, Tor Vergata, (1998). Professor do IME-USP desde 1983 e Pesquisador do NUPPs desde 2005. Torcedor do Internacional de Porto Alegre desde julho de 1956.

Pequeno atraso

Começaremos nossa mesa redonda, com um pequeno atraso (dois participantes prometeram seu texto para amanhã). A equipe organizadora resolveu que os comentários não serão moderados de início, ou seja, você poderá ver o seu comentário postado imediatamente. Entretanto, seguiremos as regras da Folha de São Paulo para a qualidade dos comentários. Se for necessário, e principalmente se aparecerem spans, infelizmente precisaremos implementar a moderação prévia.
Sugerimos também que você, ao comentar, assine seu nome. Imagine-se em uma platéia assistindo à mesa redonda. É usual que a pessoa que faz uma pergunta ou faça um comentário se identifique previamente. Nossa mesa redonda virtual, neste aspecto, não difere de uma mesa redonda real. Anonimato na Internet, infelizmente, dá mais lugar à incivilidade do que à liberdade.

Infinito

Coincidência de novo. Eu estava aqui procurando uma figura para fazer este post sobre o volume especial “As diferentes faces do infinito” quando recebi um e-mail da Ana Cláudia Ferrari me dizendo que, sim, eu havia ganho duas assinaturas de graça, da SciAm e da Viver Mente e Cérebro. Tão vendo? Quem disse que não ganho nada com este blog?

É claro que isso não vai afetar minha atitude quanto à revista, pois a compro desde o primeiro número. Afinal basta eles manterem a qualidade e ocuparem o nicho da SUPERINTERESSANTE (pois esta está querendo substituir a PLANETA, que por sua vez trocou o esoterismo pela ecologia) já está ótimo! Todo apoio a você, SciAm!

A Ana me perguntou se é verdade que meus alunos realmente lêem as revistas. Bom, alunos de Estatística I, respondam prá ela ai nos comentários. Em todo caso, conto aqui duas maneiras de usar a SciAm nas salas de aula que já testei.

Bom, primeiro eu sou responsável por uma disciplina optativa do Departamento de Química aqui na FFCLRP chamada Tópicos de Ciência Contemporânea, cuja ementa está meio ambiciosa, concordo:

Objetivos:

Introduzir e incentivar o estudante a ter contato com a literatura científica e de divulgação científica, traçando um panorama da ciência contemporânea que permita uma visão contextualizada e crítica de diferentes áreas do conhecimento tais como a Cosmologia, a Física, a Química e a Biologia.
Docente(s) Responsável(eis): Dráulio Barros de Araújo, Gláucia Maria da Silva e Osame Kinouchi Filho.
Programa
1. Introdução à Cosmologia: estrutura e história do Universo.
2. Nascimento, vida e morte das estrelas e a origem dos elementos químicos.
3. Propriedades emergentes e níveis de descrição científica.
4. Evolução biológica.
5. Cérebro e Mente: tópicos de neurociências.
6. Relações contemporâneas entre Ciências Naturais e Humanas, Cultura e Tecnologia.
Método: Aulas expositivas, debates sobre leituras programadas e material áudio-visual
Critério de avaliação
Média final: Média aritmética dos trabalhos realizados e do seminário apresentado.
Norma de Recuperação: Apresentação de trabalho complementar pelos alunos regimentalmente habilitados, segundo prazos fixados pelo Calendário Escolar.
Bibliografia:
CHALMERS, Alan F. – O que é ciência afinal? 2. ed. Ed. Brasiliense (São Paulo, 1993).FEYNMAN, Richard P. – Física em seis lições. Ediouro (Rio de Janeiro, 1999).HAWKING, Stephen – O universo numa casca de noz. ARX (São Paulo, 2003).HERCULANO-HOUZEL, Suzana – O cérebro nosso de cada dia. Vieira & Lent (São Paulo, 2003).JONHSON, Stephen – Emergência: A dinâmica de redes em formigas, cérebros, cidades e softwares. Jorge Zahar Editor (Rio de Janeiro, 2003). MARGULIS, Lynn – O Planeta Simbiótico: uma nova perspectiva da evolução (Coleção Ciência Atual), Rocco (Rio de Janeiro, 2001). RIDLEY, Matt – As origens da virtude. Record (São Paulo, 2000). Artigos selecionados das revistas Nature, Science, Scientific American Brasil, Viver Mente & Cérebro, Pesquisa Fapesp, Química Nova.

Dei apenas uma vez esse curso (tentarei dá-lo de novo nos próximos semestres) mas foi muito interessante. Notei que os estudantes não conheciam a SciAm mas depois que tinham contato pela primeira vez, ficavam apaixonados. O uso de livros de divulgação científica também é importante. Lembro-me de um aluno, já na faixa dos 35, dizendo que era professor secundário mas nunca tinha lido um livro de divulgação, mas que a partir das leituras do curso ficou fascinado e nunca mais pararia de lê-los e recomendá-los aos seus alunos.

A segunda maneira que estou testando este ano é premiar trabalhos de classe, exercícios desafio etc, com exemplares da SciAm e Viver Mente e Cérebro, em vez de ficar dando ponto extra. Não gastei muito, na verdade a Mente e Cérebro, por engano, me enviou três exemplares do especial Sonhos (que tem o meu artigo sobre sonhos em redes neurais!) e três exemplares do especial Inteligência a mais, e não os cobrou de volta. Fiz isso com os alunos de Psicologia e parece que está funcionando. Ok, ok, eles dizem que eu os estou tratando como ratinhos Skinerianos, mas o reforço positivo funciona, mesmo assim.

Minha conclusão é que a principal barreira para a divulgação científica é o primeiro contato, a perda de virgindade poderíamos dizer. Depois, os próprios estudantes criam um hábito e passam a ler. Descobrem que, além das baladas (que afinal são mais caras que livros e revistas), a ciência também pode ser fonte de prazer.

Comments:

Thyago F. Mangueira said…
Tava passeando por aqui (afinal… férias enfim…) e achei esse comentário sobre a única edição especial que comprei. Muito interessante essas suas conclusões sobre os alunos… faz tempo que tenho a mesma opinião…Enfim sobre a edição nº 15 / Infinito, sempre achei que quantidades infinitesimais, o infinito, a divisão por zero e tudo mais retratam um grande furo na matemática coisa que essa edição meio que diz sem dizer.De resto só fiquei meio triste ao vê-los chamarem o físico Harold Puthoff de pseudocientista ou místico fervoroso apenas por pesquisar algo que eles acharam desconsiderável. Bem até onde eu sei foi assim que muitas boas idéias surgiram.Enfim… acho que este post jah tah quase um book. De qualquer forma ele vai servir pra ver se o prof. Osame responde realmente a todos que postam aqui… heheheheParabéns pelo Blogg… realmente muito bom… Parabéns pela atitude com alunos, mas cuidado, tijolos iguais em uma parede eh ruim mas a condição de ratos de laboratório também não eh boa…se bem q serve pra eles verem o outro lado…hehe… t+ 😉
18 Julho, 2006 23:18