Home/Vestibulares/Saiba o que é Teoria da Resposta ao Item

Saiba o que é Teoria da Resposta ao Item

março 29th, 2010|Vestibulares|20 Comments


Mão com caneta fazendo prova

As recentes notícias que o MEC pretende adotar um mecanismo anti-chute, estão dando o que falar aos interessados em prestar a prova para o novo Enem. Basicamente, a proposta é evitar que o candidato consiga se valer do fator “sorte” na hora de resolver as 180 questões que serão aplicadas. O MEC pretende fazer isto aplicando um conceito denominado Teoria da Resposta ao Item (TRI).

O que é TRI?

Pesquisando no Wikipédia, encontrei a seguinte resposta:

A Teoria da Resposta ao Item, muitas vezes abreviada apenas por TRI, é uma modelagem estatística utilizada (…) principalmente na área de avaliação de habilidades e conhecimentos. (…) A aplicação mais freqüente da Teoria da Resposta ao Item são as avaliações de habilidades e conhecimentos em testes de múltipla escolha.

A definição acima não explica como funciona a TRI, mas mostra que, por ser utilizada em testes de múltipla escolha, pode ser aplicada pelo novo Enem. Aliás, atualmente ela é utilizada nos testes do Sistema de Avaliação da Educação Básica (SAEB).

Como funciona?

Por ser um modelo estatístico, a TRI agrega um valor a cada questão, dependendo da dificuldade. Assim, as questões mais difíceis valem mais do que as questões fáceis ou de valor médio.

O prof. Jean Piton, em seu blog, através de um exemplo prático, mostra como é aplicada a TRI:

Vamos supor que você esteja fazendo uma prova de Matemática que foi elaborada a partir da TRI. São 50 questões de múltipla escolha (A,B,C,D e E).

Você realiza a prova e responde todas as questões. Você, conversando com um colega resolve comparar as soluções e digamos que de 50 questões você acerte 20, e seu colega também acerte 20. Em alguns dias, você recebe sua nota, que no caso da TRI podemos chamar de escore. Seu escore é de 40 pontos e de seu colega 50 pontos. Mas, isso é possível?

Esse é um ponto importante. Para cada questão da prova é atribuído um grau de dificuldade diferente (além dos parâmetros discriminação e “chute”. Ver detalhes em Lord (1980)). Por simplicidade, vamos supor que você tenha acertado 15 questões consideradas como fáceis e 5 como médias, e seu colega tenha acertado 15 questões fáceis, 2 médias e 3 difíceis. Como as questões possuem graus diferentes, é natural que o escore final seja diferente (…).

Este exemplo esclarece muita coisa. O problema é que ele não pode ser utilizado para entender o novo Enem, já que ainda faltam dados para compreender como vai ser o sistema utilizado pelo MEC. O MEC já divulgou o grau de dificuldade das 180 questões aplicadas este ano: 25% terão nível de dificuldade fácil; 50% terão nível de dificuldade médio; e 25% terão nível de dificuldade difícil.

Como vai ser aplicada?

O MEC também não explica como vai ser identificado se o aluno chutou ou não. Aparentemente, vai ser aplicado um dado estatístico baseado no seguinte raciocínio: o candidato que erra a questões mais fáceis não pode acertar as questões mais difíceis. Isto significa que o sistema vai identificar que, candidatos de baixa habilidade, se acertarem uma questão difícil, podem, por probabilidade, ter recorrido ao chute.

É neste ponto que a polêmica ocorre, pois alguns candidatos argumentam que estes dados podem facilitar a fraude e manipulação dos resultados, pois, a princípio, qualquer acerto pode ser considerado chute. Na minha opinião, como existem mais perguntas que respostas – e o site do novo Enem ainda não responde a estas perguntas -, penso que o melhor é esperar a aplicação da primeira prova e ver os resultados práticos.

20 Comments

  1. Robson Freire 3 de julho de 2009 at 11:47 - Reply

    Muito legal a iniciativa, mas será que funciona?

  2. Prof_Michel 3 de julho de 2009 at 12:03 - Reply

    Oi, Robson, é justamente isto que está em jogo. A funcionalidade deste sistema. Por isso que precisamos ver como vai ficar a prova em outubro, e o resultado em janeiro de 2010.

    Um grande abraço

  3. Rafael Parente 3 de julho de 2009 at 14:04 - Reply

    Muito legal. Seria ainda mais interessante se o novo Enem fosse nos moldes do Toefl e a segunda pergunta dependeria da resposta da primeira… Abração!

  4. Prof_Michel 3 de julho de 2009 at 15:05 - Reply

    Pois, é, Parente. E esperamos que não seja nos moldes do CESPE, Brasília, onde cada questão errada elimina uma certa. Uff. Um grande abraço, cara

  5. Camilo (EnemeProuni) 4 de julho de 2009 at 13:08 - Reply

    E aí grande Michel!
    Estive meio ausente por esses dias, vi sua sugestão de post, muito obrigado!

    Essa TRI ainda vai dar muito o que falar!
    O Enemeprouni também está te seguindo no Twitter agora, acabamos de fazer o nosso.

    Um grande abraço,
    Camilo
    Camilo (EnemeProuni)

  6. Dayana Hashim 4 de julho de 2009 at 21:11 - Reply

    Não sei não, mas não estou confiando muito nesse sistema… E também não gostei do fato de ter que esperar até colocarem em prática nesse 1º novo Enem para ver se funciona… Quer dizer que vamos ser usados como "cobaias"? kkk
    OFF: Que legal, vc também usa o ¬¬! XD

  7. Prof_Michel 5 de julho de 2009 at 1:29 - Reply

    Camilo: pois é, broder. Estamos juntos nessa de levar ao candidato as melhores informações 🙂

    Dayana: cobaia? é verdade, dá mesmo a impressão. Espero que estejamos errados, né. Aliás, gostei mais do XD do que do ¬¬

    Um grande abraço

  8. Alan Niemies 5 de julho de 2009 at 12:48 - Reply

    Poxa, sinceramente, fiquei com medo deste esquema de "detecção de chutes". Fico ao lado das pessoas que dizem que a manipulação correrá solta. Espero que eles não anulem questões que achem que o aluno não sabia, pois realmente não há como detectar isso.
    Abração e parabéns pelo blog, vai me ajudar muito!

  9. Prof_Michel 5 de julho de 2009 at 13:09 - Reply

    Oi, Alan. A princípio, precisamos avaliar a aplicação deste sistema para evitar o tal chute. Espero que seja utilizado com muita honestidade e transparência. Um grande abraço

  10. aprendocriando 10 de julho de 2009 at 14:59 - Reply

    Será que a estatística é mesmo capaz de detectar se o aluno chutou ou não?
    Sabemos que vários fatores vão interferir no momento da resposta a um teste: conhecimento do assunto é importante mas tranquilidade ajuda muito. O nervosismo diante do pouco tempo para marcar tantas questões será um dos fatores decisivos para o sucesso ou fracasso. Por outro lado não considero justa a criação de uma nova regra no decorrer do processo.

    Até que ponto poderemos confiar na lisura desse TRI?

    Quais parâmetros serão aceitos como justificativa para contestar o resultado?

    Resta-nos torcer por nosso alunos.

  11. Prof_Michel 10 de julho de 2009 at 17:02 - Reply

    Boas perguntas, aprendocriando. Um abraço

  12. Anonymous 15 de dezembro de 2009 at 2:12 - Reply

    Mary Valezi,

    Com relação ao tempo para respostas e a quantidade de questões, foi ridículo..foram 90 questões para 5 horas de prova, o que da exatos 3 min. e 33 seg. por questão, porém o enunciado era enorme, de tal forma que mesmo fazendo um leitura dinãmica, jamais daria para ser respondido dentro dos 3 min., ocorre que praticamente não é possivel avaliar, sem o aluno ter tempo para responder, eu penso que quem elaborou a prova não fez esta análise.. induzindo os alunos a correrem contra o tempo não dava tempo nem de raciocinar, parabéns aos inteligentes que elaboraram as provas.. devem ter um QI de inferior a 20.

  13. Prof_Michel 15 de dezembro de 2009 at 20:06 - Reply

    Oi, Mary, desculpe a demora em responder. Hoje o dia foi atarefado 🙂 Também concordo com vc sobre o curto tempo para resolver as questões. Aliás, o novo Enem precisa melhorar muito para conquistar a confiança da rapaziada que vai fazer o vestiba.

  14. Meu_Blog 4 de junho de 2010 at 12:17 - Reply

    Fazendo umas pesquisas cai nesse site e não pude deixar de comentar.
    O que o ENEM esta querendo fazer não faz o menor sentido, pois não há como determinar por formas estatísticas se uma questão é difícil ou fácil em um país com a qualidade de ensino como a do Brasil. A educação não é uniformizada e nem padronizada em termos de conteúdo e nem de qualidade. Também cada educador possui mais facilidades em um tema da matéria do que outro e com isso conseguem passar isso para os alunos.
    Para que este sistema funcionasse seria necessário aplicar as provas de nivelamentos em países que possuem um alto nível de qualidade no ensino básico e dessa forma determinar quais são as questões fáceis e difícil mesmo assim ainda não seria o ideal mais pelo menos mais justo.
    Se a intenção é a de minimizar o efeito do chute, apesar das críticas a forma mais lógica é a utilizada pelo CESPE, pois se o aluno entender o risco que corre ao marcar uma questão errada que pode anular uma que ele realmente sabia -e esse entendimento faz parte da prova- a tendência é diminuir a tentativa de acerto por chute, talvez o que pode não estar muito correto neste caso é a quantidade de questões que precisam estar erradas para anular uma certa. Por exemplo: uma errada anula uma certa (pode ser muito radical) duas erradas anulam uma certa, três erradas anulam uma certa, e quatro erradas anulam uma certa (talvez não faça mais sentido)
    Também acho que a melhor forma a fazer esse tipo de coisa não é por tentativa e teste para não perder a credibilidade. No meu entender a melhor forma é buscar o entendimento no meio científico discutindo com a população envolvida para que a forma adotada seja a mais adequada e democrática possível pois da forma como isto esta sendo proposto deixa muitas dúvidas quanto a seriedade e validade da proposta.

  15. Prof_Michel 5 de junho de 2010 at 18:48 - Reply

    Meu_Blog, que dedicação para escrever tamanho comentário. Parabéns! Concordo com você sobre a credibilidade da TRI. Quem sabe o sistema do CESPE – adaptado para duas erradas anula uma certa – não seria mais justo? Abração

  16. Semenoff 27 de outubro de 2010 at 15:31 - Reply

    Para diminuir a chance de acertar chutando o melhor meio é aumentar a qtde de questões e de itens de escolha, me parece que o unico jeito da Estatística poder ser usada para melhorar avaliações é ajudando a definir essas qtdes ideais, e não nessa obscura TRI, que, se existe alguém que sabe realmente dizer como ela funciona, ainda não postou nada na web.

  17. flacs 16 de dezembro de 2011 at 6:24 - Reply

    Oq me preocupa é que o sistema talvez nao consiga levar em conta o cansaço fisico e mental do aluno. A prova do Enem é uma prova de residtencia fisica tbm e muitas vezes perdemos questoes faceis por descuido e cansaço.

  18. Professor Heitor 19 de junho de 2013 at 11:03 - Reply

    Eu acho que estar havendo um engano, o exemplo citado não é da TRI e sim da TCT ou TCM, pois a TRI não trabalho com escores brutos e sim com análise da zona de aproximação da resposta verdadeira, ou seja, trabalha na perspectiva da resposta ao item, por isso, a avaliação pode ser aplicada com a mesma amostra da população ou diferente, que não vai alterar a resposta, essa é uma das vantagens do uso da TRI.

  19. ana flávia 9 de setembro de 2013 at 10:41 - Reply

    ha va!!!!!
    nada haver esse metódo…quer dizer então que não mais poderemos contar com a sorte,kkk….isso parece ate piada…é injusto,e incabivel,não se pode proibir alguem de chutar uma resposta,quando ele não sabe a correta…então faz assim ô…selecione apenas os alunos nota 10 de cada escola…esses ai pode ate ser que consigam não chutar, o que eu acho pouco provavel..DESCRIMINAÇÃO…deveria ser o nome desse metódo..

  20. Klaus do Iate 10 de junho de 2015 at 11:09 - Reply

    É discriminar, não descriminar, neste caso. E , sim, concursos são formas de discriminar, diferir, selecionar, escolher, classificar, rotular alguém como apto ou não apto. Concurso é filtro ou funil. Alguém passa, alguém é barrado. Não há como todos passarem.
    Se este método de discriminar é justo ou não, pode também ser discussão infrutífera.
    A discussão frutifera é: o concurso discrimina quem o sistema realmente deseja? Ou comtempla pessoas que nada darão em troca?

Leave A Comment

This site uses Akismet to reduce spam. Learn how your comment data is processed.