Tudo sobre Inteligência Artificial
Em áreas de alto risco, como medicina, direito ou engenharia — ou até em situações do cotidiano —, é muitas vezes mais seguro admitir “não sei” do que dar uma resposta errada.
No entanto, muitos modelos de inteligência artificial ainda preferem arriscar uma resposta mesmo quando não têm confiança suficiente.
Para enfrentar esse desafio, cientistas da computação da Universidade Johns Hopkins desenvolveram um novo método que permite que modelos de IA dediquem mais tempo à reflexão e usem uma pontuação de confiança para decidir quando devem se abster de responder.
Como o estudo foi feito
- A pesquisa, publicada no repositório arXiv e que será apresentada na 63ª Reunião da Associação de Linguística Computacional, mostra que cadeias de raciocínio mais longas ajudam os modelos a responder com mais precisão — mas apenas até certo ponto.
- Mesmo com mais tempo de processamento, erros ainda ocorrem quando não há penalidades associadas a respostas incorretas.
- A equipe testou diferentes cenários de risco: exames (sem penalidades), com o jogo Jeopardy! (recompensas e penalidades equivalentes) e contextos críticos (erros penalizados mais severamente).
- Descobriram que, sob regras mais rígidas, os modelos devem evitar responder se não tiverem confiança suficiente após processarem o problema.
Leia mais:
IA admitir que não sabe pode evitar danos maiores
Embora isso possa frustrar usuários em situações cotidianas, é essencial em contextos onde uma resposta errada pode ter consequências graves.
Agora, os pesquisadores incentivam a comunidade de IA a adotar métricas que levem em conta o custo do erro, promovendo o desenvolvimento de modelos mais seguros, transparentes e conscientes de suas limitações.
