Por dentro do ‘cérebro’ de uma inteligência artificial

Compreender esse o assunto pode ajudar pesquisadores a projetar modelos de inteligência artificial mais eficientes e seguros

(Imagem: Anggalih Prasetya/Shutterstock)

Compartilhe esta matéria

Um novo estudo publicado no Journal of Statistical Mechanics: Theory and Experiment revela como redes neurais — como as que alimentam sistemas como ChatGPT e Gemini — desenvolvem suas capacidades linguísticas à medida que são treinadas.

Os pesquisadores descobriram que, com poucos dados, esses sistemas inicialmente dependem da posição das palavras nas frases para interpretar o texto. No entanto, quando expostos a uma quantidade maior de dados, ocorre uma mudança abrupta: a rede passa a priorizar o significado das palavras.

Essa transição não é gradual, mas sim comparável a uma transição de fase física, como a passagem da água do estado líquido para o gasoso.

Estudo mostra que mudança no aprendizado da IA ocorre de forma semelhante à ebulição da água (Imagem: Anggalih Prasetya/Shutterstock)

A analogia vem da física estatística, que estuda o comportamento coletivo de sistemas com muitos elementos — assim como as redes neurais, compostas por milhares de “nós” conectados.

Detalhes do estudo

  • O estudo foi conduzido com um modelo simplificado do mecanismo de autoatenção, peça central das arquiteturas transformadoras que compõem os modelos de linguagem modernos.
  • Esse mecanismo permite que a rede avalie a importância de cada palavra em relação às demais dentro de uma sequência.
  • “Nosso objetivo era entender quais estratégias emergem nas redes durante o aprendizado”, afirmou Hugo Cui, pós-doutorando em Harvard e autor principal do estudo.

Leia mais:

O que é rede neural
Pesquisadores desvendaram como IAs passam a compreender linguagem de verdade
– Imagem: NicoElNino / Shutterstock

Descobertas podem levar a modelos de IA mais eficientes

A descoberta surpreendente foi que as redes adotam estratégias completamente distintas dependendo da quantidade de dados. Com poucos dados, confiam na estrutura das frases; com mais dados, passam a interpretar os significados.

Compreender esse tipo de transição pode ajudar pesquisadores a projetar modelos mais eficientes e seguros, oferecendo uma base teórica para entender como e quando uma rede neural muda seu modo de operar.

Rede neural em um fundo azul escuro com efeitos de luz
Mudança abrupta nas redes neurais ocorre quando se atinge um volume crítico de dados – Imagem: Romanova Natali/Shutterstock


Leandro Costa Criscuolo

Colaboração para o Olhar Digital

Leandro Criscuolo é jornalista formado pela Faculdade Cásper Líbero. Já atuou como copywriter, analista de marketing digital e gestor de redes sociais. Atualmente, escreve para o Olhar Digital.


Postagem Relacionada

Copyright © 2024 Jornal Vertente

Jornal Vertente
Visão geral da privacidade

Este site utiliza cookies para que possamos fornecer a melhor experiência possível ao usuário. As informações dos cookies são armazenadas em seu navegador e desempenham funções como reconhecer você quando retorna ao nosso site e ajudar nossa equipe a entender quais seções do site você considera mais interessantes e úteis.