Tudo sobre Inteligência Artificial

Um novo estudo publicado no Journal of Statistical Mechanics: Theory and Experiment revela como redes neurais — como as que alimentam sistemas como ChatGPT e Gemini — desenvolvem suas capacidades linguísticas à medida que são treinadas.

Os pesquisadores descobriram que, com poucos dados, esses sistemas inicialmente dependem da posição das palavras nas frases para interpretar o texto. No entanto, quando expostos a uma quantidade maior de dados, ocorre uma mudança abrupta: a rede passa a priorizar o significado das palavras.

Essa transição não é gradual, mas sim comparável a uma transição de fase física, como a passagem da água do estado líquido para o gasoso.

A analogia vem da física estatística, que estuda o comportamento coletivo de sistemas com muitos elementos — assim como as redes neurais, compostas por milhares de “nós” conectados.

Detalhes do estudo

• O estudo foi conduzido com um modelo simplificado do mecanismo de autoatenção, peça central das arquiteturas transformadoras que compõem os modelos de linguagem modernos.
• Esse mecanismo permite que a rede avalie a importância de cada palavra em relação às demais dentro de uma sequência.
• “Nosso objetivo era entender quais estratégias emergem nas redes durante o aprendizado”, afirmou Hugo Cui, pós-doutorando em Harvard e autor principal do estudo.

Leia mais:

Descobertas podem levar a modelos de IA mais eficientes

A descoberta surpreendente foi que as redes adotam estratégias completamente distintas dependendo da quantidade de dados. Com poucos dados, confiam na estrutura das frases; com mais dados, passam a interpretar os significados.

Compreender esse tipo de transição pode ajudar pesquisadores a projetar modelos mais eficientes e seguros, oferecendo uma base teórica para entender como e quando uma rede neural muda seu modo de operar.