“
Engenheiros da Apple Mostram a Fragilidade do ‘Raciocínio’ da IA
O novo marco em modelos de linguagem grandes é a capacidade de ‘raciocinar’ seus caminhos através de problemas. Uma nova pesquisa da Apple afirma que não é bem assim.
A pesquisa, publicada na conferência NeurIPS, analisou o desempenho de vários modelos de linguagem grandes em tarefas de raciocínio. Os pesquisadores descobriram que esses modelos muitas vezes cometem erros básicos de lógica, mesmo em tarefas simples. Por exemplo, um modelo foi solicitado a identificar o maior número em um conjunto de números. O modelo escolheu o menor número. A Apple descobriu que o problema não estava no modelo de linguagem grande em si, mas sim na maneira como os modelos de linguagem grandes são treinados. Os modelos de linguagem grandes são geralmente treinados em grandes conjuntos de dados de texto. Esses conjuntos de dados contêm muitos exemplos de linguagem natural, mas nem sempre são representações precisas do raciocínio lógico. Os pesquisadores da Apple recomendam que os modelos de linguagem grandes sejam treinados com conjuntos de dados mais específicos para tarefas de raciocínio, e também com conjuntos de dados que incluem exemplos de raciocínio lógico incorreto. Dessa forma, os modelos podem aprender a identificar e evitar esses erros.
“