“
A Meta lançou recentemente novos modelos de IA, incluindo o Maverick, que obteve a segunda posição no LM Arena, um teste que compara as saídas de modelos diferentes por meio de avaliadores humanos. No entanto, evidências sugerem que a versão do Maverick utilizada no LM Arena difere da versão disponível para desenvolvedores. Essa discrepância levanta questões sobre a confiabilidade e a representatividade dos benchmarks apresentados pela Meta.
A utilização de diferentes versões de um mesmo modelo em testes comparativos pode levar a resultados enganosos e distorcer a percepção de seu desempenho real. A falta de transparência sobre as especificações exatas das versões utilizadas nos benchmarks dificulta a validação independente dos resultados. Tal prática gera dúvidas sobre a metodologia empregada e a intenção por trás da divulgação dos resultados. A comunidade de IA precisa de transparência e metodologias rigorosas para garantir a credibilidade e o avanço ético do campo.
“
