“
OpenAI’s Whisper Inventa Trechos em Transcrições – E Não São Poucos
Imagine ir ao médico, descrever seus sintomas com precisão, e depois a transcrição adicionar informações falsas e alterar sua história. Essa pode ser a realidade em centros médicos que usam Whisper, a ferramenta de transcrição da OpenAI. Mais de uma dúzia de desenvolvedores, engenheiros de software e pesquisadores acadêmicos encontraram evidências de que Whisper cria alucinações – texto inventado – que inclui medicamentos falsos, comentários raciais e declarações violentas, conforme relatado pela Associated Press. Ainda assim, no último mês, a plataforma de IA de código aberto HuggingFace registrou 4,2 milhões de downloads da versão mais recente do Whisper. A ferramenta também está integrada nas plataformas de computação em nuvem da Oracle e Microsoft, além de algumas versões do ChatGPT.
As evidências prejudiciais são bastante extensas, com especialistas encontrando falhas significativas em Whisper em todos os aspectos. Um pesquisador da Universidade de Michigan descobriu texto inventado em oito de dez transcrições de áudio de reuniões públicas. Em outro estudo, cientistas da computação encontraram 187 alucinações ao analisar mais de 13.000 gravações de áudio. A tendência continua: um engenheiro de aprendizado de máquina as encontrou em cerca de metade das transcrições com mais de 100 horas, enquanto um desenvolvedor identificou alucinações em quase todas as 26.000 transcrições que ele pediu ao Whisper para criar.
“