Uma ferramenta de inteligência artificial (IA) generativa implementada pela Food and Drug Administration (FDA) dos Estados Unidos está gerando preocupação entre seus funcionários. A ferramenta, chamada Elsa, foi projetada para acelerar o processo de revisão clínica e auxiliar na tomada de decisões informadas. No entanto, relatos de dentro da agência indicam que Elsa tem apresentado resultados imprecisos, chegando a inventar estudos inteiros.
De acordo com a CNN, que conduziu uma investigação sobre o caso, três funcionários da FDA relataram que Elsa “alucinou” estudos inexistentes ou deturpou pesquisas reais. Uma fonte anônima expressou preocupação com a confiabilidade da ferramenta, afirmando que “qualquer coisa que você não tenha tempo para verificar duas vezes não é confiável. Ela alucina com confiança”. Essa falta de precisão levanta sérias questões sobre a capacidade de Elsa de fornecer benefícios genuínos aos pacientes e à própria FDA.
Apesar das críticas, a liderança da FDA parece minimizar os problemas potenciais representados por Elsa. O comissário da FDA, Marty Makary, afirmou à CNN que não tinha conhecimento dessas preocupações específicas e enfatizou que o uso de Elsa e a participação no treinamento para utilizá-la são atualmente voluntários na agência. Essa postura levanta dúvidas sobre o futuro da ferramenta e se medidas serão tomadas para corrigir suas falhas. O incidente com a Elsa ressalta a importância da supervisão humana e da validação rigorosa ao implementar ferramentas de IA, especialmente em setores críticos como a saúde.
Origem: Link