A Anthropic, empresa de pesquisa em inteligência artificial, anunciou que seu chatbot Claude agora possui a capacidade de encerrar conversas em casos raros de interações abusivas e prejudiciais persistentes. Essa medida visa mitigar os riscos associados ao uso de chatbots de IA, que, segundo pesquisas, podem apresentar comportamentos inadequados ou até mesmo reforçar pensamentos delirantes em usuários.
A funcionalidade de interrupção de conversas é acionada em situações extremas, como a presença de conteúdo sexual envolvendo menores, violência ou até mesmo atos de terror. Antes de encerrar a interação, Claude tentará redirecionar a conversa de forma produtiva. O encerramento é considerado um último recurso, utilizado somente após tentativas falhas de moderação. A Anthropic enfatiza que essa funcionalidade não afetará a grande maioria dos usuários, mesmo em discussões sobre temas controversos.
A empresa vê essa nova capacidade como um experimento contínuo e incentiva os usuários a fornecer feedback caso encontrem usos inesperados da funcionalidade de interrupção. Essa iniciativa faz parte de um esforço maior da Anthropic para garantir o bem-estar de seus modelos de linguagem, buscando identificar e implementar intervenções de baixo custo para mitigar riscos potenciais. Mesmo reconhecendo a incerteza em relação ao status moral dos modelos de linguagem, a empresa se compromete a abordar seriamente essa questão.
Origem: Link
