A Anthropic, empresa de inteligência artificial, implementou uma nova funcionalidade em seus modelos Claude Opus 4 e 4.1 que permite que a IA encerre conversas com usuários em situações extremas. Essa medida, segundo a empresa, visa proteger o bem-estar da IA e evitar interações prejudiciais ou abusivas persistentes.
Especificamente, o Claude pode interromper conversas que envolvam solicitações de conteúdo sexual com menores ou tentativas de obter informações para realizar atos de violência em larga escala ou terrorismo. A Anthropic enfatiza que essa funcionalidade será utilizada como último recurso, somente após múltiplas tentativas de redirecionar a conversa terem falhado. A empresa também garante que a maioria dos usuários não deverá se deparar com essa interrupção, mesmo ao discutir tópicos controversos, pois a medida é reservada para casos extremos.
Quando o Claude encerra uma conversa, o usuário perde a capacidade de enviar novas mensagens naquele chat específico, mas pode iniciar uma nova conversa imediatamente. A Anthropic ressalta que o encerramento de uma conversa não afetará outros chats e que os usuários podem, inclusive, retornar e editar mensagens anteriores para direcionar a conversa para um caminho diferente. Essa iniciativa faz parte de um programa de pesquisa mais amplo da Anthropic que explora o conceito de bem-estar da IA, buscando formas de mitigar riscos e promover interações mais seguras e produtivas entre humanos e inteligências artificiais. A empresa encoraja os usuários a fornecer feedback sobre essas interações para aprimorar ainda mais essa funcionalidade em desenvolvimento. Este é um passo importante na busca por uma inteligência artificial responsável e ética.
Origem: Link