A Cloudflare está implementando novas estratégias para controlar o acesso de bots de inteligência artificial (IA) a sites. A empresa anunciou que novos clientes que utilizam seus serviços de gerenciamento de tráfego web agora terão a opção de bloquear ou permitir o acesso de crawlers de IA. Essa mudança representa um avanço em relação a uma ferramenta gratuita lançada em 2024, que permitia bloquear esses bots, mas exigia configuração manual. Agora, o bloqueio pode ser ativado por padrão, simplificando o processo para os proprietários de sites.
Grandes publishers, como Condé Nast, TIME e The Associated Press, já aderiram a essa iniciativa, optando por bloquear os crawlers de IA. Além disso, a Cloudflare lançou um experimento beta privado chamado “pay per crawl” (pagar por rastreamento). Esse modelo permite que os sites cobrem dos crawlers de IA para acessar seu conteúdo. Matthew Prince, CEO da Cloudflare, expressou preocupação com a ameaça existencial que os publishers enfrentam, já que muitos usuários não estão clicando nos links de origem fornecidos por chatbots de IA, o que impacta a receita de publicidade dos sites.
O modelo “pay per crawl” funciona da seguinte forma: cada vez que um crawler de IA solicita conteúdo, ele deve indicar a intenção de pagamento por meio de cabeçalhos de solicitação para obter acesso (código de resposta HTTP 200), ou receberá uma resposta 402 (Pagamento Necessário) com informações sobre os preços. A Cloudflare registra essas transações e fornece a infraestrutura técnica subjacente. Os publishers têm a flexibilidade de permitir que certos crawlers acessem seu conteúdo gratuitamente e definir um preço fixo por solicitação para outros. A Cloudflare enfatiza que o “pay per crawl” ainda está em seus estágios iniciais e espera que a ferramenta evolua com o tempo, além de apoiar o desenvolvimento de outros mercados e formas de cobrar dos crawlers de IA pelo acesso ao conteúdo. A ideia é criar um ecossistema onde o conteúdo original seja valorizado e os criadores possam ser recompensados pelo seu trabalho, ao mesmo tempo em que se permite a inovação no campo da IA.
Origem: Link