Segundo a TechCrunch, a Anthropic publicou uma postagem de blog sexta-feira buscando responder perguntas básicas sobre como funcionará o marcamento de texto do chatbot Claude. A empresa afirma que o sistema não afeta a qualidade das respostas e que o output com marca d'água é indistinguível do não marcado para um leitor. A divulgação ocorre em contexto de compliance com o EU AI Act's Transparency Code, que exige que empresas de IA usem sistemas que permitam identificar conteúdo gerado por IA.
Como o marcamento funciona tecnicamente
- Segundo a TechCrunch, o sistema cria padrões sutis nas escolhas de palavras em situações de baixo risco, como descritores climáticos -- como selecionar entre 'overcast' e 'grey' para descrever o clima -- que permanecem invisíveis aos leitores humanos, mas são detectáveis por sistemas que possuem a chave de codificação correspondente. A TechCrunch explica que quando a IA faz 'escolhas de baixo risco', ela pode criar um padrão em suas respostas que é 'indetectável ao leitor, mas detectável a qualquer pessoa que tenha uma chave que o codifica'.
- A empresa afirma explicitamente que 'o marcamento não impacta a qualidade do output do Claude'. 'Para um leitor, uma resposta marcamentada é indistinguível de uma não marcamentada'. A TechCrunch destaca que a qualidade permanece intacta independentemente do marcamento.
- A abordagem utiliza o SynthID-Text delineado pela equipe do Google DeepMind em 2024, e a Anthropic planeja liberar uma API de detecção de marcamento que permitirá a identificação do conteúdo gerado. Essa API será uma ferramenta para desenvolvedores e plataformas identificarem textos marcados.
Distinção de outras abordagens e editabilidade
- Segundo a TechCrunch, o marcamento difere das abordagens de detecção de IA como as da Pangram, que buscam 'ditos' na escrita (como a construção 'his isn't [X], it's [Y]') para revelar uso de IA. A TechCrunch aponta que pegar nesses padrões é fundamentalmente diferente de verificar um marcamento estrutural, pois cada abordagem tem mecanismos distintos de identificação.
- A TechCrunch reporta que edição leve provavelmente não removerá o marcamento completamente, enquanto uma reescrita completa onde cada palavra é substituída fará. No último caso, a empresa observa que seria discutível se o texto ainda pode ser descrito como gerado por IA, pois o padrão de marcamento seria alterado completamente.
- Se o texto tiver sido apenas relido ou editado pelo Claude, a detectabilidade dependerá do comprimento do texto e da extensão da edição. A TechCrunch explica que, com edição leve, 'quase todas as palavras' terão sido escritas pelo autor humano e 'há muito pouco (se é que algo) para o marcamento se attachar', tornando a detecção difícil nesses casos.
Considerações sobre código e reação da indústria
- Segundo a TechCrunch, em código o marcamento deve ter efeito menor que em texto geral, pois o modelo precisará criar código funcional e não terá liberdade para escolher entre uma variedade de opções igualmente válidas para garantir que o código execute corretamente. A necessidade de funcionalidade limita as escolhas de palavras do modelo.
- 'Dito isso, em áreas onde há uma escolha arbitrária entre palavras ou termos específicos dentro do código, como comentários, o marcamento pode ser aplicado, mas por definição terá efeito negligível no código real produzido', disse a Anthropic segundo a TechCrunch. Mesmo onde o marcamento é aplicado em código, o impacto no resultado final é minimizado.
- A TechCrunch reporta que dezenas de usuários no X afirmaram ter cancelar assinaturas do Claude como resultado do anúncio, enquanto na plataforma Reddit, usuários debatem o movimento, com alguns caracterizando como conspiração contra usuários innocententes de Claude e outros afirmando que 'o único motivo pelo qual você não quereria isso é para mentir para as pessoas'. Esse contraste de reações reflete o debate mais amplo sobre responsabilidade em IA.
- Outras grandes desenvolvedoras de modelos também assinaram o mesmo Code of Practice e implementarão suas próprias marcas d'água, conforme a Anthropic, reforçando que o marcamento se tornará uma prática mais ampla no setor de IA e não um diferencial isolado da empresa.
