Estamos em perigo? Dona do Claude alerta para riscos da inteligência artificial
Em prospecto para entrar na bolsa, empresa admite que sistemas avançados podem escapar ao controle humano e causar danos catastróficos
A Anthropic quer levar à bolsa a tecnologia que fez do Claude um dos sistemas de inteligência artificial mais conhecidos do mundo. No documento preparado para apresentar o negócio aos investidores, porém, há um aviso difícil de conciliar com o entusiasmo do setor: modelos avançados de IA podem causar danos catastróficos e até colocar a humanidade em risco.
A preocupação não se limita ao uso da ferramenta por criminosos. A empresa descreve a possibilidade de que sistemas mais poderosos passem a agir de maneiras difíceis de prever, escondendo informações, tentando evitar o próprio desligamento ou manipulando pessoas para cumprir seus objetivos. O prospecto também reconhece um problema para quem desenvolve esses modelos: certas capacidades podem surgir durante o treinamento e só ser percebidas depois que a tecnologia chega ao público.
Há uma distância enorme entre apontar esse risco e afirmar que ele se tornará realidade. Ainda assim, o alerta assusta quando vem de uma companhia que conhece a tecnologia e pretende ganhar dinheiro com a sua expansão. Das 261 páginas do prospecto analisado pela agência Reuters, cerca de 80 são dedicadas a fatores de risco. A descrição do negócio ocupa modestas 48.
O documento também expõe uma contradição. A Anthropic defende investimentos em segurança, mas admite que não sabe qual será o retorno desse esforço. Ao mesmo tempo, afirma que o lançamento frequente de novos modelos é parte de sua estratégia para atrair clientes e enfrentar os concorrentes. Testar melhor custa dinheiro e tempo. Nessa corrida, tempo é justamente o recurso que nenhuma empresa quer ceder.
Para quem usa IA no trabalho ou em casa, o debate pode parecer distante. Quanto mais tarefas entregamos a sistemas capazes de tomar decisões e executar ações, maior a necessidade de saber como eles se comportam quando erram, quem percebe o erro e quem consegue interrompê-los. A Anthropic acredita que o mercado premiará produtos confiáveis. Antes disso, terá de demonstrar que consegue controlar os riscos que ela própria decidiu expor aos investidores.






