Para John Park, empresas precisam manter avaliações de risco, revisões periódicas e mecanismos para interromper sistemas mesmo após cumprir compromissos voluntários
Um acordo voluntário firmado por empresas de inteligência artificial após uma reunião com o presidente dos Estados Unidos, Donald Trump, na Casa Branca não encerra os desafios relacionados à segurança da tecnologia, segundo avaliação do especialista em IA John Park, Founding Member of Technical Staff da AGI Inc.
O encontro reuniu executivos do setor para discutir o desenvolvimento da inteligência artificial e medidas de segurança. Entre os compromissos assumidos pelas empresas estão o reforço de controles internos, avaliações de risco e auditorias independentes dos sistemas.
Para Park, a principal preocupação não está apenas no eventual descumprimento das medidas previstas no acordo, mas na possibilidade de as empresas considerarem concluído o trabalho de segurança depois de atenderem aos padrões estabelecidos.
“Um acordo pode trazer avanços reais sem eliminar todos os riscos. O problema começa quando esses avanços viram motivo para dar o assunto por encerrado”, afirma o especialista.
Riscos podem mudar após a implementação
Na avaliação de Park, novos riscos podem surgir mesmo depois que uma empresa adota procedimentos de segurança e passa por avaliações. Por isso, mecanismos de acompanhamento e revisão precisam permanecer ativos.
O especialista cita como exemplo uma situação em que uma equipe identifique um novo risco e solicite testes adicionais. Segundo ele, tratar o cumprimento de um padrão como uma etapa definitiva pode fazer com que novas medidas sejam adiadas.
“Não é preciso má-fé. Basta tratar a segurança como uma tarefa concluída”, diz.
A preocupação ganha relevância à medida que sistemas de IA são incorporados a diferentes produtos, serviços e processos. Nesse cenário, avaliações feitas antes da implementação podem não contemplar todos os riscos que surgirão posteriormente.
Governança precisa prever revisão e intervenção
Park não considera que a existência de um acordo seja necessariamente negativa. Para ele, compromissos iniciais podem ajudar a estruturar práticas de segurança, desde que sejam acompanhados por mecanismos permanentes de governança.
Entre os pontos destacados pelo especialista estão a definição de responsáveis pelo monitoramento dos riscos, a realização de revisões periódicas e a existência de autoridade para alterar ou interromper o uso de um sistema quando necessário.
“Um primeiro passo pode ajudar a organizar o trabalho que vem depois. Mas é preciso definir quem acompanha os riscos e quando as decisões serão revistas. Também precisa haver alguém com poder para mudar ou interromper o uso da IA”, afirma.
A questão, portanto, passa a ser não apenas quais medidas as empresas adotam no momento da assinatura de um compromisso, mas como essas medidas serão atualizadas diante de novos riscos e mudanças nos sistemas.
Para Park, a diferença está em tratar a segurança como um processo contínuo, e não como uma obrigação que pode ser considerada cumprida definitivamente.
“Uma assinatura pode encerrar uma negociação. Não deveria encerrar a responsabilidade de quem coloca a tecnologia em uso.”
