A inteligência artificial está cada vez mais presente em atividades como pesquisas, produção de textos, análise de documentos e organização de informações. Mas, junto com o avanço dessas ferramentas, surgem também novas formas de ataque que exploram a maneira como os sistemas interpretam comandos.
Uma delas é o prompt injection, técnica que utiliza instruções maliciosas para tentar alterar a resposta ou o comportamento de uma inteligência artificial.
O risco pode estar em conteúdos aparentemente comuns. Uma página na internet ou um documento, por exemplo, pode conter instruções desenvolvidas especificamente para serem interpretadas pela IA durante a leitura daquele material.
O comando pode estar onde o usuário não percebe
Um dos pontos de atenção é que a instrução maliciosa nem sempre precisa estar evidente para quem acessa o conteúdo.
Ao receber a tarefa de analisar informações externas, uma ferramenta de IA pode encontrar comandos inseridos no próprio material. A tentativa do invasor é fazer com que o sistema confunda essas instruções com a solicitação legítima feita pelo usuário.
Dependendo da ferramenta utilizada e das proteções existentes, isso pode interferir na resposta produzida ou tentar direcionar a IA para uma ação diferente da esperada.
IAs mais conectadas exigem mais segurança
O assunto ganha importância com a evolução dos chamados agentes de inteligência artificial, capazes de acessar diferentes ferramentas e executar tarefas com maior autonomia.
Uma IA que apenas responde perguntas apresenta um nível de risco diferente de outra que possui acesso a documentos, e-mails, sistemas corporativos ou outras informações.
Por isso, empresas responsáveis pelo desenvolvimento dessas tecnologias trabalham em mecanismos para separar as instruções dadas pelo usuário daquelas encontradas em conteúdos externos e potencialmente maliciosos.
Atenção deve acompanhar o avanço da tecnologia
O prompt injection mostra que a segurança da inteligência artificial não envolve apenas proteger senhas ou impedir invasões tradicionais. Também é necessário considerar a forma como esses sistemas recebem, interpretam e executam instruções.
Para os usuários, alguns cuidados ajudam a reduzir riscos, como evitar conceder permissões desnecessárias às ferramentas de IA, ter atenção à origem dos arquivos analisados e revisar ações importantes antes de permitir sua execução.
À medida que a inteligência artificial passa a participar de mais tarefas do cotidiano e do ambiente profissional, entender esse tipo de ameaça também se torna parte do uso responsável e seguro da tecnologia.
Fonte: Forbes Brasil.
