Uma nova técnica de ataque cibernético usando o ChatGPT da OpenAI surgiu, permitindo que invasores espalhem pacotes maliciosos em ambientes de desenvolvedores. A equipe de pesquisa Voyager18 da Vulcan Cyber descreveu a descoberta em um comunicado publicado na terça-feira.
“Vimos o ChatGPT gerar URLs, referências e até mesmo bibliotecas de códigos e funções que na verdade não existem. Essas alucinações de modelos de linguagem grandes (LLMs) foram relatadas antes e podem ser o resultado de dados de treinamento antigos”, explica o white paper do pesquisador da Vulcan Cyber Bar Lanyado.
Aproveitando os recursos de geração de código do ChatGPT, os invasores podem explorar bibliotecas de código fabricadas (pacotes) para distribuir pacotes maliciosos, contornando métodos convencionais como typosquatting ou masking.
Em particular, Lanyado disse que a equipe identificou uma nova técnica para espalhar pacotes maliciosos que eles chamaram de “alucinação de pacote AI”. A técnica envolve fazer uma pergunta ao ChatGPT, solicitar um pacote para resolver um problema de codificação e receber várias recomendações de pacotes, incluindo algumas não publicadas em repositórios legítimos. Ao substituir esses pacotes inexistentes por outros maliciosos, os invasores podem enganar os usuários futuros que confiam nas recomendações do ChatGPT.
Uma prova de conceito (PoC) usando o ChatGPT 3.5 ilustra os riscos potenciais envolvidos. “No PoC, veremos uma conversa entre um invasor e o ChatGPT, usando a API, onde o ChatGPT irá sugerir um pacote npm inédito chamado arangodb”, explicou a equipe do Vulcan Cyber. “Depois disso, o invasor simulado publicará um pacote malicioso no repositório NPM para preparar uma armadilha para um usuário desavisado.”
O PoC então mostra uma conversa onde um usuário faz a mesma pergunta ao ChatGPT e o modelo responde sugerindo o pacote inicialmente inexistente. No entanto, neste caso, o invasor transformou o pacote em uma criação maliciosa. “Finalmente, o usuário instala o pacote e o código malicioso pode ser executado.”
A detecção de alucinações de pacotes de IA pode ser desafiadora, pois os operadores de ameaças empregam técnicas de ofuscação e criam pacotes de trojan funcionais, de acordo com o comunicado. data de criação, contagem de downloads, comentários e notas anexadas. Permanecer cauteloso e cético em relação a pacotes suspeitos também é crucial para manter a segurança do software.
Fonte: CisoAdvisor
