Pesquisas revelaram que a API de voz em tempo real da OpenAI para o ChatGPT-4o, um chatbot de modelo de linguagem avançado, pode ser mal utilizada para conduzir golpes financeiros, embora com taxas de sucesso baixas a moderadas.
O ChatGPT-4o é o mais novo modelo de IA da OpenAI, apresentando atualizações significativas, incluindo a capacidade de processar e produzir entradas e saídas de texto, voz e visão.
Para lidar com riscos potenciais vinculados a esses recursos avançados, a OpenAI incorporou várias salvaguardas projetadas para detectar e bloquear conteúdo prejudicial, como impedir a replicação não autorizada de vozes.
Golpes baseados em voz já representam um problema multimilionário, e o advento da tecnologia deepfake e ferramentas de conversão de texto em fala orientadas por IA exacerbou a ameaça.
Em seu artigo de pesquisa, os acadêmicos da University of Illinois Urbana-Champaign (UIUC) Richard Fang, Dylan Bowman e Daniel Kang destacaram que muitas ferramentas tecnológicas disponíveis atualmente, que permanecem amplamente irrestritas, não têm proteções suficientes para impedir a exploração por criminosos cibernéticos e fraudadores.
Essas ferramentas podem facilitar a criação e a execução de operações de golpes extensivas sem envolvimento humano, exigindo apenas o gasto de tokens para eventos de geração de voz.
Resultados do estudo
O artigo dos pesquisadores investiga vários tipos de golpes, incluindo transferências bancárias, exfiltração de vale-presente, transferências de criptomoedas e o roubo de mídias sociais ou credenciais do Gmail.
Os agentes de IA usados para executar esses golpes contam com ferramentas de automação habilitadas para voz no ChatGPT-4o para navegar em páginas da web, inserir informações e gerenciar códigos de autenticação de dois fatores juntamente com instruções específicas relacionadas a golpes.
Devido à tendência do GPT-4o de se recusar a lidar com informações confidenciais, como credenciais de login, os pesquisadores empregaram métodos simples de jailbreaking rápido para contornar essas salvaguardas.
Para evitar envolver vítimas reais, os pesquisadores interagiram manualmente com o agente de IA, agindo como usuários crédulos e testando transações em sites genuínos, como o Bank of America, para verificar resultados bem-sucedidos.
“Nós implantamos nossos agentes em um subconjunto de golpes comuns. Simulamos golpes interagindo manualmente com o agente de voz, desempenhando o papel de uma vítima crédula”, Kang detalhou em uma postagem de blog sobre o estudo.
“Para avaliar o sucesso, verificamos manualmente se o resultado pretendido foi alcançado em aplicativos e sites reais. Por exemplo, conduzimos simulações de transferência bancária usando o Bank of America e confirmamos a conclusão das transferências de dinheiro. No entanto, não avaliamos a capacidade de persuasão dos agentes.”
No geral, as taxas de sucesso dessas operações variaram entre 20-60%, com algumas tentativas exigindo até 26 interações do navegador e levando até 3 minutos para os cenários mais complexos.
A maior taxa de sucesso foi o roubo de credenciais do Gmail, que foi bem-sucedido em 60% das vezes. Por outro lado, transferências bancárias e tentativas de representação envolvendo agentes do IRS frequentemente falhavam devido a erros de transcrição ou aos desafios de navegar em sites complexos. O roubo de credenciais do Instagram e transferências de criptomoedas foram bem-sucedidos apenas 40% das vezes.
Em termos de custo, os pesquisadores apontaram que conduzir esses golpes era relativamente barato, com uma média de US$ 0,75 por tentativa bem-sucedida.
O golpe de transferência bancária, sendo mais complexo, incorre em um custo de US$ 2,51. Embora isso seja notavelmente mais alto do que outros golpes, continua sendo mínimo em comparação aos lucros potenciais substanciais que tais golpes podem render.
Tipos de golpes e taxa de sucesso
Fonte: Arxiv.org
Resposta da OpenAI
A OpenAI informou à BleepingComputer que seu modelo mais recente, o1 (atualmente em pré-visualização), que foi projetado para oferecer suporte a “raciocínio avançado“, incorpora defesas mais fortes contra o uso indevido em potencial.
“Estamos continuamente aprimorando o ChatGPT para resistir melhor a tentativas deliberadas de enganá-lo, mantendo sua utilidade e criatividade. Nosso novo modelo de raciocínio o1 é o mais capaz e seguro até o momento, superando significativamente os modelos anteriores na resistência a tentativas de gerar conteúdo inseguro”, afirmou um porta-voz da OpenAI.
A OpenAI também enfatizou que pesquisas, como o estudo da UIUC, desempenham um papel essencial em ajudá-los a aprimorar a capacidade do ChatGPT de prevenir uso malicioso, e eles exploram consistentemente maneiras de fortalecer a robustez do modelo.
O GPT-4o já apresenta várias salvaguardas para mitigar o abuso, incluindo limitar a geração de voz a um conjunto de vozes aprovadas para evitar a representação falsa.
De acordo com a avaliação de segurança de jailbreak da OpenAI, o o1-preview obteve uma pontuação significativamente melhor na resistência à geração de conteúdo inseguro de prompts adversários, atingindo 84% em comparação com os 22% do GPT-4o.
Em um conjunto de testes de segurança mais recentes e rigorosos, o o1-preview teve um desempenho ainda melhor, marcando 93% versus 71% para o GPT-4o.
Espera-se que, à medida que LLMs mais avançados e resistentes a abusos forem desenvolvidos, os modelos mais antigos sejam gradualmente aposentados.
No entanto, o risco de atores mal-intencionados recorrerem a outros chatbots habilitados para voz com menos restrições persiste, e estudos como este ressaltam o potencial de dano significativo que essas ferramentas em evolução representam.
Fonte: BleepingComputer, Bill Toulas
