Abordando alucinações de IA

As alucinações de IA são resultados incorretos ou enganosos gerados pelos modelos de IA. Elas ocorrem quando um LLM gera informações que parecem plausíveis, mas são, na verdade, imprecisas ou totalmente fabricadas. Um exemplo pode ser dado quando se está consultando os detalhes legais de um caso, e se busca com referências e antecedentes, como casos semelhantes que já foram julgados no passado, e a IA alucina, inventando um caso inexistente, com decisões e referências falsas.

Como as aplicações de GenAI geralmente oferecem suas respostas com um tom de certeza e confiança, distinguir uma resposta alucinada de uma correta pode ser difícil para usuários comuns. Isso pode levar à disseminação de informações incorretas.

Mas por que as alucinações de IA ocorrem? Os LLMs são treinados em vastos conjuntos de dados, mas, em última análise, eles não “sabem” fatos. Em vez disso, eles preveem a próxima palavra ou frase com base em padrões aprendidos durante o treinamento. Quando um LLM não tem contexto suficiente ou os dados certos para responder a um prompt, essas habilidades preditivas podem tomar um rumo selvagem.

Essa reviravolta pode acontecer por causa de um LLM muito ansioso, pronto para concordar com qualquer fato apresentado em um prompt. Também pode acontecer quando o conjunto de dados de treinamento contém informações factualmente incorretas.

Se sua empresa usa GenAI para eficiência operacional ou serviços voltados ao cliente, é importante estar ciente de como as alucinações de IA podem surgir e como mitigar esses riscos. Quando informações incorretas de uma alucinação de IA se infiltram em seus dados internos, isso pode levar você a tomar decisões de negócios com base em informações incorretas.

Em um exemplo, uma demonstração de IA encarregada de resumir um relatório financeiro respondeu com várias imprecisões factuais. E se uma empresa usasse essa resposta imprecisa para informar suas próprias estratégias? Em outro exemplo, um escritório de advocacia enviou uma pesquisa jurídica alucinada por IA em um processo judicial e foi multado pelo erro.

Erosão da confiança do cliente

A marca e a reputação da sua empresa dependem muito da confiança do cliente. O que aconteceria com essa confiança se o seu chatbot de atendimento ao cliente com tecnologia GenAI fornecesse respostas ocasionalmente alucinadas às perguntas dos clientes? Ou considere as repercussões se você publicasse conteúdo de marketing gerado por IA que não fosse verificado quanto a erros factuais.

GenAI ainda é uma tecnologia emergente. E enquanto o LLM avança para reduzir a probabilidade de alucinações de IA, o fenômeno continua sendo uma preocupação. Atualmente, eliminar completamente as alucinações de IA não é uma meta razoável. Em vez disso, as empresas que usam GenAI devem adotar estratégias para mitigá-las.

A geração aumentada por recuperação (RAG) é uma abordagem que aprimora um sistema GenAI buscando informações — em tempo real — que são relevantes para o prompt de um usuário. Ao recuperar informações adicionais para suplementar o conjunto de dados de treinamento original do LLM, um sistema RAG fornece conhecimento e contexto adicionais para a IA. Isso diminui a oportunidade de alucinações e aumenta a relevância e a precisão da resposta.

O RAG pode contribuir muito para reduzir as alucinações da IA, embora não as elimine totalmente, pois a maioria dos modelos recorrerá aos seus dados de treinamento. Em muitos casos, elaborar cuidadosamente seus prompts pode ajudar a minimizar as instâncias de alucinações de IA. Técnicas básicas de engenharia de prompts incluem:

• Dê instruções claras e específicas;
• Faça perguntas diretas;
• Forneça informações básicas ou contexto suficiente.

A aplicação de técnicas de engenharia rápidas fornece expectativas e proteções para um sistema GenAI, orientando-o em direção a uma resposta correta.

Manuseio intencional de dados altamente críticos

Ao trabalhar com dados altamente críticos, trate os LLMs como não confiáveis, semelhantes a navegadores ou aplicativos móveis. Essa abordagem envolve usar uma camada intermediária segura para gerenciar interações de API, garantindo que os LLMs não tenham acesso direto a sistemas críticos.

Assim como você não exporia APIs de backend a um front-end desprotegido, não permita que LLMs tenham rédea solta sobre operações críticas e não deixe espaço para interpretação de dados críticos. Por exemplo, simplesmente incorporar números e datas críticos como parte de um prompt de texto não estruturado pode expor o sistema a possíveis manipulações incorretas dos dados e alucinações.

Para mitigar esse problema, passe dados críticos para seu sistema programaticamente e conceda ao modelo o acesso mínimo necessário para concluir a tarefa. Ferramentas desenvolvidas especificamente podem ajudar a garantir que os dados sejam manipulados corretamente.

Além de poder executar cálculos complexos ou recuperar dinamicamente informações em tempo real de APIs externas, as ferramentas podem atuar como proxy de APIs para lidar com autenticação, limitação de taxa e validação de dados antes de atingir uma API externa. Essa abordagem em camadas de segurança ajuda a evitar atividades não autorizadas e permite que você passe dados críticos programaticamente dentro de seu sistema em vez de como parte do corpo do prompt para o modelo.

Humano no loop

A tecnologia GenAI está evoluindo rapidamente, mas ainda não está em um lugar onde as empresas podem usá-la sem supervisão. A supervisão humana ainda é uma necessidade. O nível de supervisão humana sobre a atividade da GenAI pode depender da criticidade das tarefas que estão sendo executadas. Por exemplo, um provedor de saúde que usa GenAI para desenvolver um plano de cuidados ao paciente deve incluir um alto nível de supervisão de médicos e profissionais de saúde qualificados.

Com tudo isso dito, definitivamente vale a pena investir na GenAI, começar a usá-lo e explorar suas possibilidades. No entanto ainda é uma tecnologia muito nova, as empresas precisam investir em entender as possibilidades de erro, como alucinações de IA. Existem vários métodos para abordar essas questões, a fim de garantir processos de verificação, análise e validação que dão a você, sua empresa e seus clientes a confiança de que a GenAI está contribuindo para um serviço melhor.

*Emily Shenfield é Engenheira de Marketing Técnico na Twilio na equipe de Tecnologia Emergente e Inovação.

*Alvin Lee é um desenvolvedor full-stack na Twilio.

Sobre a Twilio

As empresas líderes da atualidade confiam na Plataforma de Engajamento do Cliente (CEP) da Twilio para construir relacionamentos diretos e personalizados com seus clientes em todo o mundo. As principais APIs de comunicação da Twilio permitem que as empresas se envolvam com seus clientes por meio de voz, conversas, mensagens, vídeo e e-mail. O Twilio Segment, a principal plataforma de dados do cliente, permite que as empresas criem interações altamente personalizadas e perfis automatizados de clientes com base em dados primários de vários canais. A Twilio permite que as empresas usem comunicações e dados para adicionar inteligência a cada etapa da jornada do cliente, de vendas a marketing, crescimento, atendimento ao cliente e muitos outros casos de uso de engajamento, de maneira flexível e programática. Em 180 países, milhões de desenvolvedores e centenas de milhares de empresas usam a Twilio para criar experiências mágicas para seus clientes.