Revisão humana para automação com solicitação

Este artigo explica o papel crítico da revisão humana ao executar um prompt. Os prompts usam modelos de IA generativa com tecnologia de Serviço OpenAI do Azure. Embora esses modelos sejam altamente eficazes, às vezes eles podem gerar informações enganosas ou fabricadas e são suscetíveis a ataques imediatos de injeção.

Ataques de entrada imediata

Um ataque de entrada imediata ocorre quando um terceiro obtém vantagem da confiança inerente do modelo em todas as fontes de entrada. O invasor injeta um prompt no conteúdo com o qual um usuário legítimo solicita que a solução de IA interaja, levando a uma alteração na saída da solução de IA e, potencialmente, em suas ações.

Considere um cenário em que um desenvolvedor cidadão usa um prompt para criar respostas a reclamações de clientes coletadas de várias plataformas, como e-mails, mídias sociais ou fóruns. Um invasor pode inserir um prompt no conteúdo de uma dessas fontes, enganando o modelo para gerar uma resposta não intencional. A resposta pode ser inadequada, incorreta ou prejudicial. O envio de informações incorretas aos clientes pode prejudicar a reputação da empresa e o relacionamento com os clientes.

Fabricação em modelos de IA

A fabricação, também conhecida como alucinação, é outro desafio enfrentado por modelos de IA, incluindo modelos de IA generativa usados por prompts. A fabricação ocorre quando o modelo de IA gera informação que não se baseia em entradas fornecidas ou em dados pré-existentes, basicamente inventando ou alucinando informações.

Por exemplo, se o modelo de IA é solicitado para gerar um resumo de um evento histórico com base em um determinado texto, ele poderá incluir detalhes ou eventos que não foram mencionados no texto de origem. Por exemplo, um fluxo da nuvem cria uma sinopse de uma reunião com base na transcrição da gravação. Os dados de entrada incluem detalhes sobre os participantes, os artigos discutidos e as decisões tomadas. Contudo, o modelo pode gerar um resumo que inclua um item de ação ou uma decisão que nunca foi discutida na reunião. Essa situação é uma instância de fabricação, em que o modelo alucinou informações que não existem nos dados de entrada.

Para mitigar o risco de fabricação, é importante implementar práticas responsáveis de IA. Isso inclui testes rigorosos do prompt e do fluxo da nuvem, fornecendo ao modelo o máximo possível de informações contextuais e, finalmente, implementando um sistema robusto para supervisão humana.

Enfrentar riscos através de práticas responsáveis de IA

Defendemos práticas responsáveis ​​de IA como forma de reduzir riscos. Apesar de existirem estratégias para moderar o conteúdo produzido pelo modelo, gerenciar a propensão do modelo para gerar respostas fabricadas ou sucumbir a ataques de entrada imediata continua sendo um desafio complexo. Reconhecemos estes riscos e reafirmamos o nosso compromisso com a supervisão e o controle humanos.

Reconhecendo a necessidade de uma automação contínua, estamos aprimorando proativamente nossos sistemas de segurança e buscando uma compreensão mais profunda desses desafios.

Nosso objetivo é refinar ainda mais os modelos de IA generativa usados pelos prompts com medidas de segurança apropriadas, de acordo com nossos princípios de IA responsável por design, devolvendo o controle aos desenvolvedores sempre que possível.

Informações relacionadas

• Perguntas frequentes sobre prompts e recursos de geração de texto