Utilize o Agent Bricks: LLM Personalizado para criar um agente de IA generativo para texto.

Este artigo descreve como criar um agente de IA generativo para tarefas personalizadas baseadas em texto usando Agent Bricks: Custom LLM.

O Agent Bricks fornece uma abordagem simples para criar e otimizar sistemas de agentes de IA específicos do domínio e de alta qualidade para casos de uso comuns de IA.

O que você pode fazer com o LLM personalizado?

Use Agent Bricks: LLM personalizado para gerar resultados de alta qualidade para qualquer tarefa específica do domínio, como resumo, classificação, transformação de texto e geração de conteúdo.

Blocos de agentes: O LLM personalizado é ideal para os seguintes casos de uso:

• Resumindo o problema e resolução de chamadas de clientes.
• Analisar o sentimento das opiniões dos clientes.
• Classificação de trabalhos de investigação por temas.
• Geração de press releases para novas funcionalidades.

Dadas instruções e exemplos de alto nível, o Agent Bricks: Custom LLM otimiza prompts em nome dos usuários, infere automaticamente os critérios de avaliação, avalia o sistema a partir dos dados fornecidos e implanta o modelo como um ponto de extremidade produtível.

Agente Bricks: O LLM personalizado aproveita as capacidades de avaliação automatizada, incluindo MLflow e Avaliação de Agente, para permitir uma rápida avaliação da compensação entre custo e qualidade para a sua tarefa específica de extração. Essa avaliação permite que você tome decisões informadas sobre o equilíbrio entre precisão e investimento de recursos.

O Agent Bricks usa o armazenamento padrão para armazenar transformações de dados temporárias, pontos de verificação de modelo e metadados internos que alimentam cada agente. Na exclusão do agente, todos os dados associados ao agente são removidos do armazenamento padrão.

Requirements

• Um espaço de trabalho que inclui o seguinte:
  • Pré-visualização do Mosaic AI Agent Bricks (Beta) ativada. Consulte Gerenciar visualizações do Azure Databricks.
  • Computação sem servidor habilitada. Consulte Requisitos de computação sem servidor.
  • Catálogo Unity ativado. Consulte Habilitar um espaço de trabalho para o Unity Catalog.
  • Um espaço de trabalho em uma das regiões suportadas: centralus, eastus, eastus2, northcentralus, southcentralus. westus, ou westus2.
  • Acesso ao Mosaic AI Model Serving.
  • Acesso a modelos de base no Unity Catalog por meio do esquema system.ai.
  • Acesso a uma política de orçamento sem servidor com um orçamento diferente de zero.
• Capacidade de usar a ai_query função SQL.
• Você deve ter os dados de entrada prontos para uso. Pode optar por fornecer:
  • Uma tabela do Catálogo Unity. O nome da tabela não pode conter caracteres especiais (como -).
    • Se você quiser usar PDFs, converta-os em uma tabela do Catálogo Unity. Consulte Utilizar PDFs em Agent Bricks.
  • Pelo menos 3 exemplos de entradas e saídas. Se optar por esta opção, terá de especificar um caminho de destino do esquema do Unity Catalog para o agente, e deverá ter permissões de criação de modelo registado (CREATE REGISTERED MODEL) e CREATE TABLE para esse esquema.
• Se você quiser otimizar seu agente, precisará de pelo menos 100 entradas (100 linhas em uma tabela do Unity Catalog ou 100 exemplos fornecidos manualmente).

Criar um agente LLM personalizado

Vá para o Agentes no painel de navegação esquerdo do seu espaço de trabalho. A partir do tile Custom LLM, clique em Construir.

Etapa 1: Configurar o agente

No separador Build , clique em Mostrar um exemplo > para expandir uma entrada e resposta de modelo para um agente LLM personalizado.

No painel abaixo, configure seu agente:

1. Em Descreva sua tarefa, insira uma descrição clara e detalhada de sua tarefa de especialização, incluindo sua finalidade e resultado desejado.

2. Forneça um conjunto de dados rotulado, um conjunto de dados sem rótulo ou alguns exemplos para usar para criar seu agente.

   Se você quiser usar PDFs, converta-os em uma tabela do Catálogo Unity primeiro. Consulte Utilizar PDFs em Agent Bricks.

   Os seguintes tipos de dados são suportados: string, inte double.

   Conjunto de dados rotulado

   Se você selecionar Conjunto de dados rotulado:

   

   1. Em Selecionar conjunto de dados como tabela UC, clique em Procurar para selecionar a tabela no Catálogo Unity que você deseja usar. O nome da tabela não pode conter caracteres especiais (como -).

      Veja o exemplo seguinte:

      main.model_specialization.customer_call_transcripts

   2. No campo Coluna de entrada , selecione a coluna que deseja usar como texto de entrada. O menu suspenso é preenchido automaticamente com colunas da tabela selecionada.

   3. Na coluna Saída, selecione a coluna que você deseja fornecer como um exemplo de saída para a transformação esperada. Fornecer esses dados ajuda a configurar seu agente para se adaptar com mais precisão às necessidades específicas do seu domínio.

   Conjunto de dados sem rótulo

   Se você selecionar Conjunto de dados sem rótulo:

   1. Em Selecionar conjunto de dados como tabela UC, clique em Procurar para selecionar a tabela no Catálogo Unity que você deseja usar. O nome da tabela não pode conter caracteres especiais (como -).

   2. No campo Coluna de entrada , selecione a coluna que deseja usar como texto de entrada. O menu suspenso é preenchido automaticamente com colunas da tabela selecionada.

   Alguns exemplos

   Se você selecionar Alguns exemplos:

   1. Forneça pelo menos 3 exemplos de entradas e saídas esperadas para sua tarefa de especialização. Fornecer exemplos de alta qualidade ajuda a configurar seu agente de especialização para entender melhor seus requisitos.
   2. Para adicionar mais exemplos, clique em + Adicionar.
   3. Em Destino do agente, selecione o esquema do Catálogo Unity onde pretenda que os Agent Bricks o ajudem a criar uma tabela com dados de avaliação. Você deve ter permissões CREATE REGISTERED MODEL e CREATE TABLE para este esquema.

3. Atribua um nome ao seu agente.

4. Clique em Criar agente.

Etapa 2: Crie e melhore seu agente

No separador Build, reveja as recomendações para melhorar o seu agente, analise as saídas de modelo de exemplo e ajuste as instruções e os critérios de avaliação das tarefas.

No painel de Recomendações, o Databricks fornece recomendações para ajudar a otimizar e classificar respostas de amostras como boas ou más.

1. No painel de Recomendações, o Databricks fornece recomendações para ajudar a otimizar e classificar respostas de amostras como boas ou más.

   1. Analise as recomendações do Databricks para otimizar o desempenho do agente.
   2. Dê feedback para melhorar as respostas. Para cada resposta, responde É uma boa resposta? com Sim ou Não. Se Não, forneça comentários opcionais sobre a resposta e clique em Salvar para passar para a próxima.
   3. Você também pode optar por rejeitar a recomendação.

2. À direita, em Diretrizes, defina diretrizes claras para ajudar o seu agente a produzir o resultado correto. Estes também serão usados para avaliar automaticamente a qualidade.

   1. Consulte as diretrizes sugeridas. As sugestões de orientações são automaticamente inferidas para o ajudar a otimizar o seu agente. Podes aperfeiçoá-los ou apagá-los.
   2. O Agente Bricks pode propor orientações adicionais. Selecione Aceitar para adicionar a nova diretriz, Rejeitar para a rejeitar, ou clique no texto para editar a diretriz primeiro.
   3. Para adicionar as suas próprias diretrizes, clique Acrescentar.
   4. Clica em Guardar e atualizar para atualizar o agente.

3. (Opcional) No lado direito, em Instruções, descreva a sua tarefa. Adicione quaisquer instruções adicionais para o agente seguir ao gerar as suas respostas. Clique em Salvar e atualizar para aplicar as instruções.

4. Depois de atualizar o agente, são geradas novas respostas de amostra. Revise e dê feedback sobre estas respostas.

Passo 3: Avalie o seu agente

Um relatório de qualidade contendo um pequeno conjunto de resultados de avaliação é automaticamente gerado a partir das suas diretrizes. Consulte este relatório na aba Qualidade.

Cada diretriz aceite é utilizada como métrica de avaliação. Para cada pedido gerado, a resposta é avaliada segundo as diretrizes e recebe uma avaliação de aprovação/reprovação. Estas avaliações são usadas para gerar as pontuações de avaliação apresentadas no topo. Clique num resultado de avaliação para ver todos os detalhes.

Use o relatório de qualidade para o ajudar a decidir se o agente precisa de uma otimização adicional.

(Opcional) Otimize seu agente

A Agent Bricks pode ajudar a otimizar o seu agente em termos de custos. O Databricks recomenda pelo menos 100 entradas (100 linhas na tabela do Unity Catalog ou 100 exemplos fornecidos manualmente) para otimizar seu agente. Quando você adiciona mais entradas, a base de conhecimento com a qual o agente pode aprender aumenta, o que melhora a qualidade do agente e sua precisão de resposta.

Quando otimiza o seu agente, o Databricks compara várias estratégias de otimização diferentes para construir e implementar um agente otimizado. Essas estratégias incluem o ajuste fino do modelo base, que usa Databricks Geos.

Para otimizar o seu agente:

1. Clique Otimizar.

2. Clica em Iniciar otimização.

   A otimização pode demorar algumas horas. Fazer alterações no seu agente atualmente ativo é bloqueado quando a otimização está em andamento.

3. Quando a otimização estiver concluída, analise uma comparação entre o seu agente atualmente ativo e o agente otimizado para custos.

4. Depois de revisar esses resultados, selecione o melhor modelo em Implantar o melhor modelo em um ponto de extremidade e clique em Implantar.

Passo 4: Use o seu agente

Experimente seu agente em fluxos de trabalho no Databricks. Por padrão, os pontos de extremidade do Agent Bricks são dimensionados para zero após 3 dias de inatividade, portanto, você só será cobrado pelo tempo de atividade.

Para começar a usar seu agente, clique em Usar. Você tem as seguintes opções:

• Clique em Experimentar em SQL para abrir o editor SQL e usar ai_query para enviar solicitações para seu novo agente LLM personalizado.

• Clique em Criar pipeline para implementar um pipeline que corre em intervalos programados para usar o seu agente em novos dados. Consulte Lakeflow Spark Declarative Pipelines para obter mais informações sobre pipelines.

• Clique em Abrir no Playground para testar o seu agente num ambiente de chat com o AI Playground.

Gerenciar permissões

Por padrão, apenas os autores do Agent Bricks e os administradores do espaço de trabalho têm permissões para o agente. Para permitir que outros usuários editem ou consultem seu agente, você precisa conceder explicitamente a eles permissão.

Para gerenciar permissões em seu agente:

1. Abra o seu agente no Agent Bricks.
2. Na parte superior, clique no
3. Clique em Gerenciar permissões.
4. Na janela Configurações de Permissão , selecione o usuário, grupo ou entidade de serviço.
5. Selecione a permissão para conceder:
   • Pode gerir: Permite gerir os Agent Bricks, incluindo a configuração de permissões, editar a configuração do agente e a melhoria da sua qualidade.
   • Can Query: Permite consultar o endpoint Agent Bricks no AI Playground e através da API. Os usuários com apenas essa permissão não podem visualizar ou editar o agente no Agent Bricks.
6. Clique em Adicionar.
7. Clique em Salvar.

Consultar o ponto de extremidade do agente

Na página do agente, clique Consulte o estado do Agente no canto superior direito para obter o endpoint do seu agente implementado e ver os detalhes do endpoint.

Existem várias formas de consultar o endpoint do agente criado. Use os exemplos de código fornecidos no AI Playground como ponto de partida:

1. Na página do agente, clique em Usar.
2. Clica em Abrir no parque infantil.
3. No Playground, clique em Obter código.
4. Escolha como deseja usar o ponto de extremidade:
   • Selecione Aplicar em dados para criar uma consulta SQL que aplique o agente a uma coluna de tabela específica.
   • Selecione Curl API para obter um exemplo de código para consultar o ponto de extremidade usando curl.
   • Selecione Python API para um exemplo de código para interagir com o endpoint usando Python.

Utilizar PDFs no Agent Bricks

Os PDFs ainda não são suportados nativamente no Agent Bricks: Information Extraction e Custom LLM. No entanto, você pode usar o fluxo de trabalho da interface do usuário do Agent Brick para converter uma pasta de arquivos PDF em markdown e, em seguida, usar a tabela resultante do Unity Catalog como entrada ao criar seu agente. Este fluxo de trabalho utiliza ai_parse_document para a conversão. Siga estes passos:

1. Clique em Agentes no painel de navegação esquerdo para abrir Blocos de Agente no Databricks.

2. Nos casos de uso de Extração de Informações ou LLM Personalizado, clique em Usar PDFs.

3. No painel lateral que se abre, insira os seguintes campos para criar um novo fluxo de trabalho para converter seus PDFs:

   1. Selecionar pasta com PDFs ou imagens: Selecione a pasta Unity Catalog que contém os PDFs que você deseja usar.
   2. Selecionar tabela de destino: selecione o esquema de destino para a tabela de marcação convertida e, opcionalmente, ajuste o nome da tabela no campo abaixo.
   3. Selecione o SQL warehouse ativo: selecione o SQL warehouse para executar o fluxo de trabalho.

   

4. Clique em Iniciar importação.

5. Você será redirecionado para a guia Todos os fluxos de trabalho , que lista todos os seus fluxos de trabalho em PDF. Use esta guia para monitorar o status de seus trabalhos.

   

   Se o fluxo de trabalho falhar, clique no nome do trabalho para abri-lo e exibir mensagens de erro para ajudá-lo a depurar.

6. Quando o fluxo de trabalho for concluído com êxito, clique no nome do trabalho para abrir a tabela no Gerenciador de Catálogos para explorar e entender as colunas.

7. Use a tabela Unity Catalog como dados de entrada no Agent Bricks ao configurar seu agente.

Limitations

• O Databricks recomenda pelo menos 100 entradas (100 linhas na tabela do Catálogo Unity ou 100 amostras fornecidas manualmente) para otimizar seu agente. Quando você adiciona mais entradas, a base de conhecimento com a qual o agente pode aprender aumenta, o que melhora a qualidade do agente e sua precisão de resposta.
• Se você fornecer uma tabela do Catálogo Unity, o nome da tabela não poderá conter caracteres especiais (como -).
• Somente os seguintes tipos de dados são suportados como entradas: string, inte double.
• A capacidade de uso está atualmente limitada a 100 mil tokens de entrada e saída por minuto.
• Não há suporte para espaços de trabalho com Segurança Reforçada e Conformidade habilitadas.
• A otimização pode falhar em espaços de trabalho que tenham políticas de rede de controle de saída sem servidor com modo de acesso restrito ou espaços de trabalho que tenham habilitado o suporte de firewall para a conta de armazenamento do espaço de trabalho.