Consulte Uso de Agent Bricks: LLM personalizado para crear un agente de IA generativa para texto

En este artículo se describe cómo crear un agente de IA generativo para tareas personalizadas basadas en texto mediante Agent Bricks: Custom LLM.

Agent Bricks proporciona un enfoque sencillo para crear y optimizar sistemas de agentes de inteligencia artificial comunes específicos de un dominio y de alta calidad para casos de uso comunes de inteligencia artificial.

¿Qué puede hacer con Custom LLM?

Use Agent Bricks: LLM personalizado para generar resultados de alta calidad para cualquier tarea específica del dominio, como resumen, clasificación, transformación de texto y generación de contenido.

Agent Bricks: Custom LLM es ideal para los siguientes casos de uso:

• Resumen del problema y resolución de las llamadas de los clientes.
• Análisis del sentimiento de las opiniones de los clientes.
• Clasificación de artículos de investigación por tema.
• Generación de comunicados de prensa para nuevas características.

Dada instrucción y ejemplos de alto nivel, Agent Bricks: Custom LLM optimiza las indicaciones en representación de los usuarios, deduce automáticamente los criterios de evaluación, evalúa el sistema a partir de los datos proporcionados e implementa el modelo como un punto de conexión apto para producción.

Agent Bricks: Custom LLM aprovecha las funcionalidades de evaluación automatizadas, como MLflow y Agent Evaluation, para permitir una evaluación rápida del equilibrio de calidad de costos para la tarea de extracción específica. Esta evaluación le permite tomar decisiones fundamentadas sobre el equilibrio entre la precisión y la inversión de recursos.

Agent Bricks usa el almacenamiento predeterminado para almacenar transformaciones de datos temporales, puntos de control de modelo y metadatos internos que potencian a cada agente. En la eliminación del agente, todos los datos asociados al agente se quitan del almacenamiento predeterminado.

Requirements

• Área de trabajo que incluye lo siguiente:
  • Vista previa de Mosaic AI Agent Bricks (Beta) activada. Consulte Administración de versiones preliminares de Azure Databricks.
  • Computación sin servidor habilitada. Consulte Requisitos de proceso sin servidor.
  • Catálogo de Unity habilitado. Consulte Habilitar un área de trabajo para Unity Catalog.
  • Un área de trabajo en una de las regiones admitidas: centralus, eastus, eastus2, northcentralus, southcentralus. westus o westus2.
  • Acceso a Mosaic AI Model Serving.
  • Acceso a los modelos fundamentales en Unity Catalog a través del esquema system.ai.
  • Acceso a una directiva presupuestaria sin servidor con un presupuesto distinto de cero.
• Capacidad de usar la ai_query función SQL.
• Debe tener los datos de entrada listos para su uso. Puede optar por proporcionar:
  • Una tabla de catálogo de Unity. El nombre de la tabla no puede contener caracteres especiales (como -).
    • Si desea usar archivos PDF, conviértalos en una tabla de catálogo de Unity. Consulte Uso de archivos PDF en Agent Bricks.
  • Al menos 3 entradas y salidas de ejemplo. Si elige esta opción, deberá especificar una ruta de destino del esquema del catálogo de Unity para el agente y debe tener los permisos CREATE REGISTERED MODEL y CREATE TABLE para este esquema.
• Si desea optimizar el agente, necesita al menos 100 entradas (ya sea 100 filas en una tabla de catálogo de Unity o 100 ejemplos proporcionados manualmente).

Creación de un agente LLM personalizado

Vaya al Agentes en el panel de navegación izquierdo del área de trabajo. Desde el mosaico LLM personalizado, haga clic en Construir.

Paso 1: Configurar el agente

En la pestaña Compilar , haga clic en Mostrar un ejemplo > para expandir una entrada de ejemplo y una respuesta de modelo para un agente LLM personalizado.

En el panel siguiente, configure el agente:

1. En Describir la tarea, escriba una descripción clara y detallada de la tarea de especialización, incluido su propósito y el resultado deseado.

2. Proporcione un conjunto de datos etiquetado, un conjunto de datos sin etiquetar o algunos ejemplos que se usarán para crear el agente.

   Si quiere usar archivos PDF, conviértalos primero en una tabla de catálogo de Unity. Consulte Uso de archivos PDF en Agent Bricks.

   Se admiten los siguientes tipos de datos: string, inty double.

   Conjunto de datos etiquetado

   Si selecciona Conjunto de datos etiquetado:

   

   1. En Seleccionar conjunto de datos como tabla UC, haga clic en Examinar para seleccionar la tabla en Unity Catalog que desea usar. El nombre de la tabla no puede contener caracteres especiales (como -).

      A continuación se muestra un ejemplo:

      main.model_specialization.customer_call_transcripts

   2. En el campo Columna de entrada , seleccione la columna que desea usar como texto de entrada. El menú desplegable se rellena automáticamente con columnas de la tabla seleccionada.

   3. En la columna Salida, seleccione la columna que desea proporcionar como salida de ejemplo para la transformación esperada. Proporcionar estos datos ayuda a configurar el agente para adaptarse con mayor precisión a sus necesidades específicas del dominio.

   Conjunto de datos sin etiquetar

   Si selecciona Conjunto de datos sin etiquetar:

   1. En Seleccionar conjunto de datos como tabla UC, haga clic en Examinar para seleccionar la tabla en Unity Catalog que desea usar. El nombre de la tabla no puede contener caracteres especiales (como -).

   2. En el campo Columna de entrada , seleccione la columna que desea usar como texto de entrada. El menú desplegable se rellena automáticamente con columnas de la tabla seleccionada.

   Algunos ejemplos

   Si selecciona Algunos ejemplos:

   1. Proporcione al menos 3 ejemplos de entradas y salidas esperadas para la tarea de especialización. Proporcionar ejemplos de alta calidad ayuda a configurar el agente de especialización para comprender mejor sus requisitos.
   2. Para agregar más ejemplos, haga clic en + Agregar.
   3. En Destino del agente, seleccione el esquema del catálogo de Unity en el que desea que Los ladrillos del agente le ayuden a crear una tabla con datos de evaluación. Debe tener los permisos CREATE REGISTERED MODEL y CREATE TABLE para este esquema.

3. Asigne un nombre al agente.

4. Haga clic en Crear agente.

Paso 2: Construye y mejora tu agente

En la pestaña Compilar , revise las recomendaciones para mejorar el agente, revise las salidas del modelo de ejemplo y ajuste las instrucciones de tarea y los criterios de evaluación.

En el panel Recomendación , Databricks proporciona recomendaciones para ayudarle a optimizar y evaluar las respuestas de ejemplo como buenas o incorrectas.

1. En el panel Recomendación , Databricks proporciona recomendaciones para ayudarle a optimizar y evaluar las respuestas de ejemplo como buenas o incorrectas.

   1. Revise las recomendaciones de Databricks para optimizar el rendimiento del agente.
   2. Proporcione comentarios para mejorar las respuestas. Para cada respuesta, respuesta ¿es una buena respuesta? con Sí o No. Si no, proporcione comentarios opcionales sobre la respuesta y haga clic en Guardar para pasar a la siguiente.
   3. También puede optar por Descartar la recomendación.

2. A la derecha, en Directrices, establezca instrucciones claras para ayudar al agente a generar la salida correcta. También se usarán para evaluar automáticamente la calidad.

   1. Revise las directrices sugeridas. Las sugerencias de las directrices se infieren automáticamente para ayudarle a optimizar su agente. Puede refinarlos o eliminarlos.
   2. Agent Bricks puede proponer directrices adicionales. Seleccione Aceptar para agregar la nueva guía, Rechazar para rechazarla o haga clic en el texto para editar primero la guía.
   3. Para agregar sus propias directrices, haga clic en Agregar.
   4. Haga clic en Guardar y actualizar para actualizar el agente.

3. (Opcional) En el lado derecho, en Instrucciones, describa la tarea. Agregue instrucciones adicionales para que el agente siga al generar sus respuestas. Haga clic en Guardar y actualizar para aplicar las instrucciones.

4. Después de actualizar el agente, se generan nuevas respuestas de ejemplo. Revise y proporcione comentarios sobre estas respuestas.

Paso 3: Evaluar el agente

Un informe de calidad que contiene un pequeño conjunto de resultados de evaluación se genera automáticamente a partir de las directrices. Revise este informe en la pestaña Calidad .

Cada guía aceptada se usa como métrica de evaluación. Para cada solicitud generada, la respuesta se evalúa mediante las instrucciones y se da una evaluación de paso o error. Estas evaluaciones se usan para generar las puntuaciones de evaluación que se muestran en la parte superior. Haga clic en un resultado de evaluación para ver los detalles completos.

Use el informe de calidad para ayudarle a decidir si el agente necesita una mayor optimización.

(Opcional) Optimiza tu agente

Agent Bricks puede ayudar a optimizar su agente en función del costo. Databricks recomienda al menos 100 entradas (ya sea 100 filas en la tabla del catálogo de Unity o 100 ejemplos proporcionados manualmente) para optimizar el agente. Al agregar más entradas, la base de conocimiento de la que el agente puede aprender aumenta, lo que mejora la calidad del agente y la precisión de sus respuestas.

Al optimizar el agente, Databricks compara varias estrategias de optimización diferentes para compilar e implementar un agente optimizado. Estas estrategias incluyen el ajuste fino del Foundation Model, que usa Databricks Geos.

Para optimizar tu agente:

1. Haga clic en Optimizar.

2. Haga clic en Iniciar optimización.

   La optimización puede tardar unas horas. Está bloqueado hacer cambios en el agente activo actualmente cuando la optimización está en curso.

3. Cuando se complete la optimización, revise una comparación entre el agente que está activo actualmente y el agente optimizado en función del coste.

4. Después de revisar estos resultados, seleccione el mejor modelo en Implementar mejor modelo en un punto de conexión y haga clic en Implementar.

Paso 4: Uso del agente

Pruebe su agente a lo largo de los flujos de trabajo en Databricks. De forma predeterminada, los puntos de conexión de Agent Bricks se escalan a cero después de 3 días de inactividad, por lo que solo se le facturará el tiempo de actividad.

Para empezar a usar el agente, haga clic en Usar. Tiene las siguientes opciones:

• Haga clic en Probar en SQL para abrir el editor de SQL y usarlo ai_query para enviar solicitudes al nuevo agente LLM personalizado.

• Haga clic en Crear canalización para implementar una canalización que se ejecute a intervalos programados regularmente para aprovechar su agente en datos nuevos. Consulte Canalizaciones declarativas de Spark de Lakeflow para obtener más información sobre las canalizaciones.

• Haga clic en Abrir en área de juegos para probar el agente en un entorno de chat con AI Playground.

Administración de permisos

De forma predeterminada, solo los autores de Agent Bricks y los administradores del área de trabajo tienen permisos para el agente. Para permitir que otros usuarios editen o consulten el agente, debe concederles explícitamente permiso.

Para administrar permisos de tu agente:

1. Abra su agente en Agent Bricks.
2. En la parte superior, haga clic en el Menú kebab.
3. Haga clic en Administrar permisos.
4. En la ventana Configuración de permisos , seleccione el usuario, el grupo o la entidad de servicio.
5. Seleccione el permiso para conceder:
   • Puede administrar: permite gestionar los Agent Bricks, incluida la configuración de permisos, la edición de la configuración del agente y la mejora de su calidad.
   • Can Query: permite consultar el punto de conexión de Agent Bricks en AI Playground y a través de la API. Los usuarios con solo este permiso no pueden ver ni editar el agente en Agent Bricks.
6. Haga clic en Agregar.
7. Haz clic en Guardar.

Consulta el punto de conexión del agente

En la página del agente, haga clic en Consulte Estado del agente en la esquina superior derecha para obtener el punto de conexión del agente implementado y ver los detalles del punto de conexión.

Hay varias maneras de consultar el punto de conexión del agente creado. Use los ejemplos de código proporcionados en AI Playground como punto de partida:

1. En la página del agente, haga clic en Usar.
2. Haga clic en Abrir en el área de juegos.
3. En Parque infantil, haga clic en Obtener código.
4. Elija cómo desea usar el punto de conexión:
   • Seleccione Aplicar en los datos para crear una consulta SQL que aplique el agente a una columna de tabla específica.
   • Seleccione Curl API para ver un ejemplo de código para consultar el punto de conexión mediante curl.
   • Seleccione API de Python para ver un ejemplo de código para interactuar con el punto de conexión mediante Python.

Uso de archivos PDF en Agent Bricks

Los archivos PDF aún no se admiten de forma nativa en Agent Bricks: extracción de información y LLM personalizado. Sin embargo, puede usar el flujo de trabajo de la interfaz de usuario de Agent Brick para convertir una carpeta de archivos PDF en Markdown y, a continuación, usar la tabla de catálogo de Unity resultante como entrada al compilar el agente. Este flujo de trabajo usa ai_parse_document para la conversión. Siga estos pasos:

1. Haga clic en Agentes en el panel de navegación izquierdo para abrir Agent Bricks en Databricks.

2. En los casos de uso de extracción de información o LLM personalizado, haga clic en Usar archivos PDF.

3. En el panel lateral que se abre, escriba los siguientes campos para crear un nuevo flujo de trabajo para convertir los archivos PDF:

   1. Seleccionar carpeta con archivos PDF o imágenes: seleccione la carpeta catálogo de Unity que contiene los archivos PDF que desea usar.
   2. Seleccionar tabla de destino: seleccione el esquema de destino de la tabla markdown convertida y, opcionalmente, ajuste el nombre de la tabla en el campo siguiente.
   3. Seleccionar el SQL Warehouse activo: seleccione el SQL Warehouse para ejecutar el flujo de trabajo.

   

4. Haga clic en Iniciar importación.

5. Se le redirigirá a la pestaña Todos los flujos de trabajo , que enumera todos los flujos de trabajo de PDF. Use esta pestaña para supervisar el estado de los trabajos.

   

   Si se produce un error en el flujo de trabajo, haga clic en el nombre del trabajo para abrirlo y ver los mensajes de error que le ayudarán a depurar.

6. Cuando el flujo de trabajo se haya completado correctamente, haga clic en el nombre del trabajo para abrir la tabla en el Explorador de catálogos para explorar y comprender las columnas.

7. Utiliza la tabla de Unity Catalog como datos de entrada en Agent Bricks al configurar tu agente.

Limitations

• Databricks recomienda al menos 100 entradas (ya sea 100 filas en la tabla del catálogo de Unity o 100 ejemplos proporcionados manualmente) para optimizar el agente. Al agregar más entradas, la base de conocimiento de la que el agente puede aprender aumenta, lo que mejora la calidad del agente y la precisión de sus respuestas.
• Si proporciona una tabla de catálogo de Unity, el nombre de la tabla no puede contener caracteres especiales (como -).
• Solo se admiten los siguientes tipos de datos como entradas: string, inty double.
• La capacidad de uso se limita actualmente a 100 000 tokens de entrada y salida por minuto.
• No se admiten las áreas de trabajo que tienen habilitada la seguridad y el cumplimiento mejorados .
• La optimización puede producir un error en las áreas de trabajo que tienen directivas de red de control de salida sin servidor con el modo de acceso restringido o las áreas de trabajo que han habilitado la compatibilidad del firewall con la cuenta de almacenamiento del área de trabajo.