Referência de tabelas do sistema MLflow

As mlflow tabelas do sistema capturam metadados de experimentos gerenciados no serviço de rastreamento MLflow. Essas tabelas permitem que usuários privilegiados aproveitem as ferramentas do Databricks lakehouse em seus dados MLflow em todos os espaços de trabalho da região. Você pode usar as tabelas para criar painéis de IA/BI personalizados, configurar alertas SQL ou executar consultas analíticas em grande escala.

Através das tabelas do sistema, os mlflow usuários podem responder a perguntas como:

• Quais experimentos têm a menor confiabilidade?
• Qual é a utilização média da GPU em diferentes experimentos?

Tabelas disponíveis

O mlflow esquema inclui as seguintes tabelas:

• system.mlflow.experiments_latest: Registra nomes de experimentos e eventos de exclusão suave. Esses dados são semelhantes à página de experimentos na interface do usuário MLflow.
• system.mlflow.runs_latest: Registra as informações do ciclo de vida da execução, os parâmetros e tags associados a cada execução e as estatísticas agregadas de valores mínimos, máximos e mais recentes de todas as métricas. Esses dados são semelhantes à página de detalhes de execução de pesquisa ou execução.
• system.mlflow.run_metrics_history: Registra o nome, o valor, o carimbo de data/hora e a etapa de todas as métricas registradas em execuções, que podem ser usadas para plotar séries cronológicas detalhadas de execuções. Esses dados são semelhantes à guia métricas na página de detalhes de execução.

A seguir está um exemplo de plotagem de informações de execução usando um painel:

Esquemas de tabela

Abaixo estão os esquemas de tabela com descrições e dados de exemplo.

system.mlflow.experiments_latest

system.mlflow.runs_latest

system.mlflow.run_metrics_history

Partilhar o acesso com os utilizadores

Por padrão, apenas os administradores de conta têm acesso aos esquemas do sistema. Para dar acesso a usuários adicionais às tabelas, um administrador de conta deve conceder-lhes o USE e SELECT as system.mlflow. permissões no esquema. Consulte privilégios do Catálogo Unity e objetos securitizáveis.

Qualquer usuário que tenha acesso a essas tabelas pode exibir metadados em todos os experimentos MLflow para todos os espaços de trabalho na conta. Para configurar o acesso à tabela para um determinado grupo em vez de usuários individuais, consulte Práticas recomendadas do Catálogo Unity.

Se você precisar de um controle mais refinado do que conceder a todos os usuários acesso à tabela, poderá usar exibições dinâmicas com critérios personalizados para conceder determinado acesso aos grupos. Por exemplo, você pode criar um modo de exibição que mostre apenas registros de um determinado conjunto de IDs de experimento. Depois de configurar um modo de exibição personalizado, dê o nome do modo de exibição aos usuários para que eles possam consultar o modo de exibição dinâmico em vez da tabela do sistema diretamente.

Exemplos de casos de uso de metadados MLflow

As seções a seguir fornecem exemplos de como você pode usar as tabelas do sistema MLflow para responder a perguntas sobre seus experimentos e execuções MLflow.

Configurar um alerta SQL para baixa confiabilidade do experimento

Usando alertas SQL do Databricks (Visualização Pública), você pode agendar uma consulta recorrente regularmente e ser notificado se determinadas restrições não forem mais atendidas.

Este exemplo cria um alerta que examina os experimentos executados com mais freqüência em seu espaço de trabalho para determinar se eles estão tendo baixa confiabilidade e podem precisar de atenção especial. A consulta usa a runs_latest tabela para calcular as execuções por experimento marcadas como concluídas, divididas pelo número total de execuções.

1. Clique em Alertas na barra lateral e clique em Criar alerta.

2. Copie e cole a seguinte consulta no editor de consultas.

    SELECT
      experiment_id,
      AVG(CASE WHEN status = 'FINISHED' THEN 1.0 ELSE 0.0 END) AS success_ratio,
      COUNT(status) AS run_count
    FROM system.mlflow.runs_latest
    WHERE status IS NOT NULL
    GROUP BY experiment_id
    ORDER BY run_count DESC
    LIMIT 20;
   

3. No campo Condição , defina as condições como MIN success_ratio < 0.9. Isso acionará o alerta se algum dos 20 principais experimentos (por número de execuções) tiver uma taxa de sucesso inferior a 90%.

Além disso, você pode testar a condição, definir uma programação e configurar notificações. Para obter mais informações sobre como configurar o alerta, consulte Configurando um alerta SQL. Abaixo está um exemplo de configuração usando a consulta.

Exemplos de consultas

Você pode usar as seguintes consultas de exemplo para obter informações sobre a atividade MLflow em sua conta usando o Databricks SQL. Você também pode aproveitar ferramentas como notebooks Python com o Spark.

Obter informações de execução de runs_latest

SELECT
  run_name,
  date(start_time) AS start_date,
  status,
  TIMESTAMPDIFF(MINUTE, start_time, end_time) AS run_length_minutes
FROM system.mlflow.runs_latest
WHERE
  experiment_id = :experiment_id
  AND run_id = :run_id
LIMIT 1

Isso retorna informações sobre a execução dada:

Obtenha informações experimentais e executadas de experiments_latest e runs_latest

SELECT
  runs.run_name,
  experiments.name,
  date(runs.start_time) AS start_date,
  runs.status,
  TIMESTAMPDIFF(MINUTE, runs.start_time, runs.end_time) AS run_length_minutes
FROM system.mlflow.runs_latest runs
  JOIN system.mlflow.experiments_latest experiments ON runs.experiment_id = experiments.experiment_id
  WHERE
    runs.experiment_id = :experiment_id
    AND runs.run_id = :run_id
LIMIT 1

Obtenha estatísticas resumidas para uma determinada execução a partir de run_metrics_history

SELECT
  metric_name,
  count(metric_time) AS num_data_points,
  ROUND(avg(metric_value), 1) AS avg,
  ROUND(max(metric_value), 1) AS max,
  ROUND(min(metric_value), 1) AS min,
  ROUND(PERCENTILE_CONT(0.25) WITHIN GROUP (ORDER BY metric_value), 1) AS pct_25,
  ROUND(PERCENTILE_CONT(0.5) WITHIN GROUP (ORDER BY metric_value), 1) AS median,
  ROUND(PERCENTILE_CONT(0.75) WITHIN GROUP (ORDER BY metric_value), 1) AS pct_75
FROM
  system.mlflow.run_metrics_history
WHERE
  run_id = :run_id
GROUP BY
  metric_name, run_id
LIMIT 100

Isso retorna um resumo das métricas para o dado run_id:

Painéis para experimentos e execuções

Você pode criar painéis sobre os dados das tabelas do sistema MLflow para analisar seus experimentos MLflow e execuções a partir de todo o espaço de trabalho.

Para obter mais detalhes, consulte Criar painéis com metadados MLflow em tabelas do sistema