Como monitorar execuções de pipeline no Microsoft Fabric

Este guia orienta você sobre como acompanhar ou monitorar execuções de pipeline. Se você está apenas curioso sobre como as coisas estão indo ou precisa solucionar problemas específicos, mostraremos como acompanhar o progresso, detectar problemas mais cedo e garantir que tudo esteja funcionando sem problemas. O monitoramento ajuda você a manter o controle para que você possa detectar problemas antes que eles cresçam e mantenham seus fluxos de trabalho no controle.

Monitorar rodadas de pipeline

1. Para monitorar as execuções do pipeline, passe o mouse sobre o pipeline em seu espaço de trabalho. Isso fará com que três pontos apareçam à direita do nome do pipeline.

   

2. Selecione os três pontos para encontrar uma lista de opções. Em seguida, selecione Exibir histórico de execuções. Essa ação abrirá um submenu no lado direito da tela com todas as execuções recentes e os respectivos status.

   

   

3. Selecione Acessar o hub de monitoramento da captura de tela anterior para exibir mais detalhes e filtrar resultados. Utilize o filtro para localizar execuções de pipeline específicas com base em vários critérios.

   

4. Selecione uma das execuções do pipeline para exibir informações detalhadas. Você poderá exibir a aparência do pipeline e exibir mais propriedades, como ID de execução ou erros, se a execução do pipeline falhar.

   

5. Se você tiver mais de 2.000 execuções de atividades nos pipelines, selecione Carregar mais para ver mais resultados na mesma página de monitoramento.

   

   

6. Use o Filtro para filtrar por status de atividade ou Opções de Coluna para editar as colunas visualizadas na exibição de monitoramento.

   

   

   Você também pode pesquisar por nome da atividade, tipo de atividade ou ID de execução da atividade na caixa Filtrar por palavra-chave.

   

   

7. Se você quiser exportar seus dados de monitoramento, selecione Exportar para CSV.

   

8. Para encontrar informações adicionais sobre Entrada e Saída das execuções do pipeline, selecione os links de entrada ou saída à direita da linha relevante em Execuções de Atividade.

9. É possível selecionar Atualizar pipeline para fazer alterações no seu pipeline a partir desta tela. Essa seleção levará você de volta à tela do pipeline.

10. Você também pode executar novamente seu pipeline. Você pode optar por executar novamente todo o pipeline ou apenas reiniciar o pipeline a partir da atividade que falhou.

11. Para exibir detalhes do desempenho, selecione uma atividade na lista de Execuções da Atividade. Os detalhes de desempenho são exibidos.

Mais detalhes podem ser encontrados em Detalhamento de duração e Avançado.

Exibição de Gantt

Mudar para a visualização de Gantt oferece uma maneira clara e visual de rastrear suas execuções de pipeline ao longo do tempo. Cada execução aparece como uma barra, agrupada pelo nome do pipeline e o comprimento da barra mostra quanto tempo a execução levou. É uma ótima maneira de detectar padrões, comparar durações e ver rapidamente o que está sendo executado quando. Essa exibição facilita o monitoramento para que você possa detectar atrasos, sobreposições ou qualquer coisa incomum em um relance.

O comprimento da barra está relacionado à duração do pipeline. Você também pode selecionar a barra para ver mais detalhes.

Monitoramento de workspace para pipelines

O Monitoramento do Workspace fornece visibilidade em nível de log para todos os itens em um workspace, incluindo pipelines.

1. Para habilitar o Monitoramento do Workspace, vá para As Configurações do Workspace no Workspace do Fabric e selecione Monitoramento.

2. Adicione um Eventhouse de Monitoramento e ative a atividade do workspace do Log. O Fabric cria um banco de dados KQL dentro do Eventhouse no seu ambiente de trabalho para armazenar logs.

   

3. Navegue até o banco de dados KQL criado. Você pode encontrá-lo no link do banco de dados de monitoramento nas configurações de monitoramento ou encontrar o banco de dados em seu espaço de trabalho.

   

4. No banco de dados KQL, a tabela ItemJobEventLogs captura eventos no nível do pipeline que ocorrem em seu workspace (chamamos esse monitoramento L1). Os logs incluem nome do pipeline, status de execução, carimbos de data/hora e diagnóstico do sistema.

   

Use consultas KQL na Central de Eventos de Monitoramento para analisar:

• Tendências de sucesso/falha
• Métricas de desempenho
• Detalhes do erro para solução de problemas

Conteúdo relacionado

• Início Rápido: Criar seu primeiro pipeline para copiar dados
• Início Rápido: como criar seus primeiros fluxos de dados Gen2 para obter e transformar dados