Aceder ao histórico de consultas para pipelines

Este artigo explica como aceder aos históricos de consulta e perfis de consulta associados aos runs de pipeline. Você pode usar estas informações para executar diagnósticos em consultas, identificar gargalos de desempenho e otimizar execuções da pipeline.

Revisar o histórico de consultas para atualizações no pipeline

Para todos os pipelines de ETL, acionados e contínuos, uma instrução de consulta aparece no histórico de consultas quando as exibições materializadas e as tabelas de streaming são atualizadas. Há uma instrução REFRESH para cada execução de fluxo que atualiza uma tabela de destino. Você pode usar o filtro Computação na página de histórico de consultas para mostrar apenas consultas processadas usando computação de pipeline. Consulte Histórico de consultas para saber mais sobre a interface do usuário do histórico de consultas.

Para aceder aos detalhes da consulta, siga estes passos:

1. Clique no Histórico de consultas na barra lateral.

2. Selecione a opção Lakeflow Spark Declarative Pipelines no filtro suspenso Compute para exibir apenas os pipelines.

   Você também pode filtrar por usuário, hora, status e outros recursos da consulta ou atualização.

3. Clique em uma instrução de consulta para exibir detalhes resumidos, como a duração da consulta e métricas agregadas. Consulte Ver detalhes da consulta.

4. Clique em Ver perfil de consulta para abrir o perfil de consulta. Consulte Perfil de consulta para obter detalhes sobre o perfil de consulta. Você pode abrir o perfil de consulta enquanto o pipeline está em execução ou após a conclusão da execução.

5. Se desejar, use os links na secção Origem da Consulta para abrir a página de monitorização do pipeline relacionada.

Aceder ao histórico de consultas a partir da página de monitorização do pipeline

Na página de monitoramento de pipeline, clique na guia Desempenho na parte inferior da tela para acessar o histórico do pipeline. Você pode exibir o painel de detalhes da consulta e o perfil clicando em uma instrução enquanto o pipeline está em execução ou após a conclusão da execução.

Acessar o histórico de consultas a partir do Lakeflow Pipelines Editor

Ao editar um pipeline, você pode acessar o histórico de consultas na guia Desempenho no painel inferior. Se você selecionar uma tabela primeiro, o histórico de consultas terá como escopo essa tabela.

Cada item na lista corresponde à execução de um fluxo definido no seu código. Há uma instrução por tabela, a menos que vários fluxos gravem na mesma tabela.

• Você pode filtrar esta lista pelo nome do conjunto de dados para encontrar as declarações dos fluxos que escrevem nessa tabela.
• Esta lista mostra até 1.000 declarações. Se o pipeline tiver mais instruções, você poderá clicar em Exibir tudo no histórico de consultas para ver a lista completa de instruções na página Histórico de consultas, filtrada pela ID de execução do pipeline mais recente.
• Por padrão, você pode ver a duração e as métricas de leituras e gravações. Você pode clicar numa REFRESH declaração na lista para visualizar mais métricas e o perfil de execução para o fluxo.
• As métricas e os perfis de consulta estão disponíveis enquanto o pipeline está em execução ou após a conclusão da execução.

Para saber mais sobre os detalhes disponíveis nesta vista, consulte Ver detalhes da consulta.

Limitações

• O provisionamento e o tempo de espera não estão disponíveis.