Acessar o histórico de consultas para pipelines

Este artigo explica como acessar históricos de consulta e perfis de consulta associados a execuções de pipeline. Você pode usar essas informações para depurar as consultas, identificar os gargalos de desempenho e otimizar as execuções de pipeline.

Examinar o histórico de consultas para atualizações de pipeline

Para todos os pipelines ETL, disparados e contínuos, uma instrução de consulta aparece no histórico de consultas quando as exibições materializadas e as tabelas de streaming são atualizadas. Há uma REFRESH instrução para cada execução de fluxo que atualiza uma tabela de destino. Você pode usar o filtro de computação na página de histórico de consultas para mostrar apenas as consultas processadas usando a computação de pipeline. Consulte o histórico de consultas para saber mais sobre a interface do usuário do histórico de consultas.

Para acessar os detalhes da consulta, siga estas etapas:

1. Clique no Histórico de consultas na barra lateral.

2. Selecione a opção Lakeflow Spark Pipelines Declarativos no filtro suspenso Computação para mostrar apenas pipelines.

   Você também pode filtrar por usuário, hora, status e outros recursos da consulta ou atualização.

3. Clique em uma instrução de consulta para exibir detalhes resumidos, como a duração da consulta e as métricas agregadas. Confira exibir detalhes da consulta.

4. Clique em Ver o perfil de consulta para abrir o perfil de consulta. Consulte o perfil de consulta para obter detalhes sobre o perfil de consulta. Você pode abrir o perfil de consulta enquanto o pipeline está em execução ou após a conclusão da execução.

5. Opcionalmente, use os links na seção Origem da Consulta para abrir a página de monitoramento do fluxo de trabalho relacionado.

Acessar o histórico de consultas na página de monitoramento do pipeline

Na página de monitoramento de pipeline, clique na guia Desempenho próximo à parte inferior da tela para acessar o histórico do pipeline. Você pode exibir o painel de detalhes da consulta e o perfil clicando em uma instrução enquanto o pipeline está em execução ou após a conclusão da execução.

Acesse o histórico de consultas no Editor do Lakeflow Pipelines

Ao editar um pipeline, você pode acessar o histórico de consultas na guia Desempenho no painel inferior. Se você selecionar uma tabela inicialmente, o histórico de consultas será focado nessa tabela.

Cada item na lista corresponde à execução de um fluxo definido em seu código. Há uma instrução por tabela, a menos que vários fluxos sejam gravados na mesma tabela.

• Você pode filtrar esta lista pelo nome do conjunto de dados para localizar as declarações para fluxos que escrevem nessa tabela.
• Esta lista mostra até 1.000 declarações. Se o pipeline tiver mais instruções, você poderá clicar em Exibir tudo no histórico de consultas para ver a lista completa de instruções na página histórico de consultas, filtrada pela ID de execução do Pipeline mais recente.
• Por padrão, você pode ver a duração e as métricas para leituras e gravações. Você pode clicar em uma REFRESH instrução na lista para exibir mais métricas e o perfil de consulta para o fluxo.
• As métricas e os perfis de consulta estão disponíveis enquanto o pipeline está em execução ou após a conclusão da execução.

Para saber mais sobre os detalhes disponíveis nesta exibição, confira Exibir detalhes da consulta.

Limitações

• O tempo de provisionamento e enfileiramento não está disponível.