Nota
O acesso a esta página requer autorização. Podes tentar iniciar sessão ou mudar de diretório.
O acesso a esta página requer autorização. Podes tentar mudar de diretório.
Esta seção descreve as características de monitoramento e observabilidade para Lakeflow Spark Declarative Pipelines.
| Tópico | Description |
|---|---|
| Monitorar usando a interface do usuário | Observe o progresso e o status das atualizações de pipeline e notifique sobre sucesso ou falha. Veja métricas para fontes de streaming, como Apache Kafka e Auto Loader. |
| Registo de eventos | Extraia informações detalhadas sobre atualizações de pipeline, como linhagem de dados, métricas de qualidade de dados e uso de recursos usando o log de eventos do pipeline. Além disso, consulte o esquema para o log de eventos. |
| Histórico de consultas | Inspecione e diagnostique o desempenho da consulta examinando o histórico de consultas. |
| Monitorização personalizada | Defina ações personalizadas a serem executadas quando eventos específicos ocorrerem usando ganchos de eventos. |
Além disso, há tópicos de solução de problemas para cenários específicos.
| Tópico | Description |
|---|---|
| Recuperar um pipeline de uma falha no ponto de verificação de streaming | Recupere um pipeline que tenha um ponto de verificação de streaming inválido ou corrompido. |
| Corrigir tempos elevados de inicialização em pipelines | Corrija altos tempos de inicialização para um pipeline dividindo e balanceando a carga de fluxos entre pipelines. |