Nota
O acesso a esta página requer autorização. Podes tentar iniciar sessão ou mudar de diretório.
O acesso a esta página requer autorização. Podes tentar mudar de diretório.
Lakeflow Spark Declarative Pipelines (SDP) é uma estrutura para criar pipelines de dados em lote e streaming em SQL e Python. O Lakeflow SDP se estende e é interoperável com o Apache Spark Declarative Pipelines, enquanto é executado no Databricks Runtime com desempenho otimizado. Os casos de uso comuns para pipelines incluem ingestão de dados de fontes como armazenamento em nuvem (como Amazon S3, Azure ADLS Gen2 e Google Cloud Storage) e barramentos de mensagens (como Apache Kafka, Amazon Kinesis, Google Pub/Sub, Azure EventHub e Apache Pulsar) e transformações incrementais em lote e streaming.
Observação
Lakeflow Spark Declarative Pipelines requer o plano Premium. Entre em contato com sua equipe de conta Databricks para obter mais informações.
Esta seção fornece informações detalhadas sobre o uso de pipelines. Os tópicos a seguir irão ajudá-lo a começar.
| Tópico | Description |
|---|---|
| Conceitos de Lakeflow Spark Declarative Pipelines | Saiba mais sobre os conceitos de alto nível do SDP, incluindo pipelines, fluxos, tabelas de streaming e exibições materializadas. |
| Tutoriais | Siga os tutoriais para adquirir experiência prática com o uso de pipelines. |
| Desenvolver fluxos de trabalho | Saiba como desenvolver e testar pipelines que criam fluxos para ingestão e transformação de dados. |
| Configurar pipelines | Saiba como agendar e configurar pipelines. |
| Monitorizar pipelines | Saiba como monitorar seus pipelines e solucionar problemas de consultas de pipeline. |
| Desenvolvedores | Saiba como usar Python e SQL ao desenvolver pipelines. |
| Pipelines no Databricks SQL | Saiba mais sobre como usar tabelas de streaming e exibições materializadas no Databricks SQL. |