Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
O Lakeflow Spark Declarative Pipelines (SDP) é uma estrutura para criar pipelines de dados em modo batch e streaming no SQL e Python. O Lakeflow SDP se estende e é interoperável com os Apache Spark Declarative Pipelines, executando no Databricks Runtime otimizado para desempenho. Casos de uso comuns para pipelines incluem ingestão de dados de fontes como armazenamento em nuvem (como Amazon S3, Azure ADLS Gen2 e Google Cloud Storage) e barramentos de mensagens (como Apache Kafka, Amazon Kinesis, Google Pub/Sub, Azure EventHub e Apache Pulsar) e transformações incrementais de lote e streaming.
Observação
O Lakeflow Spark Declarative Pipelines requer o plano Premium. Entre em contato com sua equipe de conta do Databricks para obter mais informações.
Esta seção fornece informações detalhadas sobre como usar pipelines. Os tópicos a seguir ajudarão você a começar.
| Tópico | Description |
|---|---|
| Conceitos do Lakeflow Spark Declarative Pipelines | Saiba mais sobre os conceitos de alto nível do SDP, incluindo pipelines, fluxos, tabelas de streaming e visões materializadas. |
| Tutoriais | Siga os tutoriais e obtenha experiência prática no uso de pipelines. |
| Desenvolver fluxos de trabalho | Saiba como desenvolver e testar pipelines que criam fluxos para ingerir e transformar dados. |
| Configurar pipelines | Saiba como agendar e configurar pipelines. |
| Monitorar pipelines | Saiba como monitorar seus pipelines e resolver consultas de pipeline. |
| Desenvolvedores | Saiba como usar Python e SQL ao desenvolver pipelines. |
| Pipelines no Databricks SQL | Saiba mais sobre como usar tabelas de streaming e exibições materializadas no Databricks SQL. |