Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Esta seção contém referência e instruções para desenvolvedores de pipeline.
O carregamento de dados e as transformações são implementados em pipelines por consultas que definem tabelas de fluxo e visões materializadas. Para implementar essas consultas, o Lakeflow Spark Declarative Pipelines dá suporte a interfaces SQL e Python. Como essas interfaces fornecem funcionalidade equivalente para a maioria dos casos de uso de processamento de dados, os desenvolvedores de pipeline podem escolher a interface com a qual estão mais confortáveis.
Desenvolvimento do Python
Crie pipelines usando o código do Python.
| Tópico | Description |
|---|---|
| Desenvolver código de pipeline com Python | Uma visão geral do desenvolvimento de pipelines no Python. |
| Referência da linguagem Python do Lakeflow Spark Declarative Pipelines | Documentação de referência do Python para o pipelines módulo. |
| Gerenciar dependências do Python para pipelines | Instruções para gerenciar bibliotecas do Python em pipelines. |
| Importar módulos python de pastas git ou arquivos de workspace | Instruções para usar módulos python armazenados no Azure Databricks. |
Desenvolvimento do SQL
Crie pipelines usando o código SQL.
| Tópico | Description |
|---|---|
| Desenvolver código do Lakeflow Spark Declarative Pipelines com SQL | Uma visão geral do desenvolvimento de pipelines no SQL. |
| Referência da linguagem SQL do pipeline | Documentação de referência sobre a sintaxe SQL para pipelines declarativos do Lakeflow Spark. |
| Usar pipelines no DATAbricks SQL | Use o DATAbricks SQL para trabalhar com pipelines. |
Outros tópicos de desenvolvimento
Os tópicos a seguir descrevem outras maneiras de desenvolver pipelines.
| Tópico | Description |
|---|---|
| Converter um pipeline em um projeto do Pacote de Ativos Databricks | Converta um pipeline existente em um pacote, o que permite que você gerencie sua configuração de processamento de dados em um arquivo YAML controlado pela origem para facilitar a manutenção e implantações automatizadas em ambientes de destino. |
| Criar pipelines com dlt-meta | Use a biblioteca de software livre dlt-meta para automatizar a criação de pipelines com uma estrutura orientada por metadados. |
| Desenvolver código de pipeline em seu ambiente de desenvolvimento local | Uma visão geral das opções para desenvolver pipelines localmente. |