Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Você pode criar o código-fonte do pipeline do Python em seu IDE (ambiente de desenvolvimento integrado) preferencial.
Você não pode validar ou executar atualizações no código de pipeline escrito em um IDE. Você deve implantar arquivos de código-fonte novamente em um workspace do Azure Databricks e configurá-los como parte de um pipeline.
Este artigo fornece uma visão geral do suporte para o desenvolvimento de IDE local. Para desenvolvimento e teste mais interativos, o Databricks recomenda usar o Editor de Pipelines do Lakeflow. Confira Desenvolver e depurar pipelines de ETL com o Editor do Lakeflow Pipelines.
Configurar um IDE local para desenvolvimento de pipeline
O Databricks fornece um módulo Python para desenvolvimento local distribuído por meio do PyPI. Para obter instruções de instalação e uso, consulte o stub do Python para DLT.
Este módulo possui as interfaces e referências de docstrings para a interface Python do pipeline, oferecendo verificação de sintaxe, preenchimento automático e checagem de tipo de dados enquanto você escreve código em seu IDE.
Este módulo inclui interfaces, mas nenhuma implementação funcional. Você não pode usar essa biblioteca para criar ou executar pipelines localmente.
Você pode usar os Pacotes de Ativos do Databricks para empacotar e implantar o código-fonte e as configurações em um workspace de destino e disparar a execução de uma atualização em um pipeline configurado dessa forma. Consulte Converter um pipeline em um projeto do Pacote de Ativos do Databricks.
A extensão do Databricks para Visual Studio Code tem funcionalidade adicional para trabalhar com pipelines usando pacotes de ativos do Databricks. Confira Gerenciador de Recursos do Pacote.
Sincronizar código de pipeline do seu IDE para um workspace
A tabela a seguir resume as opções para sincronizar o código-fonte do pipeline entre o IDE local e um workspace do Azure Databricks:
| Ferramenta ou padrão | Detalhes |
|---|---|
| Pacotes de ativos do Databricks | Use os Pacotes de Ativos do Databricks para implantar ativos de pipeline que variam em complexidade, desde um único arquivo de código-fonte até configurações para vários pipelines, trabalhos e arquivos de código-fonte. Consulte Converter um pipeline em um projeto do Pacote de Ativos do Databricks. |
| Extensão do Databricks para Visual Studio Code | O Azure Databricks fornece uma integração com o Visual Studio Code que inclui a fácil sincronização entre o IDE local e os arquivos de workspace. Essa extensão também fornece ferramentas para usar pacotes de ativos do Databricks para implantar ativos de pipelines. Confira O que é a extensão do Databricks para Visual Studio Code?. |
| Arquivos de espaço de trabalho | Você pode usar arquivos da área de trabalho do Databricks para fazer upload do código-fonte do seu pipeline para o espaço de trabalho do Databricks e, em seguida, importar esse código para um pipeline. Veja o que são arquivos de workspace?. |
| Pastas do Git | As pastas git permitem sincronizar o código entre seu ambiente local e o workspace do Azure Databricks usando um repositório Git como intermediário. Consulte as pastas git do Azure Databricks. |