Versão DLT 2022.49

6 de dezembro a 9 de 2022

Esses recursos e melhorias foram lançados com a versão 2022.49 do DLT.

Versões do Databricks Runtime usadas por esta versão

Canal:

• CURRENT (padrão): Databricks Runtime 11.0.11
• VERSÃO PRÉVIA: Databricks Runtime 11.3.2

Novos recursos e melhorias nesta versão

• Agora você pode importar arquivos de uma pasta Git do Databricks como módulos do Python. Você pode importar arquivos do caminho de repositório atual ou de um caminho de repositório especificado usando sys.path.append().

• O dimensionamento automático aprimorado agora está disponível em geral. Com essa versão, o dimensionamento automático aprimorado é o modo de dimensionamento automático padrão para novos pipelines criados na interface do usuário. O Databricks recomenda atualizar os pipelines que utilizam o dimensionamento automático de cluster existente para o dimensionamento automático aprimorado.

• Para pipelines executados no modo contínuo, o limite de repetição padrão agora é 2 quando ocorrem falhas retíveis. Incluindo a tentativa original, todos os fluxos têm três tentativas (com retardo exponencial) para serem executados quando ocorrem falhas não fatais. Anteriormente, os padrões eram tentativas ilimitadas para fluxos em lotes e cinco tentativas para fluxos contínuos.

• O parâmetro de configuração pipelines.maxFlowRetryAttempts agora se aplica ao limite de tentativas para todos os tipos de fluxo, incluindo fluxos em lote e de streaming, além de pipelines contínuos ou acionados. Anteriormente, pipelines.maxFlowRetryAttempts aplicava-se a todos os limites de repetição no modo disparado, mas apenas aos fluxos de lote no modo contínuo; as repetições para pipelines de streaming no modo contínuo eram controladas por pipelines.numStreamRetryAttempts. Para pipelines existentes, pipelines.numStreamRetryAttempts mantém suporte para fluxos de streaming no modo contínuo. Se ambos pipelines.numStreamRetryAttempts e pipelines.maxFlowRetryAttempts estiverem definidos, pipelines.numStreamRetryAttempts tem prioridade para fluxos de streaming no modo contínuo. Caso contrário, o valor configurado para pipelines.maxFlowRetryAttempts será usado. Consulte a referência de propriedades do Pipeline.

Correções de bug nesta versão

• Esta versão corrige um bug que fazia com que cálculos incorretos de DBU por hora fossem exibidos para clusters habilitados para Photon.

• Esta versão corrige um bug que faz com que as tarefas de manutenção DLT falhem em workspaces com o Unity Catalog habilitado.

• Essa versão corrige um bug em que parar ou reiniciar um pipeline contínuo que ingere dados com o Carregador Automático faz com que o pipeline fique travado por vários minutos.