Março de 2022

Esses recursos e aprimoramentos da plataforma Azure Databricks foram lançados em março de 2022.

Melhor desempenho e custo para seus pipelines DLT com dimensionamento automático aprimorado do Databricks

31 de março de 2022

O dimensionamento automático aprimorado do Databricks melhora a funcionalidade de dimensionamento automático de cluster existente adicionando otimizações de carga de trabalho de streaming e suporte aprimorado para cargas de trabalho em lote. As melhorias aprimoradas de dimensionamento automático fornecem utilização de cluster mais eficiente, uso reduzido de recursos e menor custo. Consulte Otimize a utilização do cluster de Pipelines Declarativos do Lakeflow Spark com Dimensionamento Automático.

Arquivos no Repos habilitados por padrão em novos workspaces

30 de março de 2022

O recurso Arquivos no Repos agora está habilitado por padrão em workspaces recém-criados.

O Repositório de Recursos do Databricks está em disponibilidade geral

22 de março de 2022

O Repositório de Recursos do Databricks está em disponibilidade geral. O Repositório de Recursos do Databricks permite o compartilhamento e a descoberta de recursos na organização e também garante que um código de computação de recursos consistente seja usado para treinamento e inferência de modelo.

Compartilhar um experimento da página de experimentos

21 a 28 de março de 2022: versão 3.68

O botão Permissões na página de experimento do MLflow foi renomeado como Compartilhamento. A caixa de diálogo agora inclui um link compartilhável para o experimento. Consulte Alterar permissões para um experimento.

Correção de bug do RStudio Workbench

21 a 28 de março de 2022: versão 3.68

O RStudio Workbench mais recente depende de cookies quando você usa um arquivo de licença. Esses cookies não foram incluídos na lista de permitidos para proxy. Esse problema foi corrigido.

Novas opções de idioma do espaço de trabalho

21 de março de 2022

Os espaços de trabalho agora estão disponíveis nos idiomas a seguir:

• Español
• Português (Brasil)

O Databricks Runtime 10.4 LTS e o 10.4 LTS ML estão em disponibilidade geral; o 10.4 Photon está em Visualização Pública

18 de março de 2022

O Databricks Runtime 10.4 LTS e o Databricks Runtime 10.4 LTS ML estão disponíveis ao público em geral. O Databricks Runtime 10.4 Photon está em Versão Prévia Pública.

Consulte Databricks Runtime 10.4 LTS (EoS) e Databricks Runtime 10.4 LTS for Machine Learning (EoS).

O Catálogo do Unity está disponível em Visualização Pública

10 de março de 2022

O Catálogo do Unity (versão prévia) é uma solução de administração refinada para dados e IA no Databricks lakehouse.

O Catálogo do Unity ajuda a simplificar a segurança e a governança dos seus dados com os seguintes recursos principais:

• Defina uma vez, proteja em todos os lugares: o Catálogo do Unity oferece um único local para administrar políticas de acesso a dados que se aplicam a todos os workspaces e personas.
• Modelo de segurança compatível com padrões: o modelo de segurança do Catálogo do Unity é baseado no SQL ANSI padrão e permite que os administradores concedam permissões no nível de catálogos, bancos de dados (também chamados de esquemas), tabelas e exibições em seu data lake existente usando sintaxe familiar.
• Auditoria interna: o Catálogo do Unity captura automaticamente os logs de auditoria de nível do usuário que registram o acesso aos seus dados.

É possível acessar os dados no Catálogo do Unity da mesma maneira que você acessa os dados locais de um workspace: por meio de um cluster de Engenharia e Ciência de Dados ou do Databricks Mosaic AI, de um warehouse SQL, do editor do Databricks SQL, da API REST do Catálogo do Unity ou da CLI (interface de linha de comando) do Catálogo do Unity.

Para obter mais informações, consulte O que é um Catálogo do Unity?. Para participar da visualização pública do Catálogo do Unity, contate a equipe da sua conta do Azure Databricks.

O Delta Sharing está disponível em Visualização Pública

10 de março de 2022

O Delta Sharing (versão prévia) é um protocolo aberto desenvolvido pelo Databricks para proteger o compartilhamento de dados com outras organizações, independentemente das plataformas de computação usadas. Um usuário do Databricks, chamado de “provedor de dados”, pode usar o Delta Sharing para compartilhar dados em um metastore do Catálogo do Unity com uma pessoa ou um grupo fora da organização, chamado de “destinatário de dados”. Os destinatários de dados podem começar a trabalhar imediatamente com a última versão dos dados compartilhados. Para obter uma lista completa de conectores e informações sobre como usá-los, confira a documentação do projeto Delta Sharing. Quando o Delta Sharing está habilitado em um metastore do Catálogo do Unity, o Catálogo do Unity executa um servidor do Delta Sharing.

Para obter mais informações, confira O que é o Delta Sharing?. Para participar da visualização pública do Compartilhamento Delta, contate a equipe da sua conta do Azure Databricks.

Girar a chave gerenciada pelo cliente para serviços gerenciados

10 de março de 2022

É possível adicionar uma chave gerenciada pelo cliente (CMK) para serviços gerenciados. O Azure Databricks usa sua chave para proteger e controlar o acesso à chave que criptografa dados no painel de controle para fonte do notebook, segredos e histórico de consultas do Databricks SQL. Esse recurso está em uma versão prévia.

Agora você pode girar (atualizar) a chave.

Controle de acesso aprimorado para pipelines DLT

9 de março de 2022

Agora você tem mais controle sobre o acesso aos pipelines DLT, incluindo o proprietário de um pipeline, quem pode visualizar ou gerenciar o pipeline e quem pode executá-lo. Consulte ACLs de Pipelines Declarativos do Lakeflow Spark.

Testar a funcionalidade de visualização de DLT com a nova configuração channel (Prévia Pública)

7 a 14 de março de 2022: versão 3.67

Você pode testar novos recursos em seus pipelines DLT com a nova configuração channel. Para testar seu pipeline com recursos futuros, defina channel como preview. Para voltar para a versão atual, defina channel como current.

Tratamento de erros aprimorado para funções do Python DLT (versão prévia pública)

7 a 14 de março de 2022: versão 3.67

Esta versão adiciona verificação de tipo para validar que as funções do Python DLT usam o string tipo de dados ao definir nomes e valores para propriedades de tabela. Anteriormente, definir propriedades da tabela usando valores que não são de cadeia de caracteres poderia fazer com que o pipeline falhasse sem uma mensagem de erro indicando a causa subjacente.

Aprimoramentos no Databricks Repos

De 7 a 14 de março de 2022: versão 3.67

Os seguintes aprimoramentos foram feitos no Databricks Repos.

• Pesquisa de texto e substituição em arquivos nos repositórios. O editor de arquivos agora tem os menus Arquivo e Editar que fornecem as opções pesquisar, substituir e substituir todas as funcionalidades.
• Anteriormente, o Databricks recomendava que o número total de notebooks e arquivos em um repositório não excedesse 2.000. Esse limite foi aumentado para 5.000.

Log de diagnósticos para alterações de política de cluster

De 7 a 14 de março de 2022: versão 3.67

Quando o log de auditoria estiver habilitado, agora um evento de auditoria é registrado quando você cria, atualiza ou exclui uma política de cluster, ou quando você atualiza permissões de usuário para uma política de cluster. Para obter mais informações, consulte Referência do log de diagnóstico.

Databricks Runtime 10.4 (Beta)

4 de março de 2022

O Databricks Runtime 10.4, 10.4 Photon e 10.4 ML agora estão disponíveis como versões Beta.

Confira as notas de versão completas em Databricks Runtime 10.4 LTS (EoS) e Databricks Runtime 10.4 LTS para Machine Learning (EoS).