Julho de 2023

Esses recursos e aprimoramentos da plataforma Azure Databricks foram lançados em julho de 2023.

Os administradores do espaço de trabalho agora podem criar grupos de contas

31 de julho de 2023

Agora, os administradores do workspace podem criar grupos de contas pelos seus workspaces federados de identidade. Anteriormente, os administradores do workspace podiam criar apenas grupos locais de workspace. Os grupos de contas podem ter acesso aos dados em um metastore do Catálogo do Unity e acesso aos espaços de trabalho federados por identidade. O Databricks recomenda que você use grupos de contas em vez de grupos locais de espaço de trabalho para aproveitar o Catálogo Unity e um local central para administrar a identidade.

Confira Gerenciar grupos.

A função de gerente de grupo está na Visualização Pública

31 de julho de 2023

Agora você pode conceder permissões a usuários, entidades de serviço e grupos do Databricks para gerenciar grupos. Os gerentes de grupo podem gerenciar a associação ao grupo. Eles também podem atribuir a outros usuários a função de gerente de grupo. Os administradores da conta têm a função de gerente de grupo em todos os grupos da conta. Os administradores do espaço de trabalho têm a função de gerente de grupo nos grupos de contas que eles criam.

Veja quem pode gerenciar grupos?.

CLI do Databricks atualizada para a versão 0.202.0 (Versão Prévia Pública)

27 de julho de 2023

A interface de linha de comando do Databricks (CLI do Databricks) foi atualizada para a versão 0.202.0. Para obter detalhes, consulte o log de alterações da versão 0.202.0.

Databricks SDK para Python atualizado para a versão 0.3.0 (Beta)

27 de julho de 2023

O SDK do Databricks para Python versão 0.3.0 apresenta suporte para o serviço política de rede de conta; manipula parâmetros de consulta aninhados; adiciona, remove e cria vários métodos, campos, dataclasses e serviços; e muito mais. Para obter detalhes, consulte o registro de alterações da versão 0.3.0.

Databricks SDK for Go atualizado para a versão 0.14.1 (Beta)

27 de julho de 2023

O SDK do Databricks para Go versão 0.14.1 manipula parâmetros de consulta aninhados adequadamente, corrigindo a filtragem nas listagens do QueryHistory. Para obter detalhes, consulte o registro de alterações da versão 0.14.1.

Databricks SDK para Go atualizado para a versão 0.14.0 (Beta)

26 de julho de 2023

O SDK do Databricks para Go versão 0.14.0 adiciona suporte para o serviço de Política de Rede de Conta e adiciona, remove e altera vários métodos, campos e tipos. Para obter detalhes, consulte o registro de alterações da versão 0.14.0.

Executar outro trabalho como uma tarefa em um trabalho do Azure Databricks

25 de julho de 2023

Você pode usar a nova tarefa Run Job para adicionar outro trabalho como uma tarefa em seu trabalho do Azure Databricks, permitindo que você decomponha um grande fluxo de trabalho de processamento em vários trabalhos de componente ou crie componentes reutilizáveis para usar em vários trabalhos. Para obter informações sobre como usar a tarefa na interface do usuário de Trabalhos, consulte Trabalhos do Lakeflow. Para obter informações sobre como usar a tarefa com a API REST de Trabalhos, consulte Trabalhos na referência da API REST 2.1 ou na referência da API de Trabalhos 2.0.

A atualização de rede do espaço de trabalho obtém suporte à interface do usuário (GA)

24 de julho de 2023

Anteriormente, você podia usar um modelo do ARM com a linha de comando ou o portal do Azure para habilitar a conectividade segura do cluster ou habilitar o Link Privado do Azure.

Agora você também pode usar a interface do usuário do portal do Azure (sem modelo) para atualizações de rede diretamente em sua instância de espaço de trabalho do Azure Databricks. Ambos os tipos de atualizações de rede estão agora disponíveis para o público em geral.

Todos os usuários podem acessar produtos de dados no Databricks Marketplace por padrão

24 de julho de 2023

A partir de 24 de julho e implementando gradualmente em todos os espaços de trabalho qualificados, todos os usuários poderão instalar conjuntos de dados gratuitos ou comprados anteriormente usando o Databricks Marketplace. Isso é possível concedendo o privilégio USE MARKETPLACE ASSETS a todos os usuários em todos os metastores do Catálogo Unity. Esse novo privilégio não tem impacto de custo, já que todas as transações do Marketplace ocorrem fora do Databricks. Se você quiser desabilitar o acesso, confira Desabilitar o acesso ao Marketplace.

Modo de atalhos de teclado clássico

21 de julho de 2023

Uma nova configuração permite que você use recursos do novo editor (como preenchimento automático enquanto digita, realce de sintaxe, formatação de código e muito mais), mantendo os mesmos atalhos de teclado familiares do editor anterior. Para acessar essa configuração, abra a configuração do editor e alterne o modo de atalhos do editor do Notebook para Clássico (Espelho de Código).

A Federação Lakehouse permite executar consultas em provedores de banco de dados externos (Visualização Pública)

21 de julho de 2023

A Lakehouse Federation é a plataforma de federação de consultas do Azure Databricks, aproveitando o Catálogo do Unity para permitir que usuários e sistemas executem consultas em várias fontes de dados externas sem a necessidade de migrar todos os dados para um sistema unificado.

A Lakehouse Federation destina-se a casos de uso como:

• Relatórios ad hoc.
• Trabalho de prova de conceito.
• A fase exploratória de novos pipelines ou relatórios de ETL.
• Suporte para cargas de trabalho durante a migração incremental.

Em cada um desses cenários, a federação de consulta faz com que você obtenha insights de forma mais rápida, pois você pode consultar os dados no local e evitar processamento complexo e demorado de ETL. Além disso, você obtém as vantagens das interfaces do Catálogo do Unity e da governança de dados, incluindo controle de acesso refinado, linhagem de dados e pesquisa.

Veja o que é a Federação Lakehouse?

Mover para a lixeira habilitada para Repositórios

19 de julho de 2023

A exclusão de repositórios agora funciona da mesma forma que excluir outros ativos de espaço de trabalho. Na lista Repos, clique com o botão direito do mouse no nome do repositório e selecione Mover para Lixeira. Após 30 dias, a pasta Lixeira é excluída automaticamente permanentemente.

Consulte Excluir um objeto.

Criar alertas para trabalhos lentos ou bloqueados

18 de julho de 2023

Agora você pode configurar uma duração esperada para um trabalho ou tarefa de trabalho do Azure Databricks e adicionar notificações se um trabalho ou tarefa exceder a duração esperada. Esse recurso permite que você receba alertas para trabalhos de execução lenta sem que a execução seja cancelada. Para configurar uma duração esperada na interface de trabalhos do usuário do Azure Databricks, consulte Configurar limites para a duração esperada da execução de um trabalho ou as métricas de backlog de streaming. Para configurar a duração esperada com a API Jobs 2.1, consulte Trabalhos na referência da API REST.

Databricks SDK for Go atualizado para a versão 0.13.0 (Beta)

18 de julho de 2023

O SDK do Databricks para Go versão 0.13.0 adiciona suporte à autenticação de identidades gerenciadas do Azure para operações no nível da conta, adiciona, altera e remove vários métodos e campos e muito mais. Para obter detalhes, consulte o log de alterações da versão 0.13.0.

Databricks SDK para Python atualizado para a versão 0.2.0 (Beta)

18 de julho de 2023

O SDK do Databricks para Python versão 0.2.0 adiciona uma implementação local de dbutils.widgets, adiciona, altera e remove vários métodos, campos e classes de dados e muito mais. Para obter detalhes, consulte o registro de alterações da versão 0.2.0.

CLI do Databricks atualizada para a versão 0.201.0 (visualização pública)

18 de julho de 2023

A Interface de linha de comando do Databricks (Databricks CLI) versão 0.201.0 melhora a experiência auth login, oferece suporte à conclusão de guias para fazer referência aos perfis de configuração de autenticação do Azure Databricks, faz adições, alterações e remoções de vários grupos de comandos e comandos, e muito mais. Para obter detalhes, consulte o registro de alterações da versão 0.201.0.

Databricks SDK para Python atualizado para a versão 0.2.1 (Beta)

18 de julho de 2023

O SDK do Databricks para Python versão 0.2.1 dá suporte a versões mais antigas do urllib. Para obter detalhes, consulte o registro de alterações da versão 0.2.1.

O Databricks Assistant está em visualização pública

18 de julho de 2023

O Databricks Assistant funciona como um programador de pares baseado em IA para torná-lo mais eficiente ao criar blocos de anotações, consultas e arquivos. Ele pode ajudar você a responder rapidamente a perguntas gerando, otimizando, completando, explicando e corrigindo código e consultas. Consulte as perguntas frequentes do Assistente do Databricks para obter mais informações e obter instruções sobre como habilitar o Assistente.

Desativar usuários e entidades de serviço da sua conta

13 de julho de 2023

Agora você pode desativar usuários e entidades de serviço de sua conta do Azure Databricks. Um usuário desativado não pode fazer logon na conta do Azure Databricks ou nos espaços de trabalho federados de identidade. No entanto, todas as permissões e objetos de workspace do usuário permanecem inalterados. Para obter mais informações, consulte Desativar um usuário e desativar uma entidade de serviço.

O provisionamento SCIM em nível de conta agora desativa os usuários quando eles são desativados no provedor de identidade

13 de julho de 2023

O provisionamento SCIM em nível de conta agora desativa os usuários quando eles são desativados em seu provedor de identidade. Anteriormente, quando um usuário era desativado em um provedor de identidade, o provisionamento SCIM no nível da conta o excluía da conta do Azure Databricks. Para obter mais informações, consulte Sincronizar usuários e grupos da ID do Microsoft Entra usando o SCIM e desativar um usuário.

Acesso de administrador do diretório da Lixeira

13 de julho de 2023

Os administradores do workspace agora podem acessar os diretórios de lixo de outros usuários.

A prevenção da detecção do tipo MIME e a renderização da página de ataque XSS agora estão sempre ativadas

12 de julho de 2023

O Azure Databricks reduz o risco de detecção de tipo MIME e renderização de página de ataque XSS adicionando cabeçalhos HTTP apropriados. Esses recursos eram habilitados por padrão e anteriormente podiam ser desabilitados. Para melhorar a segurança, o Azure Databricks agora sempre habilita ambos os recursos e não há mais configurações de administrador de espaço de trabalho para desabilitá-los. Para espaços de trabalho que anteriormente desabilitavam um ou ambos os recursos, ambos os recursos agora estão habilitados.

Os volumes do Catálogo do Unity estão em Visualização Pública

12 de julho de 2023

Agora você pode usar volumes no Catálogo do Unity para gerenciar o acesso a locais de armazenamento de objetos na nuvem no Databricks Runtime 13.2 e superior. Os volumes fornecem recursos para acessar, armazenar, controlar e organizar arquivos. Consulte O que são volumes do Catálogo do Unity?.

Experiência simplificada para enviar comentários sobre produtos do espaço de trabalho

11 de julho de 2023

Agora é mais fácil enviar comentários do produto do seu workspace. Você pode enviar comentários e anexar capturas de tela com menos etapas e sem sair da interface do usuário do espaço de trabalho. Para obter mais informações, consulte Enviar comentários sobre o produto.

Extensão do Databricks para Visual Studio Code atualizada para a versão 1.1.0

10 de julho de 2023

A extensão do Databricks para Visual Studio Code versão 1.1.0 permite a integração do Databricks Connect por padrão, adiciona recursos experimentais para notebooks Jupyter e muito mais. Para obter detalhes, consulte o registro de alterações da versão 1.1.0.

Funções agora exibidas no Explorador do Catálogo (Visualização Pública)

10 de julho de 2023

As funções definidas pelo usuário do SQL e do Python agora estão visíveis no Catalog Explorer. Você pode exibir detalhes da função e gerenciar permissões usando essa nova interface do usuário.

Provedor do Terraform do Databricks atualizado para a versão 1.21.0

7 de julho de 2023

O Provedor Terraform do Databricks versão 1.21.0 adiciona suporte para assinaturas nos painéis e tarefas SQL de alerta no databricks_job, define utilitários de dados genéricos do Azure Databricks para definir fontes de dados no nível de conta e espaço de trabalho, e muito mais. Para obter detalhes, consulte o registro de alterações da versão 1.21.0.

O deslocamento máximo para as solicitações de API List all jobs e List job runs agora é limitado

6 de julho de 2023

O deslocamento máximo que você pode especificar nas solicitações List all jobs e List job runs na API de Trabalhos agora é limitado. Para evitar esse limite ao usar essas solicitações, use a paginação baseada em token que não tem esse limite. Consulte GET /api/2.1/jobs/list e GET /api/2.1/jobs/runs/list na referência da API REST.

Databricks Runtime 13.2 é GA

6 de julho de 2023

O Databricks Runtime 13.2 e o Databricks Runtime 13.2 ML agora estão disponíveis para o público em geral.

Consulte o Databricks Runtime 13.2 (EoS) e o Databricks Runtime 13.2 para Machine Learning (EoS).

O Delta Sharing e o Databricks Marketplace suportam o compartilhamento de exibição (Visualização Pública)

6 de julho de 2023

Agora você pode compartilhar visualizações no Delta Sharing e no Databricks Marketplace. Consulte Adicionar exibições a um compartilhamento.

Scripts de inicialização no DBFS chegam ao fim da vida útil em 1º de setembro de 2023

5 de julho de 2023

Em 1º de setembro de 2023, o suporte para scripts de inicialização no DBFS chegará ao fim da vida útil e o recurso não funcionará mais. Armazene scripts de inicialização em arquivos de workspace para garantir que eles continuem funcionando após 1º de setembro de 2023.