Janeiro de 2018

As versões são disponibilizadas em fases. Talvez sua conta do Azure Databricks só seja atualizada uma semana após a data de lançamento inicial.

Pontos de montagem para contêineres de armazenamento de Blobs do Azure e Data Lake Stores

16 a 23 de janeiro de 2018: Versão 2.63

Fornecemos instruções de montagem de contêineres de armazenamento de Blobs do Azure e Data Lake Stores por meio do DBFS (Sistema de Arquivos do Databricks). Isso permite a todos os usuários no mesmo espaço de trabalho acessar o contêiner de armazenamento de Blobs ou o Data Lake Store (ou pasta no contêiner ou no armazenamento) por meio do ponto de montagem. O DBFS gerencia as credenciais usadas para acessar um contêiner de armazenamento de Blobs ou Data Lake Store montado e manipula automaticamente a autenticação com o armazenamento de Blobs do Azure ou o Data Lake Store em segundo plano.

A montagem de contêineres de armazenamento de Blobs e de Data Lake Stores requer Databricks Runtime 4.0 e superiores. Após a montagem de um contêiner ou repositório, você poderá usar o Runtime 3.4 ou superiores para acessar o ponto de montagem.

Consulte Conectar-se ao Azure Data Lake Storage e ao Blob Storage para obter mais informações.

Tags de cluster

4 a 11 de janeiro de 2018: Versão 2.62

Agora você pode especificar marcas de cluster que serão propagadas para todos os recursos do Azure (VMs, discos, NICs etc.) associadas a um cluster. Além das marcas fornecidas pelo usuário, os recursos serão automaticamente marcados com o nome do cluster, a ID do cluster e o nome de usuário do criador do cluster.

Para obter mais informações, consulteMarcações.

Controle de acesso de tabela para SQL e Python (Versão prévia privada)

4 a 11 de janeiro de 2018: Versão 2.62

No ano passado, introduzimos o controle de acesso de objeto de dados para usuários do SQL. Hoje, temos o prazer de anunciar a versão prévia privada do ACL (Controle de Acesso à Tabela) para usuários do SQL e do Python. Com o Controle de Acesso à Tabela, você pode restringir o acesso a objetos protegíveis, como tabelas, bancos de dados, exibições ou funções. Pode também fornecer controle de acesso refinado (para linhas e colunas que correspondam a condições específicas, por exemplo), definindo permissões em exibições derivadas que contenham consultas arbitrárias.

Confira Privilégios e objetos protegidos do metastore do Hive (herdados) para mais informações.

Exportando resultados de execução de trabalho de bloco de anotações via API

4 a 11 de janeiro de 2018: Versão 2.62

Para aprimorar sua capacidade de compartilhar e colaborar nos resultados dos trabalhos, agora oferecemos um novo endpoint da API de Trabalhos, jobs/runs/export que permite recuperar a representação HTML estática dos resultados de execução de um trabalho de notebook, tanto no modo de exibição de código quanto no de painel.

Consulte Exportação de execuções para obter mais informações.

O Apache Flow 1.9.0 inclui a integração do Databricks

2 de janeiro de 2018

No ano passado, lançamos a versão prévia de um recurso no Airflow (solução popular de gerenciamento de agendamento de ETL) que permite que os clientes criem nativamente tarefas que disparam execuções do Databricks em um DAG do Airflow. Temos o prazer de anunciar que essas integrações foram lançadas publicamente na versão 1.9.0 do Airflow.

Consulte Orchestrate Lakeflow Jobs com o Apache Airflow para obter mais informações.