Notas de versão do Databricks SQL 2021

A seguir, descrevemos as melhorias e atualizações no Databricks SQL de janeiro a dezembro de 2021.

15 de dezembro de 2021

• Databricks SQL está geralmente disponível. Isso representa um marco importante no fornecimento da primeira plataforma lakehouse que unifica cargas de trabalho de dados, IA e BI em um só lugar. Com o GA, você pode esperar o mais alto nível de estabilidade, suporte e prontidão empresarial do Databricks para cargas de trabalho de missão crítica. Leia o blog de anúncios GA para saber mais.
• Os alertas agora são agendados independentemente das consultas. Quando você cria um novo alerta e cria uma consulta, você também é solicitado a criar uma agenda para o alerta. Se tinhas um alerta existente, duplicámos o cronograma da consulta de dados original. Essa alteração também permite definir alertas para as consultas Executar como Proprietário e Executar como Visualizador. Executar como Proprietário As consultas são executadas na agenda de alerta designada com a credencial do proprietário da consulta. As consultas de Executar como Visualizador são executadas na agenda de alerta designada com a credencial do criador do alerta. Consulte Alertas SQL do Databricks e Agendar uma consulta.
• Agora, você pode reordenar parâmetros tanto no editor de SQL quanto nos painéis.
• A documentação para criar visualizações de mapa de calor foi expandida. Veja opções de mapa de calor.

9 de dezembro de 2021

• Ao criar uma visualização de tabela, agora você pode definir a cor da fonte de uma coluna como um valor estático ou um intervalo de valores com base nos valores do campo da coluna. O valor literal é comparado com o limiar. Por exemplo, para colorir resultados cujos valores excedam 500000, crie o limite > 500000, em vez de > 500,000. Ver Formatar condicionalmente cores de coluna.
• Os ícones no navegador de esquema do editor SQL com guias agora permitem-lhe distinguir entre tabelas e visões.

1 de dezembro de 2021

• Agora você pode aplicar parâmetros de configuração SQL no nível do espaço de trabalho. Esses parâmetros se aplicam automaticamente a todos os pontos de extremidade SQL novos e existentes no espaço de trabalho. Consulte Configurar parâmetros SQL.

18 de novembro de 2021

• Ao exibir o histórico de uma consulta, agora você pode filtrar consultas na entidade de serviço que as executou. Consulte Exibir histórico de consultas.

• Agora você pode abrir o editor SQL usando um atalho na barra lateral. Para abrir o editor SQL, clique em Editor SQL.
• Se tiver permissão para criar clusters de Ciência de Dados e Engenharia, agora pode criar endpoints SQL clicando em Criar na barra lateral e clicando em Endpoint SQL.
• Os administradores agora podem transferir a propriedade de uma consulta, painel ou alerta para um usuário diferente por meio da interface do usuário. Veja:
• Transferir a propriedade de uma consulta
• Transferir a propriedade de um painel herdado
• Transferir a propriedade de um alerta

4 de novembro de 2021

• Numa visualização de Mapa (Choropleth), o número máximo de etapas de gradiente para as cores na legenda foi aumentado de 11 para 20. O padrão é 5 etapas de gradiente, incluindo a cor Min e e a cor Max e.
• O editor SQL com guias agora oferece suporte ao gerenciamento de guias em massa. Se clicar com o botão direito do rato num separador, verá a opção Fechar outros, Fechar à esquerda, Fechar à direita e Fechar tudo. Observe que, se você clicar com o botão direito do mouse na primeira ou na última guia, não verá as opções para Fechar à esquerda ou Fechar à direita.

28 de outubro de 2021

• Ao exibir uma tabela no Gerenciador de Catálogos, você tem duas opções para simplificar a interação com a tabela:
• Clique em Criar > Consulta para criar uma consulta que seleciona todas as colunas e retorna as primeiras 1000 linhas.
• Clique Criar > Painel Rápido para abrir uma página de configuração onde você pode selecionar colunas de interesse e criar um painel e consultas de suporte que fornecem algumas informações básicas usando essas colunas e exibem parâmetros no nível do painel e outros recursos.

19 de outubro de 2021

• Novos atalhos de teclado estão agora disponíveis no editor com abas.
• Abrir novo separador:
  • Janelas: Cmd+Alt+T
  • Mac: Cmd+Option+T
• Fechar separador atual
  • Janelas: Cmd+Alt+W
  • Mac: Cmd+Option+W
• Abrir caixa de diálogo de consulta
  • Janelas: Cmd+Alt+O
  • Mac: Cmd+Option+O

23 de setembro de 2021

• Agora você pode criar um novo painel clonando um painel existente, desde que tenha a permissão PODE EXECUTAR, PODE EDITAR e PODE GERENCIAR no painel e em todas as consultas upstream. Veja Clonar um painel herdado.
• Agora você pode usar GROUP BY em uma visualização com várias colunas do eixo Y. Consulte Gráfico de dispersão.
• Agora você pode usar {{ @@yPercent}} para formatar rótulos de dados em um gráfico de barras empilhadas não normalizado. Consulte Gráfico de barras.
• Se você usar a autenticação SAML e sua credencial SAML expirar dentro de alguns minutos, você será solicitado proativamente a fazer login novamente antes de executar uma consulta ou atualizar um painel. Isso ajuda a evitar interrupções devido a uma credencial que expira durante a execução da consulta.

20 de setembro de 2021

• Agora você pode transferir a propriedade de painéis, consultas e alertas usando a API REST de Permissões. Consulte ACLs de consulta.

16 de setembro de 2021

• Nos resultados da consulta, os resultados BIGINT agora são serializados como strings quando superiores a 9007199254740991. Esta correção resolve um problema onde os resultados BIGINT podiam ser truncados nos resultados da pesquisa. Outros resultados inteiros ainda são serializados como números. A formatação de números nos rótulos dos eixos e nas dicas de ferramentas não se aplica aos resultados BIGINT que estão serializados como cadeias de caracteres. Para obter mais informações sobre tipos de dados no Databricks SQL, consulte BIGINT tipo.

7 de setembro de 2021

A Databricks está implementando as mudanças que se seguem ao longo de uma semana. Seu espaço de trabalho pode não estar habilitado para essas alterações até depois de 7 de setembro.

• O Databricks SQL agora está em Visualização Pública e habilitado para todos os usuários em novos espaços de trabalho.

• Os administradores podem gerenciar quais usuários têm acesso ao Databricks SQL atribuindo o direito de acesso ao Databricks SQL (databricks-sql-access na API) a usuários ou grupos. Por padrão, novos usuários têm esse direito.

Os administradores podem limitar um utilizador ou grupo a acessar apenas o Databricks SQL e impedi-los de acessar o Data Science & Engineering ou o Databricks Mosaic AI, removendo o direito de acesso ao espaço de trabalho ( na API) do utilizador ou grupo. Por padrão, novos usuários têm esse direito.

• Um pequeno ponto de extremidade SQL clássico chamado Starter Endpoint está pré-configurado em todos os espaços de trabalho, permitindo que você comece a criar painéis, visualizações e consultas imediatamente. Para lidar com cargas de trabalho mais complexas, você pode facilmente aumentar seu tamanho (para reduzir a latência) ou o número de clusters subjacentes (para lidar com mais usuários simultâneos). Para gerir custos, o ponto inicial é configurado para encerrar após 120 minutos de ociosidade.

2 de setembro de 2021

• Os usuários com a permissão CAN EDIT em um painel agora podem gerenciar a agenda de atualização e a lista de assinaturas do painel. Anteriormente, a permissão CAN MANAGE era necessária. Para obter mais informações, consulte Atualizar automaticamente um dashboard.

• Por padrão, as visualizações não são mais redimensionadas dinamicamente com base no número de resultados retornados, mas mantêm a mesma altura, independentemente do número de resultados. Para retornar ao comportamento anterior e configurar uma visualização para redimensionar dinamicamente, habilite Redimensionar dinamicamente a altura do painel nas configurações da visualização no painel. Para obter mais informações, consulte Opções de tabela.
• Se você tiver acesso a mais de um espaço de trabalho na mesma conta, poderá alternar espaços de trabalho de dentro do Databricks SQL. Clique em no canto inferior esquerdo do seu espaço de trabalho do Azure Databricks, e, em seguida, selecione um espaço de trabalho para alternar para ele.

01 de julho de 2021

• O novo Catalog Explorer permite que você explore e gerencie facilmente permissões em bancos de dados e tabelas. Os usuários podem exibir detalhes do esquema, visualizar dados de exemplo e ver detalhes e propriedades da tabela. Os administradores podem exibir e alterar proprietários de objetos de dados e os proprietários de objetos de dados podem conceder e revogar permissões. Para obter detalhes, consulte O que é o Catalog Explorer?.
• Os eixos Y nos gráficos horizontais foram atualizados para refletir a mesma ordem das tabelas. Se anteriormente selecionou a ordenação inversa, pode utilizar o alternador Ordem Inversa na guia Eixo Y para reverter a nova ordenação.

23 de junho de 2021

• Configure facilmente pontos de extremidade SQL com princípios de serviço. Agora há um controlo que o ajuda a configurar uma entidade de serviço nas definições globais dos endpoints SQL. Consulte Configurar um service principal.
• As visualizações temporárias agora são suportadas.

17 de junho de 2021

• Photon, o novo mecanismo de execução vetorizada do Databricks, agora está ativado por padrão para pontos de extremidade SQL recém-criados (interface do usuário e API REST). O fóton acelera de forma transparente
  • Escreve nas tabelas Parquet e Delta.
  • Muitas consultas SQL. Consulte Limitações.
• Gerencie facilmente usuários e grupos com comandos CREATE GROUP, DROP GROUP, ALTER GROUP, SHOW GROUPSe SHOW USERS. Para obter detalhes, consulte Instruções de segurança e Mostrar instruções.
• O editor de consultas , incluindo o navegador de esquemas, é mais ágil e rápido em esquemas com mais de 100 tabelas. Em tais esquemas, o navegador de esquema não carregará todas as colunas automaticamente; A lista de tabelas ainda é exibida normalmente, mas as colunas são carregadas somente quando você clica em uma tabela. Essa alteração afeta o preenchimento automático da consulta no editor de consultas, pois depende dessas informações para mostrar sugestões. Até que você expanda uma tabela e carregue suas colunas, essas sugestões não estarão disponíveis.

03 de junho de 2021

• Os administradores de espaços de trabalho do Azure Databricks recém-habilitados agora recebem o direito ao Databricks SQL por padrão e não precisam mais conceder a si mesmos o direito de acesso ao Databricks SQL usando o console de administração.
• Photon agora está em visualização pública e ativado por defeito para novos SQL endpoints.
• O balanceamento de carga de vários clusters agora está em visualização pública.
• Agora você pode habilitar a colaboração em painéis e consultas com outros membros da sua organização usando a permissão CAN EDIT. Consulte Listas de controle de acesso.

26 de maio de 2021

• O SQL Analytics é renomeado para Databricks SQL. Essa alteração tem os seguintes impactos voltados para o cliente:

  • As referências na interface do usuário da Web foram atualizadas.

  • O direito de conceder acesso ao Databricks SQL foi renomeado:

    • UI: acesso SQL do Databricks (anteriormente acesso ao SQL Analytics)
    • API SCIM: databricks-sql-access (anteriormente sql-analytics-access)

    Usuários, grupos e entidades de serviço com o direito anterior foram migrados para o novo direito.

  • As tags para eventos de log de auditoria relacionadas ao Databricks SQL foram alteradas:

    • O prefixo dos eventos de Databricks SQL agora é databrickssql.
    • changeSqlAnalyticsAcl agora é changeDatabricksSqlAcl.

• Atualizações do painel

  • O nome do ficheiro de exportação do painel foi atualizado para ser o nome do painel + marca temporal, em vez de um UUID.
  • O limite de registros de exportação foi aumentado de 22k para 64k.

13 de maio de 2021

• O Databricks SQL não tenta mais adivinhar tipos de coluna. Anteriormente, uma coluna com o formato xxxx-yy-dd era automaticamente tratada como uma data, mesmo que fosse um código de identificação. Agora, essa coluna não é mais tratada automaticamente como uma data. Você deve especificar isso na consulta, se desejar. Essa alteração pode fazer com que algumas visualizações que dependiam do comportamento anterior não funcionem mais. Nesta versão, você pode alterar o >Opção de Configurações>Compatibilidade com Versões Anteriores para retornar ao comportamento anterior. Em uma versão futura, removeremos essa capacidade.

• O editor de consultas agora tem um indicador de progresso da consulta. As alterações de estado agora são visíveis em uma barra de progresso continuamente atualizada.

  

Problemas corrigidos

• Editor de SQL. O editor SQL agora persistirá o texto selecionado e a posição de rolagem ao alternar entre guias de consulta.
• Editor de SQL. Se você clicar em 'Executar' em uma consulta no editor SQL, navegue para outra página e retorne enquanto a consulta ainda estiver em execução, o editor exibirá o estado correto da consulta. Se a consulta for concluída enquanto você estiver em outra página, os resultados da consulta estarão disponíveis ao retornar à página do editor SQL.
• Agora você pode usar o MySQL 8.0 como um metastore externo.
• DESCRIBE DETAIL comandos em tabelas Delta não falham mais com java.lang.ClassCastException: java.sql.Timestamp cannot be cast to java.time.Instant.
• A leitura de arquivos Parquet com carimbos de data/hora INT96 já não falha.
• Quando um usuário tem a permissão CAN RUN em uma consulta e a executa, se a consulta foi criada por outro usuário, o histórico de consultas exibe o executor da consulta como o usuário.
• Os valores nulos agora são ignorados ao renderizar um gráfico, melhorando a usabilidade dos gráficos. Por exemplo, anteriormente, as barras em um gráfico de barras pareciam muito pequenas quando valores nulos estavam presentes. Agora, os eixos são definidos com base apenas em valores não nulos.