Descoberta de dados e colaboração na casa do lago

O Databricks permite uma colaboração segura e regulada entre cargas de trabalho de dados, análises e IA no Lakehouse. Utilizando o Unity Catalog e protocolos abertos como o Delta Sharing, as equipas podem descobrir, partilhar e analisar dados em grande escala, mantendo a governação, a auditabilidade e a privacidade entre casos de uso e colaboradores.

Gerenciar permissões em escala

O Unity Catalog fornece aos administradores um local unificado para atribuir permissões para catálogos, bancos de dados, tabelas e exibições a grupos de usuários. Privilégios e metastores são compartilhados entre espaços de trabalho, permitindo que os administradores definam permissões seguras uma vez em relação a grupos sincronizados de provedores de identidade e saibam que os usuários finais só têm acesso aos dados adequados em qualquer espaço de trabalho do Azure Databricks que entrarem.

O Unity Catalog também permite aos administradores definir credenciais de armazenamento, um método seguro para armazenar e partilhar permissões na infraestrutura de armazenamento na cloud. Pode conceder privilégios a estes securáveis para que os utilizadores possam definir locais externos para armazenamento de objetos na nuvem, permitindo que os engenheiros de dados autogerirem novas cargas de trabalho sem necessidade de fornecer permissões elevadas nas consolas de contas na nuvem.

Descubra dados no Azure Databricks

Os usuários podem procurar objetos de dados disponíveis no Unity Catalog usando Catalog Explorer. O Catalog Explorer usa os privilégios configurados pelos administradores do Catálogo Unity para garantir que os usuários só possam ver catálogos, bancos de dados, tabelas e exibições que eles têm permissões para consultar. Depois que os usuários encontrarem um conjunto de dados de interesse, eles poderão revisar nomes e tipos de campos, ler comentários em tabelas e campos individuais e visualizar uma amostra dos dados. Os usuários também podem revisar o histórico completo da tabela para entender quando e como os dados foram alterados, e o recurso de linhagem permite que os usuários acompanhem como determinados conjuntos de dados são derivados de trabalhos upstream e usados em trabalhos downstream.

As credenciais de armazenamento e as localizações externas também são exibidas no Explorador de Catálogos, permitindo que cada utilizador veja os privilégios de que necessita para ler e escrever dados entre as localizações e recursos disponíveis.

Acelere o tempo para produção com a solução lakehouse

O Azure Databricks suporta cargas de trabalho em SQL, Python, Scala e R, permitindo que utilizadores com conjuntos de competências e conhecimentos técnicos diversos utilizem o seu conhecimento para obter insights analíticos. Pode usar todas as linguagens suportadas pelo Azure Databricks para definir trabalhos de produção, e os notebooks podem usar uma combinação de linguagens. Isso significa que tu podes promover consultas escritas por analistas SQL para ETL na fase final no código de engenharia de dados de produção com quase nenhum esforço. As consultas e cargas de trabalho definidas por personas em toda a organização usam os mesmos conjuntos de dados, por isso não é necessário reconciliar nomes de campos ou garantir que os dashboards estão atualizados antes de partilhar código e resultados com outras equipas. Você pode compartilhar com segurança código, blocos de anotações, consultas e painéis, todos alimentados pela mesma infraestrutura de nuvem escalável e definidos com base nas mesmas fontes de dados selecionadas.