Colaboração e descoberta de dados no lakehouse

O Databricks permite a colaboração segura e governada entre dados, análise e cargas de trabalho de IA no Lakehouse. Usando o Catálogo do Unity e protocolos abertos como o Compartilhamento Delta, as equipes podem descobrir, compartilhar e analisar dados em escala, mantendo a governança, a auditabilidade e a privacidade entre casos de uso e colaboradores.

Gerenciar permissões em escala

O Catálogo do Unity fornece aos administradores um local unificado para atribuir permissões para catálogos, bancos de dados, tabelas e exibições a grupos de usuários. Privilégios e metastores são compartilhados entre espaços de trabalho, permitindo que os administradores definam permissões de segurança uma única vez para grupos sincronizados de provedores de identidade, garantindo que os usuários finais tenham acesso apenas aos dados adequados em qualquer espaço de trabalho do Azure Databricks que acessarem.

O Catálogo do Unity também permite que os administradores definam credenciais de armazenamento, um método seguro para armazenar e compartilhar permissões na infraestrutura de armazenamento em nuvem. Você pode conceder privilégios nesses elementos de segurança para permitir que os usuários da organização definam localizações externas em locais de armazenamento de objetos na nuvem, permitindo que os engenheiros de dados realizem o autosserviço para novas cargas de trabalho sem precisar conceder permissões elevadas nos consoles de conta na nuvem.

Descobrir dados no Azure Databricks

Os usuários podem procurar objetos de dados disponíveis no Catálogo do Unity usando do Catalog Explorer. O Catalog Explorer usa os privilégios configurados pelos administradores do Catálogo do Unity para garantir que os usuários só possam ver catálogos, bancos de dados, tabelas e exibições que têm permissões para consultar. Depois que os usuários encontrarem um conjunto de dados de interesse, eles poderão examinar nomes e tipos de campo, ler comentários em tabelas e campos individuais e visualizar um exemplo dos dados. Os usuários também podem examinar o histórico completo da tabela para entender quando e como os dados foram alterados, e o recurso de linhagem permite que os usuários acompanhem como determinados conjuntos de dados são derivados de trabalhos upstream e usados em trabalhos downstream.

As credenciais de armazenamento e os locais externos também são exibidos no Gerenciador de Catálogos, permitindo que cada usuário veja os privilégios necessários para ler e gravar dados em locais e recursos disponíveis.

Acelerar o tempo de produção com o lakehouse

O Azure Databricks dá suporte a cargas de trabalho em SQL, Python, Scala e R, permitindo que usuários com diversos conjuntos de habilidades e experiências técnicas usem seus conhecimentos para derivar insights analíticos. Você pode usar todos os idiomas compatíveis com o Azure Databricks para definir trabalhos de produção e os notebooks podem usar uma combinação de idiomas. Isso significa que você pode promover consultas escritas por analistas de SQL para ETL de última etapa no código de engenharia de dados em produção sem quase nenhum esforço. Consultas e cargas de trabalho definidas por personas em toda a organização usam os mesmos conjuntos de dados, portanto, não é necessário reconciliar nomes de campo ou verificar se os painéis estão atualizados antes de compartilhar código e resultados com outras equipes. Você pode compartilhar com segurança código, notebooks, consultas e dashboards, todos alimentados pela mesma infraestrutura de nuvem escalonável e definidos nas mesmas fontes de dados selecionadas.