Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
As experiências de Engenharia de Dados e Ciência de Dados do Microsoft Fabric operam em uma plataforma de computação spark totalmente gerenciada. Essa plataforma foi projetada para fornecer velocidade e eficiência incomparáveis. Ele inclui pools de início e pools personalizados.
Um ambiente do Fabric contém uma coleção de configurações, incluindo propriedades de computação do Spark, que você pode usar para configurar a sessão do Spark depois que elas forem anexadas a notebooks e trabalhos do Spark. Com um ambiente, você tem uma maneira flexível de personalizar as configurações de computação para executar seus trabalhos do Spark.
Definir configurações
Como administrador do workspace, você pode habilitar ou desabilitar personalizações de computação.
No painel de configurações do Workspace , selecione a seção Engenharia de Dados/Ciência .
Na guia Pool, ative o alternador Personalizar configurações de computação para itens para Ativado.
Você também pode delegar membros e colaboradores para alterar as configurações de computação padrão no nível da sessão em um ambiente do Fabric habilitando essa configuração.
Se você desabilitar essa opção no painel de configurações do Workspace , a seção Computação do ambiente será desabilitada. As configurações de computação do pool padrão para o workspace são usadas para executar trabalhos do Spark.
Personalizar propriedades de computação no nível da sessão em um ambiente
Como usuário, você pode selecionar um pool para o ambiente na lista de pools disponíveis no workspace do Fabric. O administrador do workspace do Fabric cria o pool inicial padrão e os pools personalizados.
Depois de selecionar um pool na seção Computação, você poderá configurar os núcleos e a memória para os executores dentro das limitações e tamanhos dos nós do pool selecionado. Para obter mais informações sobre os tamanhos de computação do Spark e seus núcleos ou opções de memória, consulte a computação do Spark no Fabric. Use a seção Computação para configurar as propriedades de nível de sessão do Spark para personalizar a memória e os núcleos dos executores com base nos requisitos de carga de trabalho. As propriedades do Spark definidas por meio spark.conf.set de parâmetros no nível do aplicativo de controle não estão relacionadas a variáveis de ambiente.
Por exemplo, digamos que você queira selecionar um pool personalizado com um tamanho de nó grande, que é 16 vCores Spark, como o pool de ambientes.
Na seção Computação, no pool de ambientes, use a lista suspensa do Núcleo do Driver Spark para escolher 4, 8 ou 16, de acordo com os requisitos do nível da sua tarefa.
Para alocar memória a drivers e executores, na memória do executor do Spark, selecione 28 g, 56 g ou 112 g. Todos estão dentro do limite de memória de um nó grande.
