Partilhar via

Um índice de notebooks de gerenciamento para clusters de Big Data do SQL Server

Esta página é um índice de notebooks para Big Data Clusters do SQL Server. Esses notebooks executáveis (.ipynb) gerenciam clusters de Big Data para SQL Server 2019.

Important

Os Clusters de Big Data do Microsoft SQL Server 2019 foram desativados. O suporte para clusters de Big Data do SQL Server 2019 terminou em 28 de fevereiro de 2025. Para obter mais informações, consulte a postagem no blog de anúncios e as opções de Big Data na plataforma microsoft SQL Server.

Você pode gerenciar clusters de Big Data do SQL Server com notebooks Jupyter. Quando você faz isso, todos os notebooks verificam suas próprias dependências. A opção Executar todas as células é concluída com êxito ou gera uma exceção com uma dica hiperlinkada para outro notebook para resolver a dependência ausente. Siga o hiperlink de dica para o bloco de anotações de destino, clique em Executar todas as células. Após a conclusão bem-sucedida, retorne ao bloco de anotações original e selecione Executar todas as células.

Quando todas as dependências são instaladas e Executar todas as células falha, cada notebook analisa os resultados. Sempre que possível, uma dica com hiperlink oferece orientação sobre como resolver o problema.

Instalar e desinstalar utilitários em clusters de Big Data

Veja a seguir um conjunto de notebooks que são úteis para instalar e desinstalar ferramentas de linha de comando. Eles também fornecem pacotes para gerenciar clusters de Big Data do SQL Server.

Name Description
SOP012 – Instalar unixodbc para Mac Use este notebook ao receber erros ao usar o Brew para instalar o ODBC para o SQL Server.
SOP036 – Instalar a interface de linha de comando kubectl Use este notebook para instalar a interface de linha de comando kubectl independentemente do sistema operacional.
SOP037 – Desinstalar a interface de linha de comando do kubectl Use este notebook para desinstalar a interface de linha de comando kubectl independentemente do sistema operacional.
SOP038 – Instalar a interface de linha de comando do Azure Use este notebook para instalar a interface de linha de comando da CLI do Azure, independentemente do sistema operacional.
SOP040 – Atualizar pip no ambiente isolado do ADS Python Use este notebook para atualizar o pip no ambiente de teste do ADS Python.
SOP059 – Instalar o módulo Python do Kubernetes Use este notebook para instalar módulos do Kubernetes com Python.
SOP060 – Desinstalar o módulo kubernetes Use este notebook para desinstalar módulos do Kubernetes com Python.
SOP062 – Instalar módulos ipython-sql e pyodbc Use este notebook para instalar módulos ipython-sql e pyodbc.
SOP069 – Instalar o ODBC para SQL Server Use este notebook para instalar o driver ODBC, pois alguns subcomandos no azdata exigem o driver ODBC do SQL Server.

Fazer backup e restaurar clusters de Big Data

Veja a seguir um conjunto de notebooks que são úteis para operações de backup e restauração em clusters de Big Data do SQL Server.

Name Description
SOP008 – Fazer backup de arquivos HDFS no Azure Data Lake Store Gen2 com distcp Este SOP (Procedimento Operacional Padrão) faz backup de dados do sistema de arquivos HDFS do cluster de Big Data de origem para a conta do Azure Data Lake Store Gen2 especificada. Verifique se a conta do Azure Data Lake Store Gen2 está configurada com "namespace hierárquico" habilitado.

Gerenciar certificados em clusters de Big Data

A seguir está uma coleção de notebooks para gerenciar certificados em agrupamentos de Big Data.

Name Description
CER001 – Gerar um certificado de Autoridade Certificadora raiz Gerar um certificado de autoridade certificadora raiz. Considere o uso de um certificado de AC raiz para todos os clusters de ambientes não-produtivos em cada ambiente, pois essa técnica reduz o número de certificados de AC raiz que precisam ser carregados para clientes que se conectam a esses clusters.
CER002 – Baixar o certificado de AC raiz existente Use este notebook para baixar um certificado de Autoridade Certificadora (AC) raiz gerado de um cluster.
CER003 – Carregar o certificado de AC raiz existente CER003 – Carregar o certificado de AC raiz existente.
CER004 – Baixar e carregar o certificado de AC raiz existente Faça o download e carregue o certificado existente de Autoridade Certificadora raiz.
CER005 – Instalar um novo certificado de Autoridade Certificadora Principal Instala um novo certificado de autoridade de certificação raiz.
CER010 – Instalar a AC raiz gerada localmente Este notebook copiará localmente (de um cluster de Big Data) o certificado de AC raiz gerado que foi instalado usando CER001 – Gerar um certificado de AC raiz ou CER003 – carregar o certificado de AC raiz existente e, em seguida, instalar o certificado de AC raiz no repositório de certificados local deste computador.
CER020 – Criar certificado para proxy de gerenciamento Este notebook cria um certificado para o ponto de extremidade do Proxy de Gerenciamento.
CER021 – Criar certificado Knox Este notebook cria um certificado para o ponto de extremidade do Gateway knox.
CER022 – Criar certificado de Proxy de Aplicativo Este notebook cria um certificado para o endpoint proxy de implantação de aplicativo.
CER023 – Criar certificado mestre Este notebook cria um certificado para o ponto de extremidade mestre.
CER024 – Criar certificado do controlador Este notebook cria um certificado para o ponto de extremidade do controlador.
CER025 – Carregar o certificado do Proxy de Gerenciamento existente Este notebook carrega um certificado do Proxy de Gerenciamento existente.
CER026 – Carregar certificado de Gateway existente Este notebook carrega um certificado de Gateway gerado externamente em um cluster.
CER027 – Carregar o certificado de Proxy do Serviço de Aplicativo existente Este notebook carrega um certificado do Serviço de Aplicativo gerado externamente em um cluster.
CER028 – Carregar certificados mestres existentes Este notebook carrega um certificado mestre gerado externamente em um cluster.
CER028 – Carregar o certificado do controlador existente Este notebook carrega um certificado do Controlador gerado externamente em um cluster.
CER030 – Assinar o certificado de proxy de gerenciamento com CA gerada Este notebook assina o certificado criado usando CER020 – Criar certificado proxy de gerenciamento com o certificado de AC raiz gerado, criado usando CER001 – Gerar um certificado de AC raiz ou CER003 – Fazer upload do certificado de AC raiz existente
CER031 – Assinar certificado Knox com Autoridade Certificadora gerada Este bloco de anotações assina o certificado criado usando CER021 – Criar certificado Knox com o certificado de AC raiz de geração, criado usando CER001 – Gerar um certificado de AC raiz ou CER003 – Carregar certificado de AC raiz existente
CER032 – Assinar o certificado App-Proxy com a Autoridade Certificadora (AC) gerada Este notebook assina o certificado criado usando CER022 – Criar certificado de Proxy de Aplicativo com o certificado de AC raiz gerado, criado usando CER001 – Gerar um certificado de AC raiz ou CER003 – Carregar certificado de AC raiz existente.
CER033 – Assinar certificado principal com CA gerada Este notebook assina o certificado criado usando CER023 – Criar certificado mestre com o certificado de AC raiz gerado, criado usando CER001 – Gerar um certificado de AC raiz ou CER003 – Carregar certificado de AC raiz existente.
CER034 – Assinar certificado do Controlador com AC gerada Este notebook assina o certificado criado usando CER024 – Criar certificado do Controlador com o certificado de AC raiz de geração, criado usando CER001 – Gerar um certificado de AC raiz ou CER003 – Carregar certificado de AC raiz existente.
CER040 – Instalar certificado de Proxy de Gerenciamento assinado Este notebook instala o certificado assinado usando CER030 – Certificado Proxy de Gerenciamento de Assinatura com CA gerada no cluster de Big Data.
CER041 – Instalar certificado Knox assinado Este notebook instala, no cluster de Big Data, o certificado assinado com o uso de CER031 – Certificado Knox assinado com CA gerada.
CER042 – Instalar certificado App-Proxy assinado Este notebook instala no cluster de Big Data o certificado assinado usando CER032 – Assinar App-Proxy certificado com a AC gerada.
CER043 – Instalar certificado mestre assinado Este notebook instala no cluster de Big Data o certificado assinado usando CER033 – Assinar o Certificado Mestre com a AC Raiz do Cluster e observe que, no final deste notebook, os pods Mestre serão reiniciados para carregar os novos certificados.
CER044 – Instalar o certificado do Controlador assinado Este notebook instala no cluster de big data o certificado assinado com CER034 – Certificado de Assinatura do Controlador com a AC raiz do cluster e observe que, no final deste notebook, o pod Controlador e todos os pods que utilizam o PolyBase (pods do Pool Mestre e Pool de Computação) serão reiniciados para carregar os novos certificados.
CER050 - Aguarde que o BDC esteja em bom estado Este notebook aguardará até que o cluster de Big Data tenha retornado a um estado saudável, depois que o Controller pod e os pods que usam PolyBase tiverem sido reiniciados para carregar os novos certificados.
CER100 – Configurar cluster com certificados autoassinados Este notebook gerará uma nova Autoridade Certificadora Raiz no cluster de Big Data e criará novos certificados para cada terminal (os terminais são: Gerenciamento, Gateway, Proxy de Aplicativos e Controlador). Assine cada novo certificado com a nova AC raiz gerada, exceto o certificado do Controlador (que é assinado com a AC raiz do cluster existente) e instale cada certificado no cluster de Big Data. Baixe a nova Autoridade Certificadora Raiz gerada no armazenamento de certificados de Autoridades Certificadoras Raiz Confiáveis desta máquina. Todos os certificados autoassinados gerados serão armazenados no pod do controlador no local test_cert_store_root.
CER101 – Configurar cluster com certificados autoassinados usando AC raiz existente Este notebook usará uma RAIZ gerada existente no cluster de Big Data (carregado com CER003) e criará novos certificados para cada ponto de extremidade (Gerenciamento, Gateway, App-Proxy e Controlador). Em seguida, assinará cada novo certificado com a nova RAIZ gerada, exceto o certificado do Controlador (que é assinado com a RAIZ do cluster existente), e instalará cada certificado no cluster de Big Data. Todos os certificados autoassinados gerados serão armazenados no pod do controlador (no local test_cert_store_root). Após a conclusão deste notebook, todo o acesso https:// ao cluster de Big-Data desse computador (e qualquer computador que instale a nova CA Raiz) será mostrado como seguro. O capítulo Notebook Runner garantirá que CronJobs criados (OPR003) para executar App-Deploy instalem a AC raiz do cluster para permitir a obtenção segura de tokens JWT e do swagger.json.
CER102 – Configurar cluster com certificados autoassinados usando a CA do Cluster de Big Data existente Este notebook configurará o cluster com certificados autoassinados usando o CA do Cluster de Big Data existente. Leia o bloco de anotações para obter informações detalhadas.
CER103 – Configurar o cluster com certificados assinados externamente A finalidade deste notebook é substituir os certificados de endpoint pelos gerados e assinados fora do cluster de Big Data. Leia o bloco de anotações para obter informações detalhadas.

Criptografia em utilitários rest em clusters de Big Data

Esta seção contém um conjunto de notebooks para gerenciar Criptografia em Repouso no BDC.

Name Description
SOP0124 – Listar chaves para criptografia em repouso Use esta lista de notebooks para listar todas as chaves HDFS.
SOP0128 – Habilitar zonas de criptografia HDFS em clusters de Big Data Use este notebook para habilitar zonas de criptografia HDFS ao atualizar para CU8 do CU6 ou anterior. Não é necessário em novas implantações do CU8+ ou ao atualizar para CU9.
SOP0125 – Excluir chave para criptografia em repouso Use este notebook para excluir chaves de zona de criptografia HDFS. Caution!
SOP0126 – Chaves de backup para criptografia em repouso Use este notebook para fazer backup de chaves de zona de criptografia HDFS.
SOP0127 – Restaurar chaves para criptografia em repouso Use este notebook para restaurar chaves de zona de criptografia HDFS.

Password rotation

Notebooks para gerenciar a rotação de senha em Clusters de Big Data.

Name Description
PASS001 – Atualizar senha do Controlador de Domínio do Administrador Este notebook pressupõe que a senha DSA já esteja atualizada no Controlador de Domínio. Execute este notebook com os parâmetros especificados para atualizar o Cluster de Big Data com a nova senha DSA. Isso reiniciará o pod do controlador.

Next steps

Para obter mais informações sobre Clusters de Big Data do SQL Server, confira O que são Clusters de Big Data do SQL Server 2019.

  • Last updated on