Usar as Ferramentas do Azure Data Lake para Visual Studio Code

Neste artigo, saiba como você pode usar as Ferramentas do Azure Data Lake para Visual Studio Code (VS Code) para criar, testar e executar scripts U-SQL. As informações também são abordadas no vídeo a seguir:

Pré-requisitos

As Ferramentas do Azure Data Lake para VS Code são compatíveis com Windows, Linux e macOS. A execução local do U-SQL e a depuração local só funcionam no Windows.

• Visual Studio Code

Para macOS e Linux:

• SDK do .NET 5.0
• Mono 5.2.x

Instalar as Ferramentas do Azure Data Lake

Depois de instalar os pré-requisitos, você pode instalar as Ferramentas do Azure Data Lake para VS Code.

Para instalar o Azure Data Lake Tools

1. Abra o Visual Studio Code.

2. Selecione Extensões no painel esquerdo. Insira do Azure Data Lake Tools na caixa de pesquisa.

3. Selecione Instalar ao lado de Azure Data Lake Tools.

   Seleções de

   Após alguns segundos, o botão Instalar muda para Recarregar.

4. Selecione Recarregar para ativar a extensão Azure Data Lake Tools.

5. Selecione Recarregar Janela para confirmar. Você pode ver o Azure Data Lake Tools no painel de Extensões.

Ativar ferramentas do Azure Data Lake

Crie um arquivo .usql ou abra um arquivo .usql existente para ativar a extensão.

Trabalhar com U-SQL

Para trabalhar com o U-SQL, você precisa abrir um arquivo U-SQL ou uma pasta.

Para abrir o script de exemplo

Abra a paleta de comandos (Ctrl+Shift+P) e insira ADL: Abrir script de exemplo. Ele abre outra instância deste exemplo. Você também pode editar, configurar e enviar um script nesta instância.

Para abrir uma pasta para seu projeto U-SQL

1. No Visual Studio Code, selecione o menu Arquivo e selecione Abrir Pasta.

2. Especifique uma pasta e selecione Selecionar Pasta.

3. Selecione o menu Arquivo e selecione Novo. Um arquivo sem título 1 é adicionado ao projeto.

4. Insira o seguinte código no arquivo Untitled-1:

   @departments  =
       SELECT * FROM
           (VALUES
               (31,    "Sales"),
               (33,    "Engineering"),
               (34,    "Clerical"),
               (35,    "Marketing")
           ) AS
                 D( DepID, DepName );
   

   OUTPUT @departments TO "/Output/departments.csv" USING Outputters.Csv();

   O script cria um arquivo departments.csv com alguns dados incluídos na pasta /output.

5. Salve o arquivo como myUSQL.usql na pasta aberta.

Para compilar um script U-SQL

1. Selecione Ctrl+Shift+P para abrir a paleta de comandos.
2. Insira ADL: compilarde script. Os resultados do compilador aparecem na janela Saída. Você também pode clicar com o botão direito do mouse em um arquivo de script e selecionar ADL: Compilar Script para compilar um trabalho U-SQL. O resultado da compilação aparece no painel Saída.

Para enviar um script U-SQL

1. Selecione Ctrl+Shift+P para abrir a paleta de comandos.
2. Insira ADL: Enviar Trabalho. Você também pode clicar com o botão direito do mouse em um arquivo de script e selecionar ADL: Enviar Tarefa.

Depois de enviar um trabalho U-SQL, os logs de envio são exibidos na janela saída no VS Code. A visualização do trabalho aparece no painel direito. Se o envio for bem-sucedido, a URL do trabalho também será exibida. Você pode abrir a URL do trabalho em um navegador da Web para acompanhar o status do trabalho em tempo real.

Na guia RESUMO da visão de trabalho, você pode ver os detalhes da tarefa. As funções principais incluem reenviar um script, duplicar um script e abrir no portal. Na guia DATA do modo de trabalho, você pode consultar os arquivos de entrada, os arquivos de saída e os arquivos de recurso. Os arquivos podem ser baixados no computador local.

guia de dados no modo de exibição de trabalhoData tab in the job view

Para definir o contexto padrão

Você pode definir o contexto padrão para aplicar essa configuração a todos os arquivos de script se não tiver definido parâmetros para arquivos individualmente.

1. Selecione Ctrl+Shift+P para abrir a paleta de comandos.

2. Insira ADL: Definir Contexto Padrão. Ou clique com o botão direito do mouse no editor de scripts e selecione ADL: Definir Contexto Padrão.

3. Escolha a conta, o banco de dados e o esquema desejados. A configuração é salva no arquivo de configuração xxx_settings.json.

   

Para definir parâmetros de script

1. Selecione Ctrl+Shift+P para abrir a paleta de comandos.

2. Insira ADL: Configurar parâmetros do script.

3. O arquivo xxx_settings.json é aberto com as seguintes propriedades:

   • conta: uma conta do Azure Data Lake Analytics na sua assinatura do Azure, que é necessária para compilar e executar trabalhos U-SQL. Você precisa configurar a conta de computador antes de compilar e executar trabalhos U-SQL.
   • banco de dados: um banco de dados em sua conta. O padrão é mestre.
   • esquema: um esquema em seu banco de dados. O padrão é dbo.
   • optionalSettings:
     • prioridade: o intervalo de prioridade é de 1 a 1000, com 1 como a prioridade mais alta. O valor padrão é 1000.
     • degreeOfParallelism: O intervalo de paralelismo é de 1 a 150. O valor padrão é o paralelismo máximo permitido em sua conta do Azure Data Lake Analytics.

   

Para definir o Git ignore

1. Selecione Ctrl+Shift+P para abrir a paleta de comandos.

2. Insira ADL: Configurar Git Ignore.

   • Se você não tiver um arquivo de .gitIgnore na pasta de trabalho do VS Code, um arquivo chamado .gitIgnore será criado em sua pasta. Quatro itens (usqlCodeBehindReference, usqlCodeBehindGenerated, .cache, obj) são adicionados no arquivo por padrão. Você pode fazer mais atualizações, se necessário.
   • Se você já tiver um arquivo de .gitIgnore na pasta de trabalho do VS Code, a ferramenta adiciona quatro itens (usqlCodeBehindReference, usqlCodeBehindGenerated, .cache, obj) no arquivo .gitIgnore caso os quatro itens não estejam incluídos no arquivo.

   

Trabalhar com arquivos code-behind: C#, Python e R

O Azure Data Lake Tools dá suporte a vários códigos personalizados. Para obter instruções, consulte Desenvolver U-SQL com Python, R e C Sharp para Azure Data Lake Analytics no VS Code.

Trabalhar com componentes

Para obter informações sobre o desenvolvimento de assemblies, veja Desenvolvimento de assemblies U-SQL para trabalhos do Azure Data Lake Analytics.

Você pode usar o Data Lake Tools para registrar assemblies de código personalizados no catálogo do Data Lake Analytics.

Para registrar um conjunto

Você pode registrar o assembly por meio do comando ADL: Registrar o Assembly ou do comando ADL: Registrar o Assembly (Avançado).

Para se registrar através do comando ADL: Register Assembly

1. Selecione Ctrl+Shift+P para abrir a paleta de comandos.
2. Insira ADL: registrar Assembly.
3. Especifique o caminho do assembly local.
4. Selecione uma conta do Data Lake Analytics.
5. Selecione um banco de dados.

O portal é aberto em um navegador e exibe o processo de registro da montagem.

Uma maneira mais conveniente de disparar o ADL: registrar o comando assembly é clicar com o botão direito do mouse no arquivo .dll no Explorador de Arquivos.

Para se registrar utilizando o comando ADL: Registrar Assembly (Avançado)

1. Selecione Ctrl+Shift+P para abrir a paleta de comandos.

2. Insira ADL: Registrar Assembly (Avançado).

3. Especifique o caminho do assembly local.

4. O arquivo JSON é exibido. Revise e edite as dependências de montagem e os parâmetros de recurso, se necessário. As instruções são exibidas na janela de saída . Para prosseguir com o registro de assemblagem, salve (Ctrl+S) o arquivo JSON.

   

Outra maneira de disparar o comando ADL: Registrar Assembly (Avançado) é clicar com o botão direito do mouse no arquivo .dll no Explorador de Arquivos.

O código U-SQL a seguir demonstra como chamar uma assembly. No exemplo, o nome do assembly é teste .

REFERENCE ASSEMBLY [test];
@a =
    EXTRACT
        Iid int,
    Starts DateTime,
    Region string,
    Query string,
    DwellTime int,
    Results string,
    ClickedUrls string
    FROM @"Sample/SearchLog.txt"
    USING Extractors.Tsv();
@d =
    SELECT DISTINCT Region
    FROM @a;
@d1 =
    PROCESS @d
    PRODUCE
        Region string,
    Mkt string
    USING new USQLApplication_codebehind.MyProcessor();
OUTPUT @d1
    TO @"Sample/SearchLogtest.txt"
    USING Outputters.Tsv();

Usar a execução e depuração local do U-SQL para usuários do Windows

A execução local do U-SQL testa seus dados locais e valida o script localmente antes que seu código seja publicado no Data Lake Analytics. Você pode usar o recurso de depuração local para concluir as seguintes tarefas antes que seu código seja enviado ao Data Lake Analytics:

• Depure o código subjacente do C#.
• Explore o código.
• Valide seu script localmente.

O recurso de execução local e depuração local funciona apenas em ambientes do Windows e não tem suporte em sistemas operacionais baseados em macOS e Linux.

Para obter instruções sobre execução local e depuração local, consulte execução local do U-SQL e depuração local com o Visual Studio Code.

Conectar-se ao Azure

Antes de compilar e executar scripts U-SQL no Data Lake Analytics, você deve se conectar à sua conta do Azure.

Para se conectar ao Azure usando um comando

1. Selecione Ctrl+Shift+P para abrir a paleta de comandos.

2. Insira ADL: Faça login. As informações de entrada são exibidas no canto inferior direito.

   

   

3. Selecione Copiar & Abrir para abrir a página da Web de login . Cole o código na caixa e selecione Continuar.

   página de login do

4. Siga as instruções para entrar na página da Web. Quando você estiver conectado, o nome da conta do Azure aparecerá na barra de status no canto inferior esquerdo da janela do VS Code.

Para sair, insira o comando ADL: logout.

Para se conectar ao Azure por meio do explorer

Expanda AZURE DATALAKE, selecione Entrar no Azuree, em seguida, siga as etapas 3 e 4 de Para se conectar ao Azure usando um comando.

Você não pode sair do explorer. Para sair, consulte ou para se conectar ao Azure usando um comando, consulte.

Criar um script de extração

Você pode criar um script de extração para arquivos .csv, .tsv e .txt usando o comando ADL: Criar Script de EXTRACT ou do Azure Data Lake Explorer.

Para criar um script de extração usando um comando

1. Selecione Ctrl+Shift+P para abrir a paleta de comandos e insira ADL: Criar script EXTRACT.
2. Especifique o caminho completo para um arquivo de Armazenamento do Azure e selecione a chave Enter.
3. Selecione uma conta.
4. Para um arquivo .txt, selecione um delimitador para extrair o arquivo.

O script de extração é gerado com base em suas entradas. Para um script que não pode detectar as colunas, escolha uma entre as duas opções. Caso contrário, apenas um script será gerado.

Para criar um script de extração do Windows Explorer

Outra maneira de criar o script de extração é por meio do menu de atalho com clique direito no arquivo .csv, .tsv ou .txt no Armazenamento do Azure Data Lake Store ou no Armazenamento de Blobs do Azure.

Próximas etapas

• Desenvolver U-SQL com Python, R e C# para Azure Data Lake Analytics no VS Code
• execução local do U-SQL e depuração local com o Visual Studio Code
• Tutorial : Introdução ao Azure Data Lake Analytics
• Tutorial: Desenvolver scripts U-SQL usando o Data Lake Tools para Visual Studio