Criar uma conexão de dados da Grade de Eventos para o Azure Data Explorer

1. Navegue até o cluster do Azure Data Explorer no portal do Azure.

2. Em Dados, selecione Bancos de Dados>TestDatabase.

   

3. Em Configurações, selecione Conexões de dados e, em seguida, selecione Adicionar conexão de dados>do Evento Grid (armazenamento de Blob).

   

4. Preencha o formulário de conexão de dados da Grade de Eventos com as seguintes informações:

   

   Configuração	Valor sugerido	Descrição do campo
   Nome da conexão de dados	ensaio-ligação à rede	O nome da conexão que você deseja criar no Azure Data Explorer. Os nomes de conexão de dados podem conter apenas caracteres alfanuméricos, traços e pontos e ter até 40 caracteres.
   Subscrição da conta de armazenamento	ID da sua subscrição	O ID de subscrição onde se encontra a sua conta de armazenamento.
   Tipo de evento	Blob criado ou Blob renomeado	O tipo de evento que desencadeia a ingestão. O Blob renomeado é suportado apenas para armazenamento ADLSv2. Para renomear um blob, navegue até o blob no portal do Azure, clique com o botão direito do mouse no blob e selecione Renomear. Os tipos suportados são: Microsoft.Storage.BlobCreated ou Microsoft.Storage.BlobRenamed.
   Conta de armazenamento	gridteststorage1	O nome da conta de armazenamento que você criou anteriormente.
   Criação de recursos	Automático	Ativar a criação automática de recursos significa que o Azure Data Explorer cria uma assinatura do Event Grid, um namespace do Event Hubs e um Event Hub para si. Caso contrário, você precisa criar esses recursos manualmente para garantir a criação da conexão de dados. Consulte Criar recursos manualmente para ingestão do Event Grid

   1. Opcionalmente, você pode acompanhar assuntos específicos da Grade de Eventos. Defina os filtros para as notificações da seguinte forma:

      • Campo de prefixo é o prefixo literal do sujeito. Como o padrão aplicado é começa com, ele pode abranger múltiplos contentores, pastas ou blobs. Não são permitidos curingas.
        • Para definir um filtro no contêiner de blob, o campo deve ser definido da seguinte forma: /blobServices/default/containers/[container prefix].
        • Para definir um filtro em um prefixo de blob (ou uma pasta no Azure Data Lake Gen2), o campo deve ser definido da seguinte maneira: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
      • Campo de sufixo é o sufixo literal do blob. Não são permitidos curingas.
      • O campo sensível a maiúsculas e minúsculas indica se os filtros de prefixo e sufixo são sensíveis a maiúsculas e minúsculas.

      Para obter mais informações sobre como filtrar eventos, consulte Eventos de armazenamento de Blob.

   2. Opcionalmente, você pode especificar as configurações de roteamento de dados de acordo com as informações a seguir. Não é necessário especificar todas as configurações de roteamento de dados. Configurações parciais também são aceitas.

      Configuração	Valor sugerido	Descrição do campo
      Permitir o encaminhamento dos dados para outros bancos de dados (conexão de dados com vários bancos de dados)	Não permitir	Ative essa opção se quiser substituir o banco de dados de destino padrão associado à conexão de dados. Para obter mais informações sobre roteamento de banco de dados, consulte Roteamento de eventos.
      Nome da tabela	TestTable	A tabela que criou em TestDatabase.
      Formato dos dados	JSON	Os formatos suportados são APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT e W3CLOG. As opções de compressão suportadas são zip e gzip.
      Nome do mapeamento	TestTable_mapping	O mapeamento que criaste em TestDatabase, que atribui dados de entrada aos nomes de coluna e tipos de dados de TestTable. Se não for especificado, um mapeamento de dados de identidade derivado do esquema da tabela será gerado automaticamente.
      Ignorar erros de formato	Ignorar	Ative esta opção se quiser ignorar erros de formato para o formato de dados JSON.

      Observação

      Os nomes de tabelas e mapeamentos são sensíveis a maiúsculas e minúsculas.

   3. Opcionalmente, em Configurações avançadas, você pode especificar o tipo de identidade gerenciada usado pela conexão de dados. Por padrão, System-assigned é selecionado.

      Se você selecionar Atribuído pelo usuário, precisará atribuir manualmente uma identidade gerenciada. Se você selecionar um usuário que ainda não está atribuído ao cluster, ele será atribuído automaticamente. Para obter mais informações, consulte Configurar identidades gerenciadas para seu cluster do Azure Data Explorer.

      Se você selecionar Nenhum, a conta de armazenamento e o Hub de Eventos serão autenticados por meio de cadeias de conexão. Este método não é recomendado.

      

5. Selecione Criar

1. Navegue até sua conta de armazenamento no portal do Azure.
2. Selecione Eventos.
3. Na guia Introdução , selecione a guia Azure Data Explorer .
4. No bloco Criar ingestão contínua de dados , selecione Criar.

Escolha o destino para encaminhar os eventos

1. Selecione um cluster no qual você deseja ingerir dados.
2. Selecione um banco de dados de destino.
3. Selecione Selecione.

Criar conexão de dados

1. Preencha o formulário com as informações seguintes:

   

   Configuração	Valor sugerido	Descrição do campo
   Nome da conexão de dados	ensaio-ligação à rede	O nome da conexão que você deseja criar no Azure Data Explorer.
   Subscrição da conta de armazenamento	ID da sua subscrição	O ID de subscrição onde se encontra a sua conta de armazenamento.
   Tipo de evento	Blob criado ou Blob renomeado	O tipo de evento que desencadeia a ingestão. O Blob renomeado é suportado apenas para armazenamento ADLSv2. Para renomear um blob, navegue até o blob no portal do Azure, clique com o botão direito do mouse no blob e selecione Renomear. Os tipos suportados são: Microsoft.Storage.BlobCreated ou Microsoft.Storage.BlobRenamed.
   Conta de armazenamento	gridteststorage1	A conta de armazenamento a partir da qual acedeu a este assistente é preenchida automaticamente.
   Criação de recursos	Automático	Ativar a criação automática de recursos significa que o Azure Data Explorer cria uma assinatura do Event Grid, um namespace do Event Hubs e um Event Hub para si. Caso contrário, você precisa criar esses recursos manualmente para garantir a criação da conexão de dados. Consulte Criar recursos manualmente para ingestão do Event Grid

   1. Opcionalmente, você pode acompanhar assuntos específicos da Grade de Eventos. Defina os filtros para as notificações da seguinte forma:

      • Campo de prefixo é o prefixo literal do sujeito. Como o padrão aplicado é começa com, ele pode abranger múltiplos contentores, pastas ou blobs. Não são permitidos curingas.
        • Para definir um filtro no contêiner de blob, o campo deve ser definido da seguinte forma: /blobServices/default/containers/[container prefix].
        • Para definir um filtro em um prefixo de blob (ou uma pasta no Azure Data Lake Gen2), o campo deve ser definido da seguinte maneira: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
      • Campo de sufixo é o sufixo literal do blob. Não são permitidos curingas.
      • O campo sensível a maiúsculas e minúsculas indica se os filtros de prefixo e sufixo são sensíveis a maiúsculas e minúsculas.

      Para obter mais informações sobre como filtrar eventos, consulte Eventos de armazenamento de Blob.

   2. Opcionalmente, você pode especificar as configurações de roteamento de dados de acordo com as informações a seguir. Não é necessário especificar todas as configurações de roteamento de dados. Configurações parciais também são aceitas.

      Configuração	Valor sugerido	Descrição do campo
      Permitir o encaminhamento dos dados para outros bancos de dados (conexão de dados com vários bancos de dados)	Não permitir	Ative essa opção se quiser substituir o banco de dados de destino padrão associado à conexão de dados. Para obter mais informações sobre roteamento de banco de dados, consulte Roteamento de eventos.
      Nome da tabela	TestTable	A tabela que criou em TestDatabase.
      Formato dos dados	JSON	Os formatos suportados são APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT e W3CLOG. As opções de compressão suportadas são zip e gzip.
      Nome do mapeamento	TestTable_mapping	O mapeamento que criaste em TestDatabase, que atribui dados de entrada aos nomes de coluna e tipos de dados de TestTable. Se não for especificado, um mapeamento de dados de identidade derivado do esquema da tabela será gerado automaticamente.
      Ignorar erros de formato	Ignorar	Ative esta opção se quiser ignorar erros de formato para o formato de dados JSON.

      Observação

      Os nomes de tabelas e mapeamentos são sensíveis a maiúsculas e minúsculas.

   3. Opcionalmente, em Configurações avançadas, você pode especificar o tipo de identidade gerenciada usado pela conexão de dados. Por padrão, System-assigned é selecionado.

      Se você selecionar Atribuído pelo usuário, precisará atribuir manualmente uma identidade gerenciada. Se você selecionar um usuário que ainda não está atribuído ao cluster, ele será atribuído automaticamente. Para obter mais informações, consulte Configurar identidades gerenciadas para seu cluster do Azure Data Explorer.

      Se você selecionar Nenhum, a conta de armazenamento e o Hub de Eventos serão autenticados por meio de cadeias de conexão. Este método não é recomendado.

      

2. Selecione Criar.

O exemplo a seguir mostra um modelo do Azure Resource Manager para adicionar uma conexão de dados da Grade de Eventos. Você pode editar e implantar o modelo no portal do Azure usando o formulário.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the event hub namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "StorageAccounts_storagedemo_name": {
            "type": "string",
            "defaultValue": "storagedemo",
            "metadata": {
                "description": "Specifies the storage account name"
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
             "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the resources"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the resources"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventGrid",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "storageAccountResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.Storage/storageAccounts', parameters('StorageAccounts_storagedemo_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

O exemplo de código a seguir usa o SDK de Armazenamento de Blob do Azure para carregar um arquivo no Armazenamento de Blobs do Azure. O carregamento aciona a conexão de dados da Grade de Eventos, que ingere os dados no Azure Data Explorer.

var azureStorageAccountConnectionString = <storage_account_connection_string>;
var containerName = <container_name>;
var blobName = <blob_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
// Create a new container if it not already exists.
var azureStorageAccount = new BlobServiceClient(azureStorageAccountConnectionString);
var container = azureStorageAccount.GetBlobContainerClient(containerName);
container.CreateIfNotExists();
// Define blob metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new BlobUploadOptions
{
    Metadata = metadata,
};
// Upload the file.
var blob = container.GetBlobClient(blobName);
blob.Upload(localFileName, uploadOptions);

O exemplo de código a seguir usa o SDK do Azure Data Lake para carregar um arquivo no Data Lake Storage Gen2. O carregamento aciona a conexão de dados da Grade de Eventos, que ingere os dados no Azure Data Explorer.

var accountName = <storage_account_name>;
var accountKey = <storage_account_key>;
var fileSystemName = <file_system_name>;
var fileName = <file_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
var sharedKeyCredential = new StorageSharedKeyCredential(accountName, accountKey);
var dfsUri = "https://" + accountName + ".dfs.core.windows.net";
var dataLakeServiceClient = new DataLakeServiceClient(new Uri(dfsUri), sharedKeyCredential);
// Create the filesystem.
var dataLakeFileSystemClient = dataLakeServiceClient.CreateFileSystem(fileSystemName).Value;
// Define file metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new DataLakeFileUploadOptions
{
    Metadata = metadata,
    Close = true // Note: The close option triggers the event being processed by the data connection.
};
// Upload the file.
var dataLakeFileClient = dataLakeFileSystemClient.GetFileClient(fileName);
dataLakeFileClient.Upload(localFileName, uploadOptions);

Renomear objetos blob

No ADLSv2, é possível renomear diretórios. No entanto, é importante observar que renomear um diretório não aciona eventos de renomeação de blobs ou inicia a ingestão de blobs contidos no diretório. Se quiser garantir a ingestão de blobs depois de renomear um diretório, você deve renomear diretamente os blobs individuais dentro do diretório.

O exemplo de código a seguir mostra como renomear um blob em uma conta de armazenamento ADLSv2.

var accountName = <storage_account_name>;
var accountKey = <storage_account_key>;
var fileSystemName = <file_system_name>;
var sourceFilePath = <source_file_path>;
var destinationFilePath = <destination_file_path>;
var sharedKeyCredential = new StorageSharedKeyCredential(accountName, accountKey);
var dfsUri = "https://" + accountName + ".dfs.core.windows.net";
var dataLakeServiceClient = new DataLakeServiceClient(new Uri(dfsUri), sharedKeyCredential);
// Get a client to the the filesystem

var dataLakeFileSystemClient = dataLakeServiceClient.GetFileSystemClient(fileSystemName);
// Rename a file in the file system
var dataLakeFileClient = dataLakeFileSystemClient.GetFileClient(sourceFilePath);
dataLakeFileClient.Rename(destinationFilePath);