função de streaming com valor de tabela read_kinesis

Aplica-se a: SQL do Databricks Databricks Runtime 13.3 LTS e versões posteriores

Retorna uma tabela com registros lidos do Kinesis de um ou mais fluxos.

Sintaxe

read_kinesis ( { parameter => value } [, ...] )

Argumentos

read_kinesis requer invocação de parâmetro nomeado.

O único argumento necessário é streamName. Todos os outros argumentos são opcionais.

As descrições dos argumentos são breves aqui. Para obter mais detalhes, confira a documentação do Amazon Kinesis.

Há várias maneiras de se conectar e autenticar com o AWS. A abordagem recomendada é criar uma credencial de serviço do Databricks e especificá-la usando a opção serviceCredential . Como alternativa, você pode autenticar usando awsAccessKey e awsSecretKey. Essas opções podem ser especificadas nos argumentos de função usando a secret função, definidas manualmente nos argumentos ou configuradas como variáveis de ambiente, conforme indicado abaixo. roleArn, roleExternalID e roleSessionName também podem ser usados para autenticar com a AWS usando perfis de instância. Se nenhum deles for especificado, será usada a cadeia de provedores padrão da AWS.

Os seguintes argumentos são usados para controlar a taxa de transferência de leitura e a latência do Kinesis:

Retornos

Uma tabela de registros Kinesis com o seguinte esquema:

As colunas (stream, shardId, sequenceNumber) constituem uma chave primária.

Exemplos

-- Streaming Ingestion from Kinesis
> CREATE STREAMING TABLE testing.streaming_table AS
    SELECT * FROM STREAM read_kinesis (
        streamName => 'test_databricks',
        awsAccessKey => secret('test-databricks', 'awsAccessKey'),
        awsSecretKey => secret('test-databricks', 'awsSecretKey'),
        initialPosition => 'earliest');

-- The data would now need to be queried from the testing.streaming_table

-- A streaming query when the environment variables already contain AWS_ACCESS_KEY_ID and AWS_SECRET_ACCESS_KEY configured
> CREATE STREAMING TABLE testing.streaming_table AS
    SELECT * FROM STREAM read_kinesis (
        streamName => 'test_databricks',
        initialPosition => 'earliest');

-- A streaming query when the roleArn, roleSessionName, and roleExternalID are configured
> CREATE STREAMING TABLE testing.streaming_table AS
    SELECT * FROM STREAM read_kinesis (
        streamName => 'test_databricks',
        initialPosition => 'earliest',
        roleArn => 'arn:aws:iam::123456789012:role/MyRole',
        roleSessionName => 'testing@databricks.com');

Funções relacionadas

• sequence função
• read_kafka Função com valor de tabela
• função de streaming com valor de tabela read_pubsub