STREAMING_REAL_TIME_MODE condição de erro

SQLSTATE: 0A000

O modo de streaming em tempo real tem a seguinte limitação:

ARBITRARY_STATEFUL_OPERATIONS_NOT_SUPPORTED

O operador de streaming com estado arbitrário, <op>, não é suportado atualmente. Consulte o Guia do Utilizador do Modo Real-Time para obter uma lista dos operadores suportados.

INTERVALO_DE_VERIFICAÇÃO_DE_PROGRESSO_ASSÍNCRONO_NÃO_ZERO

O intervalo de pontos de verificação para o acompanhamento de progresso assíncrono deve ser definido em 0, o que significa que cada atualização de progresso é passível de checkpoint. Defina a opção asyncProgressTrackingCheckpointIntervalMs a 0 nas opções DataStreamWriter e tente novamente a sua consulta.

BATCH_UNION_NOT_SUPPORTED

O modo em tempo real não suporta a união com fontes de dados em lote. Certifique-se de que a consulta de 'union' de streaming contenha apenas fontes de dados de streaming.

CLUSTER_CONFIGURATION_NOT_SUPPORTED

Não há suporte para a(s) seguinte(s) configuração(ões):

<invalidReasons>. Defina spark.databricks.streaming.realTimeMode.enabled como true na configuração do cluster, remova <confNames> da configuração do cluster, se houver, e reinicie o cluster do Spark.

DROP_DUPLICATES_WITHIN_WATERMARK_NOT_SUPPORTED

dropDuplicatesWithinWatermark não é suportado. Para contornar essa limitação, você pode usar dropDuplicates em vez disso. Lembre-se de passar a sua coluna de hora do evento para a função dropDuplicates para que o estado possa ser removido.

EVENT_TIME_BASED_TIMERS_IN_TRANSFORM_WITH_STATE_NOT_SUPPORTED

Os temporizadores baseados em tempo de evento no operador transformWithState ainda não são suportados. Se você quiser usar o operador transformWithState, especifique o tempo de processamento no operador transformWithState e tente novamente a consulta.

EXACTLY_ONCE_SINK_NÃO_SUPORTADO

O coletor: <sink> fornece saída exatamente uma vez, o que não é suportado pelo modo em tempo real. Defina a opção de coletor 'mode' como 'atLeastOnce' e tente novamente sua consulta.

IDENTICAL_SOURCES_IN_UNION_NOT_SUPPORTED

O modo em tempo real não suporta união em duas ou mais fontes de dados de streaming idênticas em uma única consulta. Isso inclui cenários como referenciar o mesmo DataFrame de origem mais de uma vez ou usar duas fontes de dados com configurações idênticas para algumas fontes. Para Kafka, evite reutilizar o mesmo DataFrame e crie outros diferentes. Para o Kinesis, além de duplicar quadros de dados, certifique-se de que cada DataFrame defina um valor exclusivo para a opção "consumerName". Fontes fornecidas na consulta: <sources>

INPUT_STREAM_NOT_SUPPORTED

O fluxo de <className> entrada não é suportado. Consulte o Guia do Usuário do Modo Real-Time para obter uma lista de fluxos de entrada suportados.

OPERATOR_OR_SINK_NOT_IN_ALLOWLIST

O <errorType>(s): <message> não está na <errorType> lista de permissões para o Modo Real-Time. Para ignorar essa verificação, defina spark.databricks.streaming.realTimeMode.allowlistCheck como false. Ao alterar isso, você concorda em executar a consulta por sua conta e risco.

OUTPUT_MODE_NOT_SUPPORTED

O modo de saída <outputMode> não é suportado. Para contornar essa limitação, defina o modo de saída como Atualizar. No futuro, <outputMode> poderá ser apoiado.

SESSION_WINDOWS_NOT_SUPPORTED

As janelas de sessão ainda não são suportadas. As únicas agregações com janelas permitidas são sobre janelas fixas e deslizantes.

SHUFFLE_MORE_THAN_ONCE

Há <shuffleCount> operadores de streaming shuffle no plano físico. Provavelmente, você está chamando as operações que exigem shuffle mais de uma vez, e o RTM não oferece suporte a isso. Para executar a consulta, defina spark.databricks.streaming.realTimeMode.allowlistCheck como false. Ao alterar isso, você concorda em executar a consulta por sua conta e risco.

SINK_NOT_SUPPORTED

O <className> lavatório atualmente não tem suporte. Consulte o Guia do Usuário do Modo Real-Time para obter uma lista de coletores suportados.

SQL_CONFIGURATION_NOT_SUPPORTED

Não há suporte para a(s) seguinte(s) configuração(ões):

<invalidReasons>. Defina spark.databricks.streaming.realTimeMode.enabled como true na configuração do cluster, remova <confNames> da configuração do SparkSession, se houver, e reinicie o cluster do Spark.

STATEFUL_OPERATORS_BEFORE_UNION_NOT_SUPPORTED

As consultas de streaming no modo tempo real não podem incluir operadores com estado (por exemplo, agregação, deduplicação, transformWithState) antes de uma união. Por favor, reestruture sua consulta para aplicar a união antes de qualquer operação com estado.

STREAM_STREAM_JOIN_NOT_SUPPORTED

Ainda não é suportado nenhum tipo de junção de streaming.