Definir o catálogo e o esquema de destino

A seção Local padrão para ativos de dados da interface do usuário de configuração do pipeline define o catálogo e o esquema padrão para um pipeline. Esse catálogo e esquema padrão são usados para todas as definições de conjunto de dados e leituras de tabela, a menos que sejam substituídos na consulta.

Direcionar um conjunto de dados em um catálogo ou esquema diferente

O Lakeflow Spark Declarative Pipelines suporta semântica de resolução de identificador de três camadas. O Databricks recomenda o uso de identificadores totalmente qualificados para consultas e instruções que visam conjuntos de dados diferentes dos padrões configurados para seu pipeline. Consulte a resolução de identificador do Catálogo Unity . Por exemplo, para criar uma vista materializada chamada regional_sales no catálogo main e no esquema stores, que não são os padrões do pipeline, qualifique o nome integralmente, como main.stores.regional_sales:

Python

from pyspark import pipelines as dp

@dp.materialized_view(name="main.stores.regional_sales")
def func():
  return spark.read.table("partners");

SQL

CREATE OR REPLACE MATERIALIZED VIEW main.stores.regional_sales
  AS SELECT *
  FROM partners;

Os pipelines suportam os comandos SQL USE CATALOG catalog_name e USE SCHEMA schema_name. Execute estes comandos para definir o catálogo atual e o esquema com escopo para o arquivo ou bloco de anotações que contém esses comandos. As operações que seguem esses comandos no arquivo de código-fonte e usam identificadores não qualificados ou parcialmente qualificados são resolvidas para o catálogo e o esquema atuais em vez dos valores padrão definidos na configuração do pipeline. Consulte Qual é o catálogo e esquema atuais?.

O que acontece se um conjunto de dados não existir?

A tabela a seguir descreve o comportamento quando o código-fonte do pipeline faz referência a conjuntos de dados que não existem: