O que é uma definição de trabalho do Apache Spark?

Uma definição de tarefa do Apache Spark é um item de código do Microsoft Fabric que permite enviar tarefas em lote/streaming para clusters do Spark. Ao carregar os arquivos binários da saída de compilação de diferentes idiomas (por exemplo, .jar do Java), você pode aplicar uma lógica de transformação diferente aos dados hospedados em um lakehouse. Além do arquivo binário, você pode personalizar ainda mais o comportamento do trabalho carregando mais bibliotecas e argumentos de linha de comando.

Para executar uma definição de trabalho do Spark, você deve ter pelo menos uma lakehouse associada a ela. Esse contexto padrão do Lakehouse serve como o sistema de arquivos padrão para o runtime do Spark. Para qualquer código Spark que utilize um caminho relativo para leitura/gravação de dados, os dados são fornecidos do lakehouse padrão.

Próximas etapas