Automatización de la configuración del catálogo de Unity mediante Terraform

Puede automatizar la configuración del catálogo de Unity mediante el proveedor de Terraform de Databricks. En este artículo se proporcionan vínculos a la guía de implementación del catálogo de Unity del proveedor de Terraform y a la documentación de referencia de recursos, junto con los requisitos ("Antes de comenzar") y las sugerencias de validación e implementación.

Antes de empezar

Para automatizar la configuración del catálogo de Unity mediante Terraform, debe tener lo siguiente:

• La cuenta de Azure Databricks debe tener el plan Premium.
• En el inquilino de Azure, deberá tener el permiso necesario para crear los siguientes elementos:
  • Una cuenta de almacenamiento que se usará con Azure Data Lake Storage. Consulte Creación de una cuenta de almacenamiento para su uso con Azure Data Lake Storage habilitado.
  • Un nuevo recurso para mantener una identidad administrada asignada por el sistema. Esto requiere que sea Contributor o Owner de un grupo de recursos en cualquiera de las suscripciones del inquilino.

Para usar el proveedor de Terraform de Databricks para configurar un metastore para Unity Catalog, el almacenamiento para el metastore, cualquier almacenamiento externo y todas sus credenciales de acceso relacionadas, debe tener lo siguiente:

• Una cuenta de Azure.

• Un usuario administrador de nivel de cuenta en la cuenta de Azure.

• En la máquina de desarrollo local, debe tener:

  • La CLI de Terraform. Consulte la sección de descarga de Terraform del sitio web de Terraform.

  • La CLI de Azure, que ha iniciado sesión mediante el comando az login con un usuario que tiene derechos Contributor o Owner a la suscripción. Consulte Cómo instalar la CLI de Azure. Para iniciar sesión con una cuenta de usuario o una entidad de servicio, consulte Inicio de sesión con la CLI de Azure.

    Nota:

    Al autenticarse con herramientas, sistemas, scripts y aplicaciones automatizados, es un procedimiento recomendado de seguridad para iniciar sesión a través del comando az login con una entidad de servicio de Id. de Microsoft Entra. Consulte Inicio de sesión con un principal del servicio y Autenticación con el principal del servicio de Azure.

Para usar el proveedor de Terraform de Databricks para configurar todos los demás componentes de infraestructura del catálogo de Unity, debe tener lo siguiente:

• Un área de trabajo de Azure Databricks.

• En la máquina de desarrollo local, debe tener:

  • La CLI de Terraform. Consulte la sección de descarga de Terraform del sitio web de Terraform.

  • Uno de los siguientes:

    • La CLI de Databricks, versión 0.205 o posterior, se configura con el token de acceso personal de Azure Databricks ejecutando databricks configure --host <workspace-url> --profile <some-unique-profile-name>. Consulte Instalación o actualización de la CLI de Databricks y autenticación de token de acceso personal (en desuso).

      Nota:

      Como procedimiento recomendado de seguridad, al autenticarse con herramientas automatizadas, sistemas, scripts y aplicaciones, Databricks recomienda usar tokens de acceso personales que pertenecen a entidades de servicio en lugar de usuarios del área de trabajo. Para crear tokens para entidades de servicio, consulte Administrar tokens para una entidad de servicio.

    • La CLI de Azure inició sesión a través del comando az login. Consulte Cómo instalar la CLI de Azure. Para iniciar sesión con una cuenta de usuario o una entidad de servicio, consulte Inicio de sesión con la CLI de Azure.

      Nota:

      Al autenticarse con herramientas, sistemas, scripts y aplicaciones automatizados, es un procedimiento recomendado de seguridad para iniciar sesión a través del comando az login con una entidad de servicio de Id. de Microsoft Entra. Consulte Inicio de sesión con un principal del servicio y Autenticación con el principal del servicio de Azure.

    • Las dos siguientes variables de entorno de Azure Databricks:

      • DATABRICKS_HOST, se establece en el valor de la dirección URL de la instancia del área de trabajo, por ejemplo https://dbc-1234567890123456.cloud.databricks.com
      • DATABRICKS_TOKEN, se establece en el valor del token de acceso personal de Azure Databricks o el token de Microsoft Entra ID (anteriormente Azure Active Directory). Consulte también Supervisión y revocación de tokens de acceso personal.

      Para establecer estas variables de entorno, consulte la documentación del sistema operativo.

      Nota:

      Como procedimiento recomendado de seguridad, al autenticarse con herramientas automatizadas, sistemas, scripts y aplicaciones, Databricks recomienda usar tokens de acceso personales que pertenecen a entidades de servicio en lugar de usuarios del área de trabajo. Para crear tokens para entidades de servicio, consulte Administrar tokens para una entidad de servicio.

Guía de implementación del catálogo de Unity del proveedor de Terraform y documentación de referencia de recursos

Para obtener información sobre cómo implementar todos los requisitos previos y habilitar el catálogo de Unity para un área de trabajo, consulte Implementación de recursos de requisitos previos y habilitación del catálogo de Unity en la documentación del proveedor de Terraform de Databricks.

Si ya tiene algunos componentes de infraestructura del catálogo de Unity implementados, puede usar Terraform para implementar componentes adicionales de infraestructura del catálogo de Unity según sea necesario. Consulte cada sección de la guía a la que se hace referencia en el párrafo anterior y la sección del Catálogo de Unity de la documentación del proveedor de Terraform de Databricks.

Validar, planear, implementar o destruir los recursos

• Para validar la sintaxis de las configuraciones de Terraform sin implementarlas, ejecute el terraform validate comando .
• Para mostrar las acciones que Terraform realizaría para implementar las configuraciones, ejecute el terraform plan comando . Este comando no implementa realmente las configuraciones.
• Para implementar las configuraciones, ejecute el terraform deploy comando .
• Para eliminar los recursos implementados, ejecute el terraform destroy comando .