Recursos assistivos de IA do Databricks para confiança e segurança

O Databricks entende a importância de seus dados e a confiança que você coloca em nós quando usa nossos recursos assistenciais de IA do Databricks e da plataforma. O Databricks está comprometido com os mais altos padrões de proteção de dados e implementou medidas rigorosas para garantir que as informações enviadas aos recursos assistenciais de IA do Databricks estejam protegidas.

• Seus dados permanecem confidenciais.
  • O Databricks não treina modelos de base generativos com dados que você envia a esses recursos e o Databricks não usa esses dados para gerar sugestões exibidas para outros clientes.
  • Nossos parceiros de modelo não retêm os dados que você envia por meio desses recursos, mesmo para monitoramento de abuso. Nossos recursos assistenciais de IA, impulsionados por parceiros, usam endpoints que não retêm dados de nossos parceiros de modelo.
• Proteção contra resultados prejudiciais. Ao usar a IA aberta do Azure, o Databricks também usa a filtragem de conteúdo do Azure OpenAI para proteger os usuários contra conteúdo prejudicial. Além disso, o Databricks executou uma ampla avaliação com milhares de interações simuladas do usuário para garantir que as proteções implementadas para proteger contra conteúdo nocivo, jailbreaks, geração de código inseguro e uso de conteúdo de direitos autorais de terceiros sejam eficazes.
• O Databricks usa apenas os dados necessários para fornecer o serviço. Os dados são enviados somente quando você interage com os recursos assistenciais de IA do Databricks. O Databricks envia sua solicitação, metadados e valores de tabela relevantes, erros, bem como o código de entrada ou consultas para ajudar a retornar resultados mais relevantes.
• A Databricks não treina modelos de base generativa com dados, prompts ou respostas que você envia a esses recursos. O Databricks não usa esses dados para gerar sugestões exibidas para outros clientes.
• Os dados são protegidos em trânsito e em repouso. Todo o tráfego entre o Databricks e os parceiros de modelo é criptografado em trânsito com a criptografia TLS padrão do setor. Todos os dados armazenados em um workspace do Azure Databricks são criptografados em AES 256 bits.
• O Databricks oferece controles de residência de dados. Os recursos de assistência de IA do Databricks são Serviços Designados e estão em conformidade com os limites de residência de dados. Para mais detalhes, veja Databricks Geos: Residência de dados e Serviços designados do Databricks.

Para saber mais sobre a privacidade do Assistente do Databricks, consulte perguntas frequentes sobre privacidade e segurança.

Perguntas frequentes sobre privacidade e segurança

Quais serviços e modelos os recursos assistenciais de IA alimentados por parceiros usam?

Se a configuração de recursos de IA com parceiro estiver habilitada, os recursos assistenciais de IA do Databricks usarão modelos hospedados pelo serviço Azure OpenAI ou Antropic on Databricks. Se você desativar a configuração de recursos de IA potenciados por parceiros, alguns recursos assistenciais de IA poderão utilizar um modelo hospedado pelo Databricks. Para obter mais informações, consulte os recursos de IA potencializados por parceiros.

Quais dados são enviados para os modelos?

O Databricks envia apenas os dados necessários para fornecer o serviço, que podem ser diferentes para cada recurso.

O Assistente do Databricks envia seu prompt (por exemplo, sua pergunta ou código), bem como metadados relevantes para o modelo que alimenta o recurso em cada solicitação de API. Isso ajuda a retornar resultados mais relevantes para seus dados. Os exemplos incluem:

• Código e consultas na célula de notebook atual ou na guia do editor SQL
• Nomes e descrições de tabelas e colunas
• Perguntas anteriores
• Tabelas favoritas

O Modo de Agente Assistente, agora em Beta, também pode analisar saídas de células e ler amostras de dados de tabelas, semelhantes a outros agentes de codificação no setor.

O Genie usa o prompt fornecido, metadados e valores relevantes da tabela, erros, bem como código de entrada ou consultas para gerar uma resposta.

Para processar respostas, o Genie usa o seguinte:

• O prompt de linguagem natural enviado pelo usuário
• Nomes e descrições de tabelas
• Valores relevantes
• Instruções gerais
• Exemplo de consultas SQL
• Funções do SQL

Para comentários gerados por IA, o Databricks envia os seguintes metadados para os modelos com cada solicitação de API:

• Catálogo (nome do catálogo, comentário atual, tipo de catálogo)
• Esquema (nome do catálogo, nome do esquema, comentário atual)
• Tabela (nome do catálogo, nome do esquema, nome da tabela, comentário atual)
• Função (nome do catálogo, nome do esquema, nome da função, comentário atual, parâmetros, definição)
• Modelo (nome do catálogo, nome do esquema, nome do modelo, comentário atual, aliases)
• Volume (nome do catálogo, nome do esquema, nome do volume, comentário atual)
• Nomes de coluna (nome da coluna, tipo, chave primária ou não, comentário da coluna atual)

Os provedores de modelo de parceiro armazenam meus dados?

Não. Ao usar modelos de parceiros por meio do Databricks, os provedores de modelo de parceiro não armazenam prompts ou respostas.

Onde as respostas dos recursos assistenciais de IA são armazenadas?

As respostas do Genie e os comentários aprovados gerados por IA são armazenados no banco de dados do plano de controle do Databricks. O banco de dados do plano de controle é criptografado em AES-256 bits.

O histórico de chat do assistente é armazenado no mesmo lugar que outro conteúdo do bloco de anotações.

Os dados enviados aos modelos respeitam as permissões do Unity Catalog do usuário?

Sim, todos os dados enviados para modelos de funcionalidades assistivas de IA respeitam as permissões do Catálogo do Unity, então nenhum dado ao qual os usuários não têm acesso é enviado para esses modelos.

Outros usuários podem ver meu histórico de chat com o Assistente ou o Gênio?

As interações com o Assistente são visíveis apenas para o usuário que as iniciou.

Os gerentes de espaço do Genie podem ver as mensagens de outros usuários, mas não os resultados da consulta.

O Genie ou o Assistente do Databricks executam código?

O Genie foi projetado com acesso de leitura aos dados do cliente, portanto, ele só pode gerar e executar consultas SQL de leitura.

Com o Modo do Agente, o Assistente pode executar código no notebook e no editor do SQL. No início, o Assistente solicitará a confirmação para prosseguir com a execução. Você pode optar por confirmar, sempre permitir a execução no thread do Assistente atual ou sempre permitir a execução. Outros modos assistentes não executam código automaticamente em seu nome.

Os modelos de IA podem cometer erros, entender mal a intenção e alucinar ou dar respostas incorretas. Examine e teste o código gerado por IA antes de executá-lo.

O Databricks fez qualquer avaliação para avaliar a precisão e a adequação das respostas dos recursos assistenciais de IA?

Sim, o Databricks fez testes extensivos de todos os nossos recursos assistenciais de IA com base em seus casos de uso esperados e usando entradas de usuário simuladas para aumentar a precisão e a adequação das respostas. Dito isto, a IA generativa é uma tecnologia emergente, e os recursos assistenciais de IA podem fornecer respostas imprecisas ou inadequadas.

Posso usar recursos assistenciais de IA com tabelas que processam dados regulamentados (PHI, PCI, IRAP, FedRAMP)?

Sim. Para fazer isso, você precisa cumprir os requisitos, como habilitar o perfil de segurança de conformidade e adicionar o padrão de conformidade relevante como parte da configuração do perfil de segurança de conformidade.

Como meu tráfego é gerenciado e roteado através do sistema Geos?

Os recursos assistenciais de IA do Databricks são serviços designados que usam o Databricks Geos para gerenciar a residência de dados ao processar o conteúdo do cliente. O roteamento de tráfego depende da sua região e se o processamento entre regiões geográficas está habilitado (o processamento de dados dentro da geografia do workspace para serviços designados está desabilitado).

Como os recursos assistenciais de IA funcionam com modelos hospedados pelo Databricks?

Quando os recursos assistenciais de IA do Databricks usam modelos hospedados pelo Databricks, eles usam OSS gpt openai ou outros modelos que estão disponíveis para uso comercial. Consulte informações sobre licenciamento e uso de modelos de IA generativos.

O diagrama a seguir fornece uma visão geral de como um modelo hospedado pelo Databricks alimenta recursos de IA do Databricks, como Correção Rápida.

1. Um usuário executa uma célula de notebook, o que resulta em um erro.
2. O Databricks anexa metadados a uma solicitação e os envia para um LLM (modelo de linguagem grande) hospedado pelo Databricks. Todos os dados são criptografados quando inativos. Os clientes podem usar uma CMK (chave gerenciada pelo cliente).
3. O modelo hospedado pelo Databricks responde com as edições de código sugeridas para corrigir o erro, que é exibido para o usuário.