Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Este artigo fornece informações sobre como medir o impacto do Assistente do Databricks em termos de adoção, envolvimento e ganhos de produtividade relatados.
Requisitos
Para medir o impacto do Assistente do Databricks, você precisa de uma pesquisa interna para obter comentários subjetivos sobre o Assistente de sua equipe.
Dados versus métricas
Você obtém dados brutos das tabelas do sistema e de uma pesquisa. Para entender o impacto do Assistente, você deve analisar e relatar dados como métricas. As métricas são valores calculados que você usa para medir aspectos específicos ou atividades relacionadas ao impacto do Assistente. Este artigo também se refere às métricas como medidas.
Dicas para medir o impacto do Assistente
Para entender como sua organização está usando o Assistente do Databricks, comece medindo sua adoção e envolvimento com o Assistente do Databricks. Esses dados podem ser calculados a partir de tabelas do sistema.
Para visualizar a atividade da tabela do sistema para o Databricks Assistant, faça o download do arquivo do painel de eventos do Assistant no GitHub.
Depois de baixar o arquivo JSON, importe o painel para o workspace. Para obter instruções sobre como importar painéis, confira Importar um arquivo de painel.
Métricas de impacto do assistente
A tabela a seguir contém medidas recomendadas de impacto do Assistente, tanto de tabelas do sistema quanto de comentários do usuário.
O levantamento de sua organização também ajuda você a entender a eficácia de seu envolvimento com o Assistente. Consulte as perguntas recomendadas da pesquisa.
| Medida | Definição | Etapa | Fonte de dados |
|---|---|---|---|
| Principais usuários no geral | Usuários em determinado período que interagem com mais frequência com o Assistente | Adopção | Calcule com base nos dados da tabela de sistema do Assistente Databricks. |
| Dados de envios: por espaço de trabalho e total | Número de solicitações enviadas ao Assistente por workspace e por conta | Adopção | Calcule com base nos dados da tabela de sistema do Assistente Databricks. |
| Usuários ativos por dia e mês | Usuários exclusivos que receberam e aceitaram mais de 1 sugestão ou participaram de mais de 1 chats em um determinado dia. | Engajamento | Calcule com base nos dados da tabela de sistema do Assistente Databricks. |
| Usuários ativos por espaço de trabalho | Usuários exclusivos em um determinado workspace que interagem com o Assistente | Engajamento | Calcule com base nos dados da tabela de sistema do Assistente Databricks. |
| Principais funções de trabalho usando o Assistente do Databricks | Número de pessoas de cada função identificada em sua organização que usam o Assistente | Engajamento | Pesquisa da sua organização |
| Principais tarefas para o Assistente | As tarefas mais comuns que o Assistente ajuda com | Engajamento | Pesquisa da sua organização |
| Com que frequência você usa o Assistente | Frequência autorre relatoda do uso do Assistente por usuário | Engajamento | Pesquisa da sua organização |
| Principais áreas de uso do Assistente | Áreas de uso autodeclaradas: editor de SQL, notebooks, ou ambos | Engajamento | Pesquisa da sua organização |
| Satisfação do usuário com a ajuda do Assistente | Satisfação autorreposta com as respostas do Assistente em uma escala de 1 a 5 | Satisfação do usuário | Pesquisa da sua organização |
| Ganhos na produtividade do usuário | Aumento de produtividade auto-relatado obtido usando o Assistente em uma escala de 1 a 5 | Satisfação do usuário | Pesquisa da sua organização |
| Tempo que os usuários economizam usando o Assistente | Porcentagem de tempo auto-relatado economizado ao usar o Assistente para concluir tarefas | Satisfação do usuário | Pesquisa da sua organização |
Perguntas recomendadas da pesquisa
As tabelas do sistema não capturarão todas as informações sobre como sua organização usa o Assistente do Databricks. Use perguntas de pesquisa, como as abaixo, para entender como sua organização usa o Assistente.
- Qual é o seu papel? Listar funções em sua organização
- Com que frequência você usa o Assistente?
- Por hora
- Diariamente
- Semanalmente
- Mensalmente
- Onde você usa o Assistente de IA?
- Editor de SQL
- Notebooks
- Ambos
- Quais são seus principais casos de uso para o Assistente?
- Correção de erros/solução de problemas
- Ajudar a escrever código
- Refatoração de código
- Escrevendo consultas SQL
- Escrevendo testes de unidade
- Consultando documentação
- Qual é o seu nível de satisfação com as respostas do Assistente? Escala de 1 a 5, de não satisfeito a extremamente satisfeito
- Desde que usou o Assistente de IA, você diria que é mais produtivo? Escala de 1 a 5, muito menos produtiva para muito mais produtiva
- Quanto tempo você acredita que economiza em uma tarefa média usando o Assistente?
- 0-10%
- 30/10%
- 30% a 50%
- 50-70%
- Mais de 70%