Nota
O acesso a esta página requer autorização. Podes tentar iniciar sessão ou mudar de diretório.
O acesso a esta página requer autorização. Podes tentar mudar de diretório.
A página Análise no Copilot Studio fornece informações agregadas sobre a eficácia geral do seu agente nas sessões de análise. A página está dividida em áreas principais que se focam em diferentes contextos de desempenho. A página também apresenta uma área de Descrição Geral que fornece métricas de indicadores chave de desempenho (KPI) de alto nível para o seu agente, uma área de Poupança que analisa poupanças de tempo e custos atribuídas ao seu agente ou às suas ferramentas, e uma área de Resumo que fornece informações analíticas chave sobre o desempenho do seu agente.
Para obter mais informações:
- As áreas de Resumo e Descrição Geral, veja Descrição geral de análise
- Na área de Poupança, veja Analisar poupanças de tempo e custos para agentes
Há seis áreas principais nas quais se deve concentrar ao rever e melhorar a eficácia dos agentes conversacionais:
- Temas: Os temas ajudam-no a obter informações de análise ao agrupar as perguntas dos utilizadores em categorias sugeridas por IA.
- Resultados da conversação: Conhecer o resultado final de uma conversação ajuda-o a começar a identificar onde o seu agente está a ter sucesso e onde precisa de melhorias.
- Agentes: veja as métricas de volume de chamadas, as taxas de sucesso e o estado atual dos agentes subordinados e ligados.
- Taxa de resposta gerada e qualidade: Compreender quando o agente tem dificuldades em fornecer respostas às perguntas dos utilizadores e como utiliza fontes de conhecimento pode ajudá-lo a encontrar formas de melhorar a taxa e a qualidade das respostas do seu agente.
- Utilização de ferramentas: Aprender com que frequência as ferramentas são usadas e com que frequência têm sucesso pode ajudá-lo a perceber se essas ferramentas são úteis e bem-sucedidas para os utilizadores.
- Satisfação: Rever os comentários dos utilizadores ajuda-o a identificar novos cenários e problemas, e a fazer melhorias diretamente com base no que os seus utilizadores estão a pedir.
Pode consultar análises de eventos que ocorreram nos últimos 90 dias.
Resultados da conversação
A secção de Resultados da conversação mostra um gráfico que monitoriza o tipo de resultado de cada sessão entre o agente e os utilizadores.
O gráfico, quer seja apresentado como um histograma empilhado ou um gráfico de áreas empilhadas, visualiza os volumes relativos de resultados, codificados por cores e empilhados por tipo. Cada um dos tipos Resolvida, Escalada, Abandonada e Sem cativação é representado pelas respetivas cores para cada ponto de dados. O eixo Y indica o número de sessões.
Para ver métricas sobre resultados individuais específicos de um ponto de dados (um dia específico), faça pairar o cursor sobre uma área que representa a cor de um resultado de interesse (por exemplo, azul-petróleo para sessões Abandonadas) no dia que lhe interessa. No exemplo, houve 90 sessões abandonadas, representando 35,6% de todos os resultados das sessões de 24 de novembro.
Na legenda abaixo do gráfico, faça pairar o cursor sobre qualquer uma das etiquetas de resultados para realçar esse resultado no gráfico.
Selecione (ativar ou desativar) uma ou várias etiquetas de legenda para mostrar ou ocultar resultados do gráfico de áreas empilhadas. Faça isto para tornar mais claros os resultados que permanecem quando:
- As linhas de resultados individuais aparecem visualmente próximas umas das outras.
- Pretendemos ver mais claramente quando as linhas de tendência têm uma tendência positiva ou negativa, mas o agregado de resultados empilhados no gráfico está a aplanar estas linhas de tendência.
Nota
Quando se remove um resultado do gráfico desta forma, remove-se esse resultado do conjunto maior de resultados apresentados. Remover os resultados apresentados altera o valor percentual apresentado de qualquer resultado restante em relação ao conjunto porque altera o denominador do rácio.
No exemplo seguinte, as etiquetas Escalado e Sem cativação foram removidas da tabela. A descrição mostra que houve 95 sessões abandonadas a 23 de novembro, o que representa 60,5% dos restantes resultados visíveis no gráfico (sendo a soma dos resultados das sessões Resolvidas + Abandonadas).
Para transferir os dados dos resultados das conversações (dados visualizados no gráfico), selecione o ícone do menu 
e selecione Transferir CSV.
Nota
Se algum resultado tiver sido removido do gráfico ao fazer download, os respetivos dados não aparecem no CSV.
Para abrir um painel lateral com informações detalhadas sobre os resultados das conversações, selecione Ver detalhes no gráfico. O painel lateral Resultados da conversação inclui:
- Um gráfico circular dos resultados das sessões, mostrando a ponderação relativa (expressa em percentagem) dos resultados das sessões Resolvidas, Escaladas e Abandonadas.
- Um gráfico de barras empilhadas que mostra a ponderação relativa (expressa em percentagem) dos motivos dos resultados Resolvida com confirmação e Resolvida implicitamente que descrevem todos os resultados das sessões resolvidas.
- Um gráfico de barras empilhadas que mostra a ponderação relativa (expressa em percentagem) dos motivos de resultados de sessões Previstas pelo sistema, Não previstas pelo sistema e Pedidas pelo utilizador, que descrevem todos os resultados de sessões escaladas.
- Os tópicos principais que conduziram a cada resultado.
Nota
Para ver uma descrição com informações de contagem não processadas, faça pairar o cursor sobre qualquer segmento do gráfico circular ou do gráfico de barras empilhadas.
Uma sessão enquadra-se num dos seguintes dois estados:
Sem cativação: Uma sessão começa quando um utilizador interage com o seu agente ou quando o agente envia uma mensagem proativa ao utilizador. A sessão começa num estado sem cativação.
Com cativação: O utilizador interage ativamente com o agente. Há uma diferença de comportamento consoante o modo de orquestração do agente.
Orquestração clássica: Uma sessão torna-se com cativação quando um dos seguintes tópicos é acionado:
- Tópico personalizado acionado diretamente pelo utilizador
- Escalar tópico
- Tópico de contingência
- Tópico de reforço da conversação
Orquestração de IA generativa: Uma sessão torna-se com cativação quando um utilizador aciona diretamente um plano e inclui um dos seguintes elementos:
- Tópico não pertencente ao sistema
- Escalar tópico
- Tópico de contingência
- Uma fonte de conhecimento
- Uma ferramenta
Uma sessão com cativação tem um dos seguintes resultados:
| Categoria dos resultados | Negativo | Descrição |
|---|---|---|
| Resolvida | Uma sessão termina com êxito. Existem dois tipos de sessões resolvidas: sessões Resolvidas com confirmação e Resolvidas implicitamente. | |
| Resolvida com confirmação | Uma sessão é considerada Resolvida com confirmação quando o tópico Fim da conversação é acionado e o utilizador confirma que a interação foi um êxito. | |
| Resolvida implicitamente | Uma sessão é Resolvida implicitamente quando a sessão é concluída sem confirmação do utilizador, mas com base na lógica do agente. O estado Resolvida implicitamente depende se o agente utiliza orquestração Clássica ou de IA generativa: - Orquestração clássica: uma sessão é considerada Resolvida implicitamente quando o tópico Fim da conversação é acionado e o utilizador deixa a sessão expirar sem fornecer uma confirmação. - Orquestração de IA generativa: uma sessão é considerada Resolvida implicitamente quando uma sessão expira e não há planos ativos restantes. Um plano ativo é um plano que aguarda a entrada de um utilizador. |
|
| Escalado | Uma sessão termina mas é considerada Escalada quando o tópico Escalar é acionado ou é executado um nó Transferir para o agente (a sessão atual de análise termina, quer a conversação seja transferida para um agente ativo ou não). Existem três tipos de sessões escaladas: Prevista pelo sistema, Não prevista pelo sistema e Pedida pelo utilizador. | |
| Prevista pelo sistema | Uma sessão é escalada automaticamente como resultado de uma regra de negócio automática definida por um criador. O escalamento é um resultado esperado da conversação e não é algo que precise de ser investigado ou alterado. Exemplo: um utilizador gostaria de transferir mais de 25.000 USD para um terceiro. Este valor ultrapassa um limiar numa regra de negócio e a sessão é automaticamente escalada como resultado. |
|
| Não prevista pelo sistema | Uma escalada ocorre automaticamente como resultado de uma sessão exceder um ou mais limiares definidos por um criador. Normalmente, isto indica que o utilizador está preso na conversa e precisa de ajuda. Exemplo: uma sessão é escalada após três falhas na execução de uma determinada tarefa. |
|
| Pedida pelo utilizador | Uma sessão é escalada porque houve um pedido explícito do utilizador durante a conversação. Exemplo: um utilizador introduz |
|
| Abandonada | Uma sessão termina e é considerada Abandonada quando uma sessão de interação expira após 30 minutos e não atingiu um estado resolvido ou escalado. |
Também pode definir o resultado das ferramentas com o parâmetro conversationOutcome utilizando o editor de código da ferramenta. Por exemplo, conversationOutcome: ResolvedConfirmed para sucesso confirmado ou conversationOutcome: ResolvedImplied para sucesso implícito.
Consulte a documentação de orientações Medir o envolvimento dos copilotos para sugestões e melhores práticas sobre como medir e melhorar a cativação.
Agentes
A lista de Agentes mostra métricas de volume, desempenho e estado de alto nível para agentes ligados e subordinados do seu agente principal. A lista identifica o tipo de relação que o agente listado tem com o seu agente principal na coluna Tipo. Se um agente for um agente subordinado, o seu tipo é Child. Os agentes ligados têm um tipo listado que reflete onde foram criados (por exemplo, Copilot Studio, Azure AI Foundry). A métrica de Chamadas para cada agente listado descreve o volume de chamadas do agente principal para o agente ligado ou subordinado. A taxa de sucesso reflete a proporção de chamadas (em percentagem de todas as chamadas) que foram concluídas com sucesso. O Estado indica o estado administrativo individual de cada agente ligado e agente subordinado.
Por predefinição, a lista de Agentes mostra os cinco (5) principais agentes ligados e subordinados do seu agente principal, classificados do maior ao menor número total de perguntas. Se houver mais de cinco agentes, selecione Ver todos para apresentar todos os agentes.
Nota
O botão Ver tudo só é visível se houver mais de cinco agentes ligados ou subordinados ao seu agente principal.
Taxa de resposta gerada e qualidade (pré-visualização)
Importante
Este artigo contém documentação de pré-visualização do Microsoft Copilot Studio e está sujeito a alterações.
As funcionalidades de pré-visualização não se destinam à produção e poderão ter caraterísticas restritas. Estas funcionalidades estão disponíveis antes de uma versão oficial para que possa aceder antecipadamente e enviar comentários.
Se está a criar um agente pronto para produção, consulte Descrição Geral do Microsoft Copilot Studio.
Com respostas generativas, o seu agente pode usar IA para gerar respostas às perguntas dos utilizadores usando fontes de conhecimento e as instruções que fornece. No entanto, o seu agente pode não conseguir responder a todas as perguntas dos utilizadores. A secção de Taxa de resposta gerada e qualidade monitoriza, organiza e analisa as perguntas não respondidas e a qualidade das respostas para lhe dar orientação sobre como melhorar o desempenho das respostas do seu agente.
A Taxa de resposta mostra o número de perguntas respondidas e não respondidas dentro do período de tempo selecionado e a variação percentual ao longo do tempo.
A Qualidade das respostas mede a qualidade das respostas usando IA. O Copilot Studio analisa um conjunto de perguntas respondidas e analisa diferentes qualidades, incluindo integridade, relevância e nível de fundamento de uma resposta. Se a resposta cumprir um standard definido, o Copilot Studio classifica a resposta como de Boa qualidade. O Copilot Studio classifica as respostas que não cumprem esse standard como de Má qualidade. Para respostas Pobres, o Copilot Studio atribui um motivo para a classificação de qualidade e mostra a percentagem de respostas atribuídas a cada categoria.
Faça pairar o cursor sobre qualquer segmento de uma barra no gráfico para ver a ponderação relativa de um motivo individual para uma etiqueta de qualidade Boa ou Má. A descrição também indica o número de respostas analisadas para chegar ao valor percentual calculado.
Na legenda abaixo do gráfico, faça pairar o cursor sobre qualquer um dos motivos da etiqueta de qualidade para realçar esse motivo no gráfico.
Pode fornecer comentários à Microsoft sobre esta secção com os ícones Polegar para cima e Polegar para baixo
. Use o painel Submeter comentários à Microsoft para adicionar um comentário e partilhar ficheiros relacionados. Ao fornecer comentários descritivo como este, podemos trabalhar juntos para melhorar continuamente o nosso produto.
- No painel Submeter comentários à Microsoft, descreva em linguagem natural os seus gostos ou não gostos, dependendo do ícone que selecionou para abrir o painel.
- Escolha se deseja partilhar o pedido, a resposta gerada, amostras de conteúdo relevante e ficheiros de registo adicionais.
- Selecione Submeter.
Selecione Ver detalhes para abrir um painel lateral com taxas de respostas às perguntas, utilização de fontes de conhecimento e taxas de erro durante o período selecionado. Pode utilizar estes gráficos para identificar que origens de conhecimento funcionam bem para ajudar os utilizadores e quais sinalizar para melhorias.
Se o seu agente tiver agentes subordinados, no painel lateral, selecione Todos para mostrar métricas tanto para o agente principal como para agentes subordinado, Agente principal para métricas apenas sobre o agente principal, ou Agente subordinado para métricas apenas sobre agentes subordinados.
- Perguntas sem respostas mostram as razões pelas quais o agente não respondeu a uma consulta de utilizador.
- Utilização da fonte de conhecimento mostra a percentagem de sessões que utilizaram todas as fontes de conhecimento às quais o agente tem acesso.
- Todas as fontes mostram a percentagem de perguntas que utilizaram cada fonte de conhecimento.
- Erros mostra a percentagem de consultas que resultaram num erro relacionado com o conhecimento para cada tipo de fonte de conhecimento (por exemplo, SharePoint).
Em Todas as fontes, para ver mais informações ao nível de qualquer uma das fontes de conhecimento listadas, selecione uma fonte individual. A descrição inclui:
- O número total de perguntas que referenciavam esta fonte de conhecimento, bem como o número de reações de polegar para cima e polegar para baixo.
- Um gráfico de barras empilhadas que mostra a discriminação dos pesos relativos da qualidade das respostas para perguntas que referenciam esta fonte de conhecimento. Passe o rato sobre qualquer segmento do gráfico de barras para ver o valor do peso relativo desse segmento e o número de perguntas amostradas para chegar a esse valor.
Utilização de ferramentas
A secção de Utilização de ferramentas mostra um gráfico e métricas que monitorizam com que frequência as suas ferramentas são iniciadas ao longo do tempo e com que frequência o seu agente as utilizou com sucesso. Também mostra indicadores de tendência sobre a frequência com que o seu agente usa cada ferramenta e a percentagem de ferramentas chamadas que são usadas com sucesso.
O gráfico apresenta as cinco principais ferramentas usadas no período de datas definido na parte superior da página Análise.
Na legenda abaixo do gráfico, faça pairar o cursor sobre qualquer uma das ferramentas para realçar essa ferramenta no gráfico.
Para abrir um painel lateral com uma lista de todas as ferramentas usadas no período especificado, juntamente com indicadores de tendência, selecione Ver detalhes no gráfico. No painel de Utilização de ferramentas, pode apresentar cálculos da percentagem de perguntas utilizadas para cada ferramenta. Se o seu agente tiver agentes subordinados, pode optar por apresentar os cálculos tanto para o agente principal como para os agentes subordinados (Tudo), apenas para o Agente principal ou apenas para o Agente subordinado.
Satisfação
A secção Satisfação mostra os comentários do utilizador recolhidos a partir das reações às respostas dos agentes e dos resultados do inquérito para uma sessão. A satisfação é dividida em duas secções menores: uma secção Reações, que apresenta os comentários de polegar para cima e polegar para baixo para respostas específicas de agentes, e uma secção Resultados da pesquisa, que apresenta a pontuação de satisfação do cliente (CSAT) para toda a sessão.
Os dados de comentários são armazenados na tabela de transcrição da conversação no Dataverse. Para obter uma lista de canais que suportam esta funcionalidade, consulte Detalhes da funcionalidade.
Reações
A secção Reações mostra os comentários do utilizador recolhidos a partir das reações às respostas dos agentes e dos resultados do inquérito para uma sessão. O gráfico conta o número de vezes que os utilizadores selecionaram os botões de polegar para cima (positivo) ou polegar para baixo (negativo) disponíveis em cada resposta que receberam do seu agente.
Depois de um utilizador fornecer uma reação, podem deixar um comentário. Para ver comentários, selecione Ver detalhes. No painel Reações, selecione Tudo, Polegares para cima ou Polegares para baixo para filtrar comentários.
Nota
- Agentes publicados no canal do Microsoft 365 Copilot não suportam reações.
- Para ver comentários, deve ter o direito de acesso de Visualizador de Transcrição do Bot.
Para cada reação, para ver a consulta de utilizador associada e a resposta do agente, selecione o botão de alternar junto ao comentário. A página de Análise armazena as consultas dos utilizadores e as respostas dos agentes por até 28 dias.
Os comentários dos utilizadores estão Ativados por predefinição. Pode desligar esta funcionalidade, se quiser. Também pode adicionar ou editar uma exclusão de responsabilidade aos utilizadores sobre como os seus comentários são utilizados:
Abra o agente, depois vá a Definições e encontre a secção de Comentários dos utilizadores.
Ative ou Desative a opção Permitir que os utilizadores enviem comentários ao utilizar este agente.
Adicione ou edite uma exclusão de responsabilidade para que os utilizadores saibam como os respetivos comentários são utilizados. Também pode fornecer informações e sugestões de privacidade.
Resultados do inquérito
A secção Resultados do inquérito mostra um gráfico e métricas que monitorizam as pontuações médias de satisfação do cliente (CSAT) para sessões nas quais os clientes respondem a um pedido no final da sessão para responder a um inquérito.
Nota
Pontuações de 1 e 2 mapear para Insatisfeito, uma pontuação de 3 é considerada Neutra, e pontuações de 4 e 5 mapear para Satisfeito.
Selecione Ver detalhes para ver como a pontuação de satisfação tende ao longo do período de tempo configurado do relatório.
