Nota
O acesso a esta página requer autorização. Podes tentar iniciar sessão ou mudar de diretório.
O acesso a esta página requer autorização. Podes tentar mudar de diretório.
Este artigo descreve métodos que você pode usar para interpretabilidade de modelo no Aprendizado de Máquina do Azure.
Por que a interpretabilidade do modelo é importante para a depuração do modelo
Quando você está usando modelos de aprendizado de máquina de maneiras que afetam a vida das pessoas, é extremamente importante entender o que influencia o comportamento dos modelos. A interpretabilidade ajuda a responder a perguntas em cenários como:
- Depuração de modelo: Por que meu modelo cometeu esse erro? Como posso melhorar o meu modelo?
- Colaboração humano-IA: Como posso entender e confiar nas decisões do modelo?
- Conformidade regulamentar: O meu modelo satisfaz os requisitos legais?
O componente de interpretabilidade do painel de IA responsável contribui para o estágio de "diagnóstico" do fluxo de trabalho do ciclo de vida do modelo, gerando descrições compreensíveis por humanos das previsões de um modelo de aprendizado de máquina. Ele fornece várias visualizações sobre o comportamento de um modelo:
- Explicações globais: Por exemplo, quais características afetam o comportamento geral de um modelo de alocação de empréstimos?
- Explicações locais: Por exemplo, por que o pedido de empréstimo de um cliente foi aprovado ou rejeitado?
Você também pode observar explicações de modelo para uma coorte selecionada como um subgrupo de pontos de dados. Essa abordagem é valiosa quando, por exemplo, você está avaliando a equidade nas previsões do modelo para indivíduos em um determinado grupo demográfico. O separador Explicação Local deste componente também representa uma visualização completa dos dados, o que é ótimo para uma avaliação geral dos dados e para observar as diferenças entre as previsões corretas e incorretas de cada grupo de estudo.
As capacidades deste componente são fundadas pelo pacote InterpretML, que gera explicações do modelo.
Use a interpretabilidade quando precisar:
- Determine o quão confiáveis são as previsões do seu sistema de IA entendendo quais recursos são mais importantes para as previsões.
- Aborde a depuração do seu modelo entendendo-o primeiro e identificando se o modelo está usando recursos saudáveis ou apenas correlações falsas.
- Descubra potenciais fontes de injustiça entendendo se o modelo está baseando previsões em recursos sensíveis ou em recursos que estão altamente correlacionados com eles.
- Construa a confiança do usuário nas decisões do seu modelo gerando explicações locais para ilustrar seus resultados.
- Conclua uma auditoria regulatória de um sistema de IA para validar modelos e monitorar o impacto das decisões de modelos em humanos.
Como interpretar o seu modelo
No aprendizado de máquina, os recursos são os campos de dados que você usa para prever um ponto de dados de destino. Por exemplo, para prever o risco de crédito, você pode usar campos de dados para idade, tamanho da conta e idade da conta. Aqui, idade, tamanho da conta e idade da conta são características. A importância do recurso informa como cada campo de dados afeta as previsões do modelo. Por exemplo, embora você possa usar muito a idade na previsão, o tamanho e a idade da conta podem não afetar significativamente os valores de previsão. Por meio desse processo, os cientistas de dados podem explicar as previsões resultantes de maneiras que dão às partes interessadas visibilidade sobre os recursos mais importantes do modelo.
Usando as classes e métodos no painel de IA responsável e usando o SDK v2 e a CLI v2, você pode:
- Explique a previsão do modelo gerando valores de importância das características para todo o modelo (justificação global) ou para pontos de dados específicos (justificação local).
- Obtenha a capacidade de interpretação do modelo em conjuntos de dados do mundo real em escala.
- Use um painel de visualização interativo para descobrir padrões em seus dados e suas explicações no momento do treinamento.
Técnicas de interpretabilidade de modelos suportadas
O painel de IA Responsável usa as técnicas de interpretabilidade que foram desenvolvidas no Interpret-Community, um pacote Python de código aberto para treinar modelos interpretáveis e ajudar a explicar sistemas de IA de caixa opaca. Os modelos de caixa opaca são aqueles para os quais não temos informações sobre o seu funcionamento interno.
Interpret-Community serve como host para os seguintes explicadores suportados, e atualmente suporta as técnicas de interpretabilidade apresentadas nas próximas seções.
Suportado no painel de IA Responsável no Python SDK v2 e CLI v2
| Técnica de interpretabilidade | Descrição | Tipo |
|---|---|---|
| Mimic Explainer (Substituto Global) + árvore SHAP | O Mimic Explainer baseia-se na ideia de treinar modelos substitutos globais para imitar modelos de caixa opaca. Um modelo substituto global é um modelo intrinsecamente interpretável que é treinado para aproximar as previsões de qualquer modelo de caixa opaca com a maior precisão possível. Os cientistas de dados podem interpretar o modelo substituto para tirar conclusões sobre o modelo de caixa opaca. O painel de IA responsável usa LightGBM (LGBMExplainableModel), emparelhado com o SHAP (SHapley Additive exPlanations) Tree Explainer, que é um explicador específico para árvores e conjuntos de árvores. A combinação de LightGBM e árvore SHAP fornece explicações globais e locais agnósticas de modelos de aprendizado de máquina. |
Independente de modelo |
Técnicas de interpretabilidade de modelo suportadas para modelos de texto
| Técnica de interpretabilidade | Descrição | Tipo | Tarefa de texto |
|---|---|---|---|
| Texto SHAP | SHAP (SHapley Additive exPlanations) é um método de explicação popular para redes neurais profundas que fornece insights sobre a contribuição de cada recurso de entrada para uma determinada previsão. Baseia-se no conceito de valores Shapley, que é um método para atribuir crédito a jogadores individuais num jogo cooperativo. O SHAP aplica esse conceito aos recursos de entrada de uma rede neural, calculando a contribuição média de cada recurso para a saída do modelo em todas as combinações possíveis de recursos. Para texto especificamente, SHAP divide palavras de forma hierárquica, tratando cada palavra ou token como um recurso. Isso produz um conjunto de valores de atribuição que quantificam a importância de cada palavra ou token para a previsão dada. O mapa de atribuição final é gerado visualizando esses valores como um mapa de calor sobre o documento de texto original. SHAP é um método agnóstico de modelos e pode ser usado para explicar uma ampla gama de modelos de aprendizagem profunda, incluindo CNNs, RNNs e transformadores. Além disso, fornece várias propriedades desejáveis, como consistência, precisão e equidade, tornando-se uma técnica confiável e interpretável para entender o processo de tomada de decisão de um modelo. | Modelo agnóstico | Classificação Multiclasse de Texto, Classificação Multi-rótulo de Texto |
Técnicas de interpretabilidade de modelo suportadas para modelos de imagem
| Técnica de interpretabilidade | Descrição | Tipo | Tarefa Visão |
|---|---|---|---|
| Visão SHAP | SHAP (SHapley Additive exPlanations) é um método de explicação popular para redes neurais profundas que fornece insights sobre a contribuição de cada recurso de entrada para uma determinada previsão. Baseia-se no conceito de valores Shapley, que é um método para atribuir crédito a jogadores individuais num jogo cooperativo. O SHAP aplica esse conceito aos recursos de entrada de uma rede neural, calculando a contribuição média de cada recurso para a saída do modelo em todas as combinações possíveis de recursos. Para visão especificamente, SHAP divide a imagem de forma hierárquica, tratando as áreas de superpixels da imagem como cada característica. Isso produz um conjunto de valores de atribuição que quantificam a importância de cada superpixel ou área de imagem para a previsão dada. O mapa de atribuição final é gerado visualizando esses valores como um mapa de calor. SHAP é um método agnóstico de modelos e pode ser usado para explicar uma ampla gama de modelos de aprendizagem profunda, incluindo CNNs, RNNs e transformadores. Além disso, fornece várias propriedades desejáveis, como consistência, precisão e equidade, tornando-se uma técnica confiável e interpretável para entender o processo de tomada de decisão de um modelo. | Modelo agnóstico | Classificação Multiclasse de Imagens, Classificação Multirrótulo de Imagens |
| Retropropagação guiada | Guided-backprop é um método popular de explicação para redes neurais profundas, fornecendo insights sobre as representações aprendidas pelo modelo. Ele gera uma visualização dos recursos de entrada que ativam um determinado neurônio no modelo, calculando o gradiente da saída em relação à imagem de entrada. Ao contrário de outros métodos baseados em gradiente, o backprop guiado apenas retropropaga através de gradientes positivos e usa uma função de ativação ReLU modificada para garantir que gradientes negativos não influenciem a visualização. Isto resulta num mapa de saliência mais interpretável e de alta resolução que destaca as características mais importantes da imagem de entrada para uma determinada previsão. A retropropagação guiada pode ser usada para explicar uma ampla gama de modelos de aprendizagem profunda, incluindo redes neurais convolucionais (CNNs), redes neurais recorrentes (RNNs) e transformadores. | AutoML (Aprendizagem Automática Automatizada) | Classificação Multiclasse de Imagens, Classificação Multirrótulo de Imagens |
| GradCAM guiado | O GradCAM guiado é um método de explicação popular para redes neurais profundas que fornece informações sobre as representações aprendidas do modelo. Ele gera uma visualização dos recursos de entrada que mais contribuem para uma classe de saída específica, combinando a abordagem baseada em gradiente de retropropagação guiada com a abordagem de localização do GradCAM. Especificamente, ele calcula os gradientes da classe de saída em relação aos mapas de feição da última camada convolucional na rede e, em seguida, pondera cada mapa de feição de acordo com a importância de sua ativação para essa classe. Isso produz um mapa de calor de alta resolução que destaca as regiões mais discriminativas da imagem de entrada para uma determinada classe de saída. O GradCAM guiado pode ser usado para explicar uma ampla gama de modelos de aprendizagem profunda, incluindo CNNs, RNNs e transformadores. Além disso, ao incorporar retropropagação guiada, garante que a visualização seja significativa e interpretável, evitando ativações espúrias e contribuições negativas. | AutoML (Aprendizagem Automática Automatizada) | Classificação Multiclasse de Imagens, Classificação Multirrótulo de Imagens |
| Gradientes integrados | Gradientes Integrados é um método de explicação popular para redes neurais profundas que fornece informações sobre a contribuição de cada recurso de entrada para uma determinada previsão. Ele calcula a integral do gradiente da classe de saída em relação à imagem de entrada, ao longo de um caminho reto entre uma imagem de linha de base e a imagem de entrada real. Este caminho é normalmente escolhido para ser uma interpolação linear entre as duas imagens, com a linha de base sendo uma imagem neutra que não tem características salientes. Ao integrar o gradiente ao longo desse caminho, os gradientes integrados fornecem uma medida de como cada recurso de entrada contribui para a previsão, permitindo que um mapa de atribuição seja gerado. Este mapa destaca os recursos de entrada mais influentes e pode ser usado para obter informações sobre o processo de tomada de decisão do modelo. Os gradientes integrados podem ser usados para explicar uma ampla gama de modelos de aprendizagem profunda, incluindo CNNs, RNNs e transformadores. Além disso, é uma técnica teoricamente fundamentada que satisfaz um conjunto de propriedades desejáveis, como sensibilidade, invariância de implementação e completude. | AutoML (Aprendizagem Automática Automatizada) | Classificação Multiclasse de Imagens, Classificação Multirrótulo de Imagens |
| XRAI | XRAI é um novo método de saliência baseado em regiões baseado em gradientes integrados (IG). Ele supersegmenta a imagem e testa iterativamente a importância de cada região, aglutinando regiões menores em segmentos maiores com base em pontuações de atribuição. Esta estratégia produz regiões de saliência fortemente delimitadas e de alta qualidade que superam as técnicas de saliência existentes. O XRAI pode ser usado com qualquer modelo baseado em DNN, desde que haja uma maneira de agrupar os recursos de entrada em segmentos por meio de alguma métrica de similaridade. | AutoML (Aprendizagem Automática Automatizada) | Classificação Multiclasse de Imagens, Classificação Multirrótulo de Imagens |
| D-ASCENSÃO | D-RISE é um método agnóstico de modelos para criar explicações visuais para as previsões de modelos de deteção de objetos. Ao considerar os aspetos de localização e categorização da deteção de objetos, o D-RISE pode produzir mapas de saliência que destacam partes de uma imagem que mais contribuem para a previsão do detetor. Ao contrário dos métodos baseados em gradiente, o D-RISE é mais geral e não precisa de acesso ao funcionamento interno do detetor de objetos; requer apenas acesso às entradas e saídas do modelo. O método pode ser aplicado a detetores de um estágio (por exemplo, YOLOv3), detetores de dois estágios (por exemplo, Faster-RCNN) e transformadores de visão (por exemplo, DETR, OWL-ViT). D-Rise fornece o mapa de saliência criando máscaras aleatórias da imagem de entrada e enviá-las ao detetor de objetos. Ao avaliar a mudança da pontuação do detetor de objetos, ele agrega todas as deteções com cada máscara e produz um mapa de saliência final. |
Modelo agnóstico | Deteção de Objetos |
Próximos passos
- Saiba como gerar o painel de IA Responsável por meio da CLI v2 e SDK v2 ou da interface do utilizador da Azure Machine Learning studio.
- Explore as visualizações de interpretabilidade suportadas do painel de IA responsável.
- Saiba como gerar um scorecard de IA Responsável com base nos insights observados no painel de IA Responsável.