Übersicht über die App-Inhaltssuche

Mit dem von den Windows AI-APIs aktivierten Feature "App-Inhaltssuche" können App-Entwickler intelligente Suchfunktionen mithilfe der AppContentIndexer-API in ihre Windows-Apps integrieren. Durch die Indizierung von In-App-Inhalten und die Suchfunktion durch semantische Abfragen können Benutzer Ergebnisse abrufen, die nicht nur auf exakten Schlüsselwörtern, sondern auch auf der semantischen Bedeutung basieren. Sie können diesen semantischen Index verwenden, um Ihre eigenen KI-Assistenten mit domänenspezifischem Wissen zu verbessern und personalisiertere, kontextspezifische Erfahrungen zu erstellen.

Verwenden Sie diese API für:

• Erstellen Sie In-App-Suchfunktionen, die sowohl die semantische als auch die lexikalische Suche verwenden. Benutzer können neben exakten Schlüsselwort-Übereinstimmungen auch nach Bedeutung suchen, wodurch relevante Informationen leichter gefunden werden können.

• Unterstützen Sie Retrieval-Augmented Generation (RAG), indem Sie lokale Wissensabrufe ermöglichen. Wenn es mit einem LLM (Large Language Model) gekoppelt ist, können Sie die relevantesten Inhalte aus der Wissensbasis Ihrer App abrufen und präzisere, kontextbewusste Antworten generieren.

Die ApplicationContentIndexer-API ist derzeit nur in Windows App SDK Version 2.0 Experimental 2 verfügbar.

Die AI Dev Gallery-App bietet ein interaktives Beispiel der AppContentIndexer-API, mit der Sie mit dem Feature "App-Inhaltssuche" experimentieren können. Erfahren Sie mehr über den AI Dev Gallery, einschließlich der Installation aus dem Microsoft Store oder aus dem Quellcode auf GitHub.

Was ist die AppContentIndexer-API?

Die AppContentIndexer-API ermöglicht Es Apps, ihre Text- und Bildinhalte mit schlüsselwortbasierter (lexikalischer) und bedeutungsbasierter (semantischer) Suche zu durchsuchen, ohne dass Entwickler die zugrunde liegende Komplexität verstehen müssen.

Im Hintergrund werden erweiterte Techniken wie Einbettungsvektoren, Vektordatenbanken und herkömmliche Textindizierung verwendet, diese Details werden jedoch vollständig abstrahiert. Entwickler interagieren mit einer einfachen, hochwertigen API. Wenn Inhalte indiziert werden, speichert das System Einbettungsvektoren (die semantische Bedeutung erfassen) zusammen mit Inhaltsbezeichnern. Suchanforderungen geben dann Bezeichner basierend auf Schlüsselwort-Übereinstimmungen oder semantischer Ähnlichkeit zurück. Die Suche nach "Kätzchen" könnte z. B. verwandter Text über Katzen oder Bilder von Kätzchen zurückgeben. Semantische Suchvorgänge funktionieren am besten mit beschreibenden Ausdrücken, sodass eine Abfrage wie "Katzen, die auf Windowsills sitzen" wahrscheinlicher zu hoch relevanten Ergebnissen führt.

Der Index wird auf dem Datenträger beibehalten, sodass eine erneute Indizierung bei jedem App-Start nicht erforderlich ist.

Semantische und lexikalische Suche

Intern verwendet ApplicationContentIndexer eine Kombination aus herkömmlicher Textindizierung und moderner vektorbasierter Suche, die durch Einbettungen unterstützt wird. Diese Details sind abstrahiert – Entwickler müssen keine Einbettungsmodelle, Vektorspeicher oder Abrufinfrastruktur direkt verwalten.

Sie können den Index mithilfe einer einfachen Zeichenfolge abfragen. Die Abfrage kann folgendes zurückgeben:

• Lexikalische Übereinstimmungen – genaue Text-Übereinstimmungen (einschließlich Text in Bildern).
• Semantische Übereinstimmungen – Inhalte, die in der Bedeutung ähnlich sind, auch wenn die Wörter nicht identisch sind.

Eine Abfrage für "Kitten" kann z. B. einen Verweis auf Folgendes zurückgeben:

• Texteinträge zu Katzen, auch wenn das Wort "Kitten" nicht explizit erwähnt wird.
• Bilder, die Kitten visuell enthalten.
• Textinhalt in Bildern, die "Katze" oder Wörter mit ausreichend semantischer Relevanz enthalten.

Unterstützte Inhaltstypen

ApplicationContentIndexer unterstützt das Hinzufügen der folgenden Inhaltstypen:

• Text – einfacher oder strukturierter Textinhalt.
• Bilder – einschließlich Screenshots, Fotos oder Bilddateien, die Text oder erkennbare visuelle Elemente enthalten.

App-definierte Inhaltsbezeichner

AppContentIndexer unterstützt appverwaltete Inhalte, indem Apps das Indizieren von Elementen mithilfe von appdefinierten Inhaltsbezeichnern ermöglichen. Abfragen geben diese Bezeichner zurück, die von der App verwendet werden, um den tatsächlichen Inhalt aus einem eigenen Datenspeicher abzurufen.

Textabfragen geben AppManagedTextQueryMatch-Objekte zurück, und Bildabfragen geben AppManagedImageQueryMatch-Objekte zurück– beide enthalten nur die ContentId, nicht den Inhalt selbst.

Anleitungen zum Integrieren dieses Features in Ihre App und die Verwendung der ApplicationContentIndexer-API finden Sie unter: Schnellstart: App-Inhaltssuche

Datenschutz und Sicherheit

Semantische und lexikalische Indizes werden im Auftrag Ihrer App generiert und im lokalen App-Datenordner der App gespeichert. Im Rahmen der privaten Vorschauversion ist dieses Feature für die Indizierung nicht vertraulicher Anwendungsinhalte vorgesehen. Für bewährte Sicherheitspraktiken verwenden Sie dieses Feature nicht, um Benutzerdaten zu indizieren, die möglicherweise persönliche, vertrauliche oder sensible Informationen enthalten.

Verantwortungsvolle KI-Überlegungen

Die semantischen Indizierungs- und Suchfunktionen in dieser Vorschau wenden keine Form der Inhaltsmoderation an oder versuchen, semantische Verzerrungen zu erkennen oder zu mindern, die durch die zugrunde liegenden Modelle eingeführt wurden. Entwickler sind verantwortlich für die Bewertung und Verwaltung der potenziellen Risiken bei der Implementierung von KI-basierten Features.

Es wird empfohlen, die Richtlinien für die verantwortungsvolle generative KI-Entwicklung unter Windows für bewährte Methoden beim Erstellen von KI-Oberflächen in Ihrer App zu überprüfen.