Vorgefertigte Analysegeräte in Azure Content Understanding in Foundry Tools

Azure Content Understanding prebuilt Analyzer bieten eine vielzahl von domänenspezifischen Extraktionsfunktionen, die über vordefinierte Schemas hinausgehen. Sie werden von umfangreichen Wissensdatenbanken von Tausenden von realen Dokumentbeispielen unterstützt. Sie verstehen, wie Informationen strukturiert und verwendet werden und sich an die Nuancen der einzelnen Inhaltstypen anpassen.

Vorgefertigte Analysetools sind einsatzbereite Tools, die allgemeine Aufgaben bei der Inhaltsverarbeitung optimieren. Sie können sie für die Inhaltsaufnahme in RAG-Workflows (Search and Retrieval-Augmented Generation) verwenden. Sie können sie auch für die intelligente Dokumentverarbeitung (IDP) verwenden, um Daten aus Rechnungen zu extrahieren oder Anrufcenteraufzeichnungen zu analysieren. Diese Analyzer können auch in agentischen Abläufen als Tools zum Extrahieren strukturierter Darstellungen aus Eingabedateien verwendet werden. Sie können diese Analysegeräte auch anpassen , um andere Felder zu extrahieren oder Ausgaben zu verfeinern, um Ihre spezifischen Workflowanforderungen besser zu erfüllen.

Analysetooltypen

Das Inhaltsverständnis bietet verschiedene Kategorien von Analyzern zur Unterstützung verschiedener Szenarien:

• Inhaltsextraktionsanalysatoren – Konzentrieren Sie sich auf OCR- und Layoutanalyse mit progressiv umfangreicheren Extraktionsfunktionen für grundlegende Textextraktion, Layoutanalyse und Barcodeerkennung.
• Basisanalysatoren – Grundlegende Inhaltsverarbeitungsfunktionen für jede Modalität, die beim Erstellen von benutzerdefinierten Analysegeräten für Dokument-, Bild-, Audio- und Videoinhalte als übergeordnete Analysegeräte verwendet werden.
• RAG-Analysegeräte – Optimiert für Szenarien mit erweiterter Abrufgenerierung mit semantischer Analyse und Markdownextraktion für die Dokumentaufnahme, Suchanwendungen und Wissensdatenbanken.
• Domänenspezifische Analysatoren – Vorkonfigurierte Analysatoren für allgemeine Dokumentkategorien mit spezialisierter Feldextraktion für die Rechnungsverarbeitung, Steuerformulare, ID-Überprüfung, Hypothekendokumente und Verträge.
• Hilfsanalyse - Spezialisierte Tools für die Schemagenerierung und Feldextraktion zum Ermitteln der Dokumentstruktur und Extrahieren von Schlüsselwertpaaren.

Inhaltsextraktionsanalysatoren

Inhaltsextraktionsanalysatoren konzentrieren sich auf optische Zeichenerkennung und Layoutanalyse. Diese Analysatoren basieren auf prebuilt-document und bieten schrittweise umfangreichere Extraktionsfunktionen.

prebuilt-read

• Extrahiert verschiedene Inhaltselemente wie Wörter, Absätze, Formeln und Barcodes aus Dokumenten
• Bietet grundlegende Funktionen für die optische Zeichenerkennung (OCR)
• Grundlegende Textextraktion ohne Layoutanalyse

Für diese vorkonfigurierte Lösung ist kein großes Sprachmodell (LLM) oder Embeddings-Modell erforderlich.

prebuilt-layout

• Extrahiert verschiedene Inhalts- und Layoutelemente wie Wörter, Abbildungen, Absätze und Tabellen aus Dokumenten
• Identifiziert die Dokumentstruktur, einschließlich Abschnitte und Formatierungen.
• Extrahiert Links, die in Dokumente eingebettet sind
• Erfasst Anmerkungen wie Hervorhebungen, Unterstreichungen und Durchstreichungen in digitalen PDF-Dateien
• Bietet detaillierte Layoutinformationen über die grundlegende Textextraktion hinaus
• Erkennt alle Abbildungstypen, einschließlich Diagramme, Bilder, Symbole und andere Bilder, die Standortinformationen bereitstellen (nur PDF-Dateien)

Für diese vorgefertigte Lösung ist weder ein großes Sprachmodell (LLM) noch ein Embeddings-Modell erforderlich.

Basisanalysatoren

Basisanalysatoren bieten grundlegende Inhaltsverarbeitungsfunktionen, die für einen Inhaltstyp spezifisch sind. Verwenden Sie sie in erster Linie als übergeordnetes Element, um von diesem beim Erstellen von benutzerdefinierten Analysetools zu erben. Wenn Sie einen benutzerdefinierten Analyzer erstellen, fügen Sie einen dieser Basisanalysatoren mithilfe der baseAnalyzerId-Eigenschaft ein.

• prebuilt-audio - Basisaudioverarbeitung
• prebuilt-document - Basisdokumentverarbeitung
• prebuilt-image - Basisbildverarbeitung
• prebuilt-video - Basisvideoverarbeitung

Retrieval-Augmented Generation (RAG)-Analysegeräte

Das Inhaltsverständnis bietet eine Reihe von Analysegeräten, die für RAG-Szenarien (Retrieval-Augmented Generation) optimiert sind. Diese Analysegeräte extrahieren Inhalte mit Layout als Markdown und führen semantische Analysen aus, um die Abrufqualität für downstream-Anwendungen zu verbessern.

prebuilt-documentSearch

• Extrahiert verschiedene Inhalts- und Layoutelemente wie Absätze, Tabellen und Abbildungen aus Dokumenten.
• Enthält detaillierte Abbildungsbeschreibungen mit textbezogenen Erläuterungen von Bildern, Grafiken und Diagrammen¹.
• Analysiert Diagramme und Schaubilder und stellt eine strukturierte Ausgabe als chart.js-Syntax für Schaubilder oder mermaid.js-Syntax für Diagramme¹ bereit.
• Erfasst handgeschriebene Anmerkungen und Markierungen auf dem Dokument.
• Generiert eine Ein-Absatz-Zusammenfassung des gesamten Dokumentinhalts.
• Unterstützt eine vielzahl von Dateiformaten wie PDF, Bilder, Office-Dokumente und Textdateien.
• Empfohlen für die Dokumentaufnahme in RAG-Workflows.

¹ Abbildungsanalyse wird nur für PDF- und Bilddateiformate unterstützt.

prebuilt-imageSearch

• Analysiert Bilder, um Beschreibungen und Erkenntnisse zu generieren.
• Generiert eine Ein-Absatz-Beschreibung des Bildinhalts.
• Extrahiert visuelle Inhalte für Such- und Abrufanwendungen.

prebuilt-audioSearch

• Transkribiert Unterhaltungen aus Audio- und Videodateien.
• Generiert eine Zusammenfassung in einem Absatz des Gesprächsinhalts.
• Unterstützt mehrere Gebietsschemas für die internationale Inhaltsverarbeitung.
• Optimiert für die Gesprächsanalyse und Inhaltsextraktion.

prebuilt-videoSearch

• Analysiert Videos, um Transkriptionen und Beschreibungen für jedes Segment zu extrahieren.
• Segmentiert Videos automatisch in aussagekräftige Abschnitte basierend auf Themenverschiebungen, Szenenänderungen oder visuellen Hinweisen.
• Generiert detaillierte Zusammenfassungen, die sich auf Personen, Orte und Aktionen für jedes Segment konzentrieren.
• Unterstützt szenenaufteilung und umfassende Videoinhaltsanalyse.
• Stellt die Transkriptextraktion zusammen mit kontextuellen Segmentbeschreibungen bereit.

Domänenspezifische Analysegeräte

Domänenspezifische Analysatoren sind für allgemeine Dokumentkategorien in beliebten Branchen vorkonfiguriert. Diese Analysegeräte bieten spezielle Feldextraktion für bestimmte Dokumenttypen und Formate, die durch umfangreiche Wissensdatenbanken von realen Beispielen unterstützt werden.

Zu den wichtigsten Kategorien gehören:

• Finanzen und Steuern: Extrahieren Sie strukturierte Daten aus Rechnungen, Quittungen, Bankauszüge, Kreditkartenauszüge und umfassenden US-Steuerformularen einschließlich 1040, W-2, 1099 Varianten und 1098 Serie. Abgestimmte Schemas erfassen Beträge, Datumsangaben, Steuer-IDs und Finanzeinheiten. Weitere Informationen finden Sie in den Abschnitten Finanzdokumente und Steuerdokumente .
• Identitätsüberprüfung: Verarbeiten von Pässen, Führerscheinen, ID-Karten, Krankenversicherungskarten und Identitätsdokumenten aus mehreren Ländern und Regionen mit prebuilt-idDocument und verwandten Analysen. Extrahieren Sie persönliche Informationen, Dokumentnummern und Überprüfungsdetails mit Unterstützung für weltweite Formate. Weitere Informationen finden Sie im Abschnitt " Identitätsdokumente ".
• Hypotheken und Kreditvergabe: Automatisieren der Extraktion aus US-Hypothekenanträgen (Formular 1003), Bewertungsberichte (Formular 1004), Überprüfung der Beschäftigung (Formular 1005) und Abschlussveröffentlichungen. Erfassen Von Darlehensnehmerdetails, Immobilieninformationen, Kreditbedingungen und Finanziellen Offenlegungen. Weitere Informationen finden Sie im Abschnitt "Hypothekendokumente ".
• Beschaffung und Verträge: Verarbeiten von Bestellungen, Verträgen, Beschaffungsdokumenten und Kreditnotizen zum Extrahieren von Lieferanteninformationen, Positionen, Preisen, Bedingungen und vertraglichen Verpflichtungen. Weitere Informationen finden Sie in den Abschnitten "Beschaffungsdokumente " und "Rechts- und Geschäftsdokumente ".
• Versorgungsleistungen und Abrechnung: Extrahieren Sie strukturierte Daten aus Versorgungsrechnungen, Rechnungen und Abrechnungen branchenübergreifend, und erfassen Sie Kontoinformationen, Nutzungsdetails sowie Zahlungsdaten. Weitere Informationen finden Sie in den Finanzdokumenten und anderen spezialisierten Analyseabschnitten .

Die vollständige Liste der domänenspezifischen Analyzer finden Sie am Ende dieses Artikels.

Dienstprogrammanalysegeräte

Hilfsanalysegeräte bieten spezielle Funktionen für die Schemagenerierung und Feldextraktion.

prebuilt-documentFieldSchema

• Analysiert Dokumente, um ein geeignetes Feldschema vorzuschlagen
• Nützlich für die Ermittlung der Struktur in neuen Dokumenttypen

prebuilt-documentFields

• Extrahiert Schlüssel-Wert-Paare aus Dokumenten
• Intern von domänenspezifischen Analysegeräten verwendet, wenn die Eingabe keinem der vordefinierten Schemas entspricht (z. B prebuilt-idDocument. )

Verwenden von vorgefertigten Analysatoren

Um Inhalte mithilfe eines vordefinierten Analyzers zu analysieren, stellen Sie eine POST-Anforderung an den Analyseendpunkt:

POST /analyzers/prebuilt-idDocument:analyze

Ersetzen Sie prebuilt-idDocument durch die Analyse-ID, die Ihrem Szenario entspricht.

Anpassen vordefinierter Analysegeräte

Verwenden Sie jeden vorgefertigten Analyzer als Vorlage zum Erstellen eines benutzerdefinierten Analyzers, der Ihren spezifischen Anforderungen besser entspricht.

Analysedefinition abrufen

So rufen Sie die Konfiguration und das Schema eines vordefinierten Analyzers ab:

GET /analyzers/prebuilt-idDocument

Die Antwort gibt eine JSON-Definition mit den Feldschema- und Konfigurationsoptionen zurück. Sie können diese Definition bearbeiten und ihren eigenen Analyseanalysator basierend darauf erstellen.

Erstellen eines benutzerdefinierten Analyzers aus einer Vorlage

Nach dem Abrufen und Ändern einer Analysedefinition:

PUT /analyzers/prebuilt-myIdDocument

Schließen Sie die geänderte Analysedefinition in den Anforderungskörper ein. Ausführliche Anweisungen finden Sie unter Erstellen eines benutzerdefinierten Analyzers.

Verhalten der Sperranalyse

Die Definition vordefinierter Analysegeräte kann sich in der nächsten API-Version von Content Understanding ändern. Um eine stabile Kopie eines vordefinierten Analyzers zu erstellen, der sich nicht mit API-Updates ändert, verwenden Sie die Kopiervorgänge, indem Sie sie wie folgt aufrufen:

POST /analyzers/myIdDocument:copy
{
  "source": "prebuilt-idDocument"
}

Dieser Vorgang erstellt einen neuen Analyzer mit einer festen Definition, die zum Zeitpunkt des Kopiervorgangs aus dem vordefinierten Analyzer kopiert wurde.

Domänenspezifische Analysereferenz

In den folgenden Abschnitten werden alle verfügbaren domänenspezifischen Analysegeräte für die spezielle Dokumentverarbeitung aufgeführt. Mit diesen vordefinierten Modellen können Sie Ihren Apps und Flüssen intelligente domänenspezifische Dokumentverarbeitung hinzufügen, ohne Ihre eigenen Modelle trainieren und erstellen zu müssen.

Informationen zu unterstützten Dateiformaten und Eingabeanforderungen finden Sie unter Dienstgrenzwerte.

Finanzdokumente

• prebuilt-invoice - Rechnungen, Hilfsrechnungen, Verkaufsaufträge, Bestellungen
• prebuilt-receipt - Verkaufsbelege von Einzelhandels- und Gastronomiebetrieben
• prebuilt-receipt.generic - Allgemeine Verkaufsbestätigungen
• prebuilt-receipt.hotel - Hotelbestätigungen und Folios
• prebuilt-creditCard - Kreditkartenauszüge
• prebuilt-creditMemo - Gutschriften und Erstattungsbelege
• prebuilt-check.us – US-Bankscheck
• prebuilt-bankStatement.us - US-Bankauszüge

Identitätsdokumente

• prebuilt-idDocument - Führerscheine, Identifikationskarten (IDs), Aufenthaltsgenehmigungen, Pässe (weltweit), Sozialversicherungskarten (USA), Militärische IDs (USA), PAN-Karten (Indien), Aadhaar-Karten (Indien)
• prebuilt-idDocument.generic - Generische Identifikationsdokumente aus verschiedenen Regionen
• prebuilt-idDocument.passport - Passport-Bücher und Reisepasskarten (weltweit)
• prebuilt-healthInsuranceCard.us - US-Krankenversicherungskarten

Steuerdokumente (USA)

Einkommensteuerformulare

• prebuilt-tax.us - Allgemeine US-Steuerformulare
• prebuilt-tax.us.1040 - Formular 1040 (US Individual Income Tax Return)
• prebuilt-tax.us.1040Senior - Formular 1040 für ältere Steuerpflichtige
• prebuilt-tax.us.1040Schedule1 - Zusätzliche Einnahmen und Anpassungen des Einkommens
• prebuilt-tax.us.1040Schedule2 - Zusätzliche Steuern
• prebuilt-tax.us.1040Schedule3 - Zusätzliche Gutschriften und Zahlungen
• prebuilt-tax.us.1040Schedule8812 - Gutschriften für qualifizierte Kinder
• prebuilt-tax.us.1040ScheduleA - Einzelabzüge
• prebuilt-tax.us.1040ScheduleB - Zinsen und gewöhnliche Dividenden
• prebuilt-tax.us.1040ScheduleC - Gewinn oder Verlust aus Geschäft
• prebuilt-tax.us.1040ScheduleD - Kapitalgewinne und Verluste
• prebuilt-tax.us.1040ScheduleE - Zusatzeinkommen und Verlust
• prebuilt-tax.us.1040ScheduleEIC - Ertragsguthaben
• prebuilt-tax.us.1040ScheduleF - Gewinn oder Verlust aus der Landwirtschaft
• prebuilt-tax.us.1040ScheduleH - Haushaltsarbeitssteuern
• prebuilt-tax.us.1040ScheduleJ - Durchschnittsberechnung des Einkommens für Landwirte
• prebuilt-tax.us.1040ScheduleR - Gutschrift für ältere oder behinderte Menschen
• prebuilt-tax.us.1040ScheduleSE - Einkommensteuer für Selbstständige

Varianten des Formulars 1099

• prebuilt-tax.us.1099Combo - 1099 kombinierte Formulare
• prebuilt-tax.us.1099A - Erwerb oder Verzicht auf gesichertes Eigentum
• prebuilt-tax.us.1099B - Erlöse aus Broker- und Barter Exchange-Transaktionen
• prebuilt-tax.us.1099C - Kündigung der Schulden
• prebuilt-tax.us.1099CAP - Veränderungen der Unternehmenssteuerung und kapitalstruktur
• prebuilt-tax.us.1099DA - Schuldenstreichung durch Zwangsvollstreckung
• prebuilt-tax.us.1099DIV - Dividenden und Verteilungen
• prebuilt-tax.us.1099G - Bestimmte staatliche Zahlungen
• prebuilt-tax.us.1099H - Krankenversicherung Steuergutschrift Vorzahlungen
• prebuilt-tax.us.1099INT -Zinsertrag
• prebuilt-tax.us.1099K - Zahlungskarte und Netzwerktransaktionen von Drittanbietern
• prebuilt-tax.us.1099LS - Meldepflichtiger Lebensversicherungsverkauf
• prebuilt-tax.us.1099LTC - Langzeitpflegeleistungen
• prebuilt-tax.us.1099MISC - Sonstiges Einkommen
• prebuilt-tax.us.1099NEC - Vergütung für Nichtangestellte
• prebuilt-tax.us.1099OID - Ursprüngliche Ausgaberabatt
• prebuilt-tax.us.1099PATR - Steuerpflichtige Verteilungen von Genossenschaften
• prebuilt-tax.us.1099Q - Zahlungen aus qualifizierten Bildungsprogrammen
• prebuilt-tax.us.1099QA - Verteilungen von ABLE-Konten
• prebuilt-tax.us.1099R - Verteilungen von Renten und Annuitäten
• prebuilt-tax.us.1099S - Erlöse aus Immobilientransaktionen
• prebuilt-tax.us.1099SA - Auszahlungen von Health Savings Account (HSA) oder Medical Savings Account (MSA)
• prebuilt-tax.us.1099SB - Investition des Verkäufers in Lebensversicherungsvertrag
• prebuilt-tax.us.1099SSA - Sozialversicherungsleistungserklärung

Formular 1098-Varianten

• prebuilt-tax.us.1098 - Hypothekenzinserklärung
• prebuilt-tax.us.1098E - Zinsauszug für Studentenkredite
• prebuilt-tax.us.1098T - Studienabrechnung

Formular 1095 Varianten

• prebuilt-tax.us.1095A - Erklärung zur Krankenversicherungsbörse
• prebuilt-tax.us.1095C - Arbeitgeberbereitgestellte Krankenversicherung

Arbeitssteuerformulare

• prebuilt-tax.us.w2 - Lohn- und Steuererklärung
• prebuilt-tax.us.w4 - Lohnsteuerbescheinigung des Mitarbeiters

Hypothekendokumente (USA)

• prebuilt-mortgage.us - Allgemeine US-Hypothekendokumente
• prebuilt-mortgage.us.1003 - Einheitlicher Wohnkreditantrag
• prebuilt-mortgage.us.1004 - Einheitlicher Bericht über wohnliche Bewertungen
• prebuilt-mortgage.us.1005 - Überprüfung der Beschäftigung
• prebuilt-mortgage.us.1008– Einheitliche Zeichnungs- und Übertragungszusammenfassung
• prebuilt-mortgage.us.closingDisclosure - Schließung der Offenlegung

Rechts- und Geschäftsdokumente

• prebuilt-contract - Geschäftsverträge und Vereinbarungen
• prebuilt-marriageCertificate.us - US-Ehescheine

Beschaffungsdokumente

• prebuilt-procurement - Bestellungen, Rechnungen und beschaffungsbezogene Dokumente
• prebuilt-purchaseOrder - Bestellformulare

Andere spezialisierte Analysegeräte

• prebuilt-payStub.us - US Gehaltsabrechnungen und Einkommensnachweise
• prebuilt-utilityBill - Versorgungsrechnungen (Strom, Wasser, Gas, Internet, Telefon)

Nächste Schritte

• Testen sie vorgefertigte Analysegeräte mithilfe der REST-API
• Anpassen vordefinierter Analysegeräte