Freigeben über

Informationen zu Pipelinetests

Azure DevOps Services | Azure DevOps Server | Azure DevOps Server 2022

In diesem Artikel werden häufig verwendete Begriffe beschrieben, die in Pipelinetestberichten und Testanalysen verwendet werden, und enthält Tipps für bessere Tests in Azure-Pipelines.

Begriff Definition
Duration Zeit, die bei der Ausführung eines Tests, einer Testausführung oder einer gesamten Testausführung in einer Build- oder Releasepipeline verstrichen ist.
Owner Besitzer eines Test - oder Testlaufs. Der Testbesitzer wird in der Regel als Attribut im Testcode angegeben. Siehe Aufgabe " Testergebnisse veröffentlichen ", um die Zuordnung des Owner-Attributs für unterstützte Testergebnisformate anzuzeigen.
Fehlerhafter Build Verweisen Sie auf den Build mit dem ersten Auftreten aufeinander folgender Fehler eines Testfalls.
Veröffentlichungsfehler Referenz auf die Version mit dem ersten Auftreten aufeinander folgender Fehler eines Testfalls.
Ergebnis Es gibt 15 mögliche Ergebnisse für ein Testergebnis: Abgebrochen, Blockiert, Fehler, Fehlgeschlagen, Nicht eindeutig, In Bearbeitung, Keine, Nicht zutreffend, Nicht ausgeführt, Nicht betroffen, bestanden, angehalten, Timeout, nicht angegeben und Warnung.
Einige der häufig verwendeten Ergebnisse sind:
- Abgebrochen: Die Testausführung wurde aufgrund interner oder externer Faktoren, z. B. fehlerhafter Code, Umgebungsprobleme, abrupt beendet.
- Fehlgeschlagen: Testen Sie nicht das gewünschte Ergebnis.
- Nicht eindeutig: Test ohne endgültiges Ergebnis.
- Nicht ausgeführt: Test, der für die Ausführung als übersprungen markiert wurde.
- Nicht betroffen: Der Test hat keine Auswirkungen auf die Codeänderung, die die Pipeline ausgelöst hat.
- Bestanden: Der Test wurde erfolgreich ausgeführt.
- Timeout: Testausführungsdauer, die den angegebenen Schwellenwert überschreitet.
Flaky Test Ein Test mit nicht deterministischem Verhalten. Der Test kann z. B. zu unterschiedlichen Ergebnissen für die gleiche Konfiguration, denselben Code oder eingaben führen.
Filter Mechanismus zum Suchen nach den Testergebnissen innerhalb des Resultsets mithilfe der verfügbaren Attribute. Erfahren Sie mehr.
Gruppierung Eine Hilfe zum Organisieren der Testergebnisansicht basierend auf verfügbaren Attributen wie Anforderung, Testdateien, Priorität und mehr. Sowohl Testbericht als auch Testanalysen bieten Unterstützung für die Gruppierung von Testergebnissen.
Pass prozentual Maß für den Erfolg des Testergebnisses für eine einzelne Instanz der Ausführung oder über einen bestimmten Zeitraum.
Priorität Gibt den Grad der Wichtigkeit oder Kritischität eines Tests an. Die Priorität wird in der Regel als Attribut im Testcode angegeben. Siehe Aufgabe " Testergebnisse veröffentlichen ", um die Zuordnung des Attributs "Priority " für unterstützte Testergebnisformate anzuzeigen.
Testanalysen Eine Ansicht der historischen Testdaten , um aussagekräftige Erkenntnisse bereitzustellen.
Testfall Identifiziert einen einzelnen Test innerhalb der angegebenen Verzweigung eindeutig.
Testdateien Gruppentests basierend auf der Art und Weise, wie sie verpackt werden; z. B. Dateien, DLLs oder andere Formate.
Prüfbericht Eine Ansicht einer einzelnen Instanz der Testausführung in der Pipeline, die Details zu Status und Hilfe zur Problembehandlung, Rückverfolgbarkeit und mehr enthält.
Versuchsergebnis Einzelne Instanz der Ausführung eines Testfalls mit einem bestimmten Ergebnis und Details.
Testlauf Logische Gruppierung von Testergebnissen basierend auf:
- Test, der mit integrierten Aufgaben ausgeführt wird: Alle Tests, die mit einer einzigen Aufgabe wie Visual Studio Test, Ant, Maven, Gulp, Grunt oder Xcode ausgeführt werden, werden unter einer einzigen Testausführung gemeldet.
- Ergebnisse, die mit der Aufgabe "Testergebnisse veröffentlichen" veröffentlicht wurden: Bietet eine Option, alle Testergebnisse aus einer oder mehreren Testergebnissen in eine einzelne Ausführung oder einzelne Ausführung pro Datei zu gruppieren.
- Tests, die mit API(en) veröffentlicht wurden: APIs bieten die Flexibilität, Testläufe zu erstellen und Testergebnisse für jede Ausführung nach Bedarf zu organisieren.
Nachvollziehbarkeit Möglichkeit, einen Anforderungs-, Fehler- oder Quellcode aus einem Testergebnis vorwärts oder rückwärts zu verfolgen .

Bewährte Methoden

Die Sicherstellung der Anwendungssicherheit erfordert umfassende Tests in Azure Pipelines, wobei Komponententests und Integrationstests unerlässlich sind. Das Testen von Integrationen in Cloudumgebungen, insbesondere serverlose Anwendungen, stellt Herausforderungen aufgrund verteilter Architekturen, falsch konfigurierter IAM-Berechtigungen und Dienst-zu-Dienst-Integrationsprobleme dar.

Um dies zu beheben, sollten Sie Den Code lokal ausführen, während sie mit echten Azure-Diensten interagieren, realistische Tests erleichtern und Debuggertools aktivieren, die für automatisierte Tests geeignet sind. Die Implementierung dieses Ansatzes erfordert die Bereitstellung ephemerer Azure-Ressourcen. Erstellen Sie idealerweise separate Konten für jede Umgebung; alternativ ist eine dynamische Bereitstellung in Azure-Pipelines möglich, obwohl dies die Ausführungszeit erhöht und eine sorgfältige Planung der Außerbetriebnahme von Ressourcen erfordert. Um Namenskonflikte zu minimieren, vermeiden Sie die explizite Ressourcenbenennung, sofern nicht erforderlich, und fügen Sie Umgebungsnamen in Ressourcennamen ein.

Hilfe und Support

  • Last updated on