Testläufe
Ein Testlauf repräsentiert die Ergebnisse einer oder mehreren konkreten Testfallausführungen.
Testläufe werden in TESTMETRIX® als JUnit-XML-Dateien hochgeladen und anschließend visuell aufbereitet.
Upload von Testläufe
Testläufe werden per REST-API hochgeladen.
Dabei wird mindestens ein JUnit-XML-Testreport übertragen.
Optional: Code Coverage
Zusätzlich kann ein Cobertura-XML-File hochgeladen werden, um die Code Coverage zu analysieren.
Dies ist optional und vor allem für Unittests relevant.
Weitere Informationen findet ihr im entsprechenden Abschnitt zur Code Coverage.
Artefakte und Metriken
Der Fokus von TESTMETRIX® liegt auf der Vereinfachung der Fehlerursachenanalyse durch die Konsolidierung von Testdaten.
Daher können zu jedem Testlauf zusätzliche Daten hochgeladen werden:
- Artefakte (z. B. Logs, Screenshots, Dateien)
- Metriken (z. B. Spannungen, CPU- oder RAM-Auslastung)
Testfallebene vs. Testlaufebene
TESTMETRIX® unterscheidet zwischen zwei Ebenen:
Testfallebene
Artefakte und Metriken können direkt einzelnen Testfällen zugeordnet werden.
Dies ist besonders sinnvoll für testfallspezifische Messungen oder einzelne Ereignisse.
Testlaufebene
Zusätzlich können Artefakte und Metriken auf Testlaufebene hochgeladen werden.
Dies eignet sich für Daten, die über den gesamten Testlauf hinweg erfasst werden.
Beispiele:
- CPU-Auslastung
- RAM-Auslastung
- Systemmetriken bei Embedded-Systemen (z. B. Yocto)
Diese helfen dabei, systemweite Probleme und Bottlenecks frühzeitig zu erkennen.
Upload von Artefakten und Metriken
Artefakte und Metriken werden über die REST-API hochgeladen.
Hierfür stehen separate Endpunkte zur Verfügung, die in der API-Beschreibung näher beschireben sind.
Format von Messdaten
Messdaten können in folgenden Formaten übertragen werden:
- einfache x,y-Wertepaare
Das gleiche Format gilt sowohl für Testfall- als auch für Testlaufebene.