Kernkonzept

TESTMETRIX® organisiert Testdaten in einer klaren hierarchischen Struktur.

Ein Projekt bildet die oberste Ebene und kann sowohl mehrere Pipeline-Definitionen als auch mehrere Verifikationsprojekte enthalten. Jede Pipeline-Definition kann mehrfach ausgeführt werden, wodurch die Pipeline-Ausführungen entstehen, die wiederum aus einzelnen Testläufen bestehen. Ein Testlauf setzt sich aus mehreren Testfallausführungen zusammen.

Ein Verifikationsprojekt kann mehrere Anforderungsprojekte und Testfallprojekte enthalten.
Anforderungsprojekte enthalten die Anforderungen eines bestimmten Bereichs oder einer bestimmten Testebene, während Testfallprojekte die dazugehörigen Testfalldefinitionen enthalten.

Projekt
  │
  ├── Pipeline-Definition
  │     ├── Pipeline-Ausführung
  │     │    ├── Testlauf
  │     │    │    ├── Testfallausführung
  │     │    │    └── ...
  │     │    └── ...
  │     └── ...
  │
  ├── Verifikationsprojekt
  │     ├── Anforderungsprojekt
  │     │    ├── High-Level Anforderung
  │     │    ├── Low-Level Anforderung
  │     │    └── ...
  │     │
  │     ├── Testfallprojekt
  │     │    ├── Testfalldefinition
  │     │    └── ...
  │     │
  │     └── ...
  │
  └── ...

Ebene	Beschreibung	Beispiel
Projekt	Oberste Einheit, vergleichbar mit einem GitLab Projekt.	ESP32 Gateway
Pipeline-Definition	Art der Pipeline	- Post-Commit Pipeline die nach jedem Commit durchläuft - oder eine Nightly Pipleine die jeden Tag Nachts durchläuft - etc.
Pipeline-Ausführung	Konkrete Ausführung einer Pipeline	Nightly Run #123
Testlauf	Sammlung ausgeführter Testfälle einer konkreten Testsuite	Integration Test, Unit Test, Smoke Tests, etc.
Testfallausführung	Einzelne Testfallausführung innerhalb eines Testlaufs	test_bluetooth_connection()
Verifikationsprojekt	Fachliche Strukturierung von Anforderungen und Testfällen	Bluetooth Gateway Verification
Anforderungsprojekt	Gruppierung fachlich zusammengehöriger Anforderungen	Integration Requirements
High-Level Anforderung	Übergeordnete fachliche Anforderung	Bluetooth Communication
Low-Level Anforderung	Konkret testbare technische Anforderung	Device must establish a Bluetooth connection within 30 seconds
Testfallprojekt	Gruppierung fachlich zusammengehöriger Testfälle	Integration Tests
Testfalldefinition	Beschreibung eines konkreten Testfalls	Verify Bluetooth pairing procedure

Verbindung zwischen Verifikation und Testausführung

Testfalldefinitionen können über eindeutige IDs Testausführungen zugeordnet werden.

Dadurch entsteht folgende Verbindung:

Testfallausführung
  → Testfalldefinition
    → Low-Level Anforderung

Auf dieser Grundlage berechnet TESTMETRIX® automatisch die Anforderungsabdeckung für Integrations- und Systemtestebenen.

Zusätzliche Testdaten

Jedem Testlauf und jeder Testfallausführung können zusätzlich Daten beliebiger Art zugeordnet werden. Diese werden entsprechend miteinander verknüpft und im jeweiligen Kontext dargestellt.

Beispiele:

• Logs
• Metriken
• Screenshots
• Coverage Reports
• HiL-Konfigurationen
• Testartefakte

Messungen werden über ein spezielles JSON-Format hochgeladen und als interaktive Grafiken visualisiert.

Die Zuordnung sowie der Upload erfolgen primär über die REST-API, da TESTMETRIX® für eine nahtlose Integration und vollständige Automatisierung in bestehende Systeme entwickelt wurde.

Weitere Informationen zum unterstützten JSON-Format sowie zum Upload von Metriken und Testartefakten findet ihr in der API-Beschreibung.

War diese Seite hilfreich?