Testsystem-Konfiguration
Testsystem-Konfigurationen sind ein zentraler Bestandteil von TESTMETRIX®.
In einem Testsystem sind die Hardware-Komponenten – wie Testgeräte und das Device under Test (DuT), also der Prüfling – in der Regel stationär.
Die Software, insbesondere auf dem DuT, verändert sich jedoch mit jedem Testdurchlauf, da während der Entwicklung kontinuierlich neue Software- oder Firmwarestände getestet werden.
Ein DuT besteht dabei häufig aus mehreren Komponenten (z. B. mehreren PCBs).
Je nach Komplexität des Testsystems existieren somit mehrere Hardwarekomponenten mit jeweils eigenen, sich verändernden Softwareversionen.
Nachverfolgbarkeit durch Testsystem-Konfigurationen
Um eine lückenlose Nachverfolgbarkeit zu gewährleisten, werden für jeden Testdurchlauf die verwendeten Softwareversionen über die Testsystem-Konfiguration erfasst.
Dadurch ist jederzeit nachvollziehbar welche Softwarestände auf welchen Komponenten verwendet wurden
Vorteil für die Fehlerursachenanalyse
Durch die Definition eines Testsystems mit allen zugehörigen Hardware- und Softwarekomponenten wird eine hohe Reproduzierbarkeit erreicht. Dies erleichtert die Fehlerursachenanalyse erheblich, da:
- Testumgebungen exakt nachvollzogen werden können
- Unterschiede zwischen Testläufen sichtbar werden
- Fehler gezielt auf bestimmte Softwarestände zurückgeführt werden können
Verwendung der Testsystem-Konfiguration
1. Testsystem definieren
Das Testsystem wird einmalig in der Benutzeroberfläche definiert.
Dabei wird unterschieden zwischen:
- Device under Test (DuT)
- Testequipment (z. B. Oszilloskope, Logic Analyzer, Testframeworks, Testsuites etc.)
Testequipment von Drittanbietern, beispielsweise Oszilloskope, besitzen häufig einen festen Software- oder Firmwarestand. Eine Versionierung ist daher kaum erforderlich. DuT-Komponenten und unternehmensintern entwickeltes Testequipment weisen hingegen typischerweise wechselnde Softwarestände auf, die erfasst werden müssen.
Diese Unterscheidung ist für die spätere Testsystem-Konfigurationsdatei relevant.
2. Testsystem-Konfigurationsdatei verwenden
Nach der Erstellung des Testsystems über die Benutzeroberfläche steht ein Muster für eine Testsystem-Konfigurationsdatei zum Download bereit.
Dieses File wird verwendet, um TESTMETRIX® nach jedem Testlauf mitzuteilen, welche Softwareversionen auf den einzelnen Komponenten verwendet wurden.
3. Softwareversionen aktualisieren
Nach jedem Testdurchlauf werden die entsprechenden Felder in der Testsystem-Konfigurationsdatei automatisiert (z. B. per Skript) mit den tatsächlich verwendeten Softwareversionen befüllt.
4. Upload über die REST-API
Anschließend wird die Testsystem-Konfigurationsdatei zusammen mit den Testdaten über die REST-API hochgeladen.
Beispiel: Bluetooth-Gateway-Testsystem
Das folgende Testsystem besteht aus einem ESP32 Gateway als DuT (Device under Test) und dem für die Testdurchführung benötigten Test Equipment. Zum Test Equipment gehören ein Bluetooth Peripheral Emulator, ein TAF (Testautomatisierungsframework) und die Bluetooth Test Suite.
Nach der Definition des Testsystems in der Benutzeroberfläche steht folgende Muster-Konfigurationsdatei zum Download bereit:
testsystem_config:
testsystem_name: "Bluetooth Gateway Testsystem"
components:
- name: "ESP32 Gateway"
sw_version: ""
- name: "Bluetooth Peripheral Emulator""
sw_version: ""
- name: "TAF"
sw_version: ""
- name: "Bluetooth Test Suite"
sw_version: ""
Die Felder sw_version sind bewusst leer gehalten. Vor jedem Testlauf werden sie mit den tatsächlich verwendeten Softwareversionen befüllt und anschließend zusammen mit den Testdaten über die REST-API hochgeladen.