vTESTstudio
Python nutzen mit Version 7Komfortables Erstellen automatisierter Testabläufe für eingebettete Systeme
vTESTstudio
vTESTstudio ist eine leistungsfähige Entwicklungsumgebung für das Erstellen automatisierter Steuergerätetests. Um die Effizienz beim Test-Design zu steigern und die Wiederverwendung zu vereinfachen, stehen Ihnen
- programmiersprachenbasierte,
- tabellarische sowie
- grafische Testnotationen und Testentwurfsmethoden zur Verfügung.
vTESTstudio ist in allen Entwicklungsphasen einsetzbar: von Modelltests bis hin zur Systemvalidierung. Durch offene Schnittstellen lässt sich vTESTstudio darüberhinaus flexibel in bestehende Tool-Landschaften integrieren.
Vorteile
- Breites Anwendungsspektrum
durch verschiedene Testdesigneditoren - Flexible Parametrierung von Testabläufen
mittels skalarer Werte, Testvektoren und Stimulationskurven in allen Testdesign-Sprachen nutzbar - Durchgängige Variantenunterstützung
in Struktur, Implementierung und Parametrierung der Tests - Leichte Wartbarkeit von Testprojekten
durch modularen Aufbau und vielfältige Strukturierungsmöglichkeiten, wie beispielsweise Bibliotheken und Ordner - Direkter Zugriff auf Symbole der XIL-Testumgebung
in Testabläufen (HIL, SIL, MIL, …) - Vollständige Traceability
extern definierter Anforderungen und Testspezifikationen in Testimplementierung und Testreport - Hohe Testabdeckung
ohne großen Programmieraufwand aufgrund der Unterstützung parametrierter Testfalllisten - Offene Schnittstellen
zur einfachen Integration in bereits vorhandene Tool-Landschaften
Highlights der Version 7
- Unterstützung von Python als Programmiersprache inklusive integriertem Python-Editor und dedizierten Testfunktionen für den Zugriff auf Distributed Objects (DOs)
- Konfiguration von vCDL-Dateien zum Aufsetzen von Tests für CI-Pipelines mit CANoe4SW Server Edition
- Verlinken ganzer Bibliotheken in Test Units als Alternative zur Verlinkung einzelner Dateien
- Benutzerdefinierte Sampling Time im Execute-Waveform-Kommando zur besseren Kontrolle der Buslast
- Fuzz-Testing auch für J1939-Netzwerke verfügbar
- Unterstützung von benutzerdefinierten CAPL-Funktionen im CAPL-Inline-Kommando
- Vergabe von Diagramm-IDs zur Wiederverwendung verlinkter Diagramme über mehrere Projekte hinweg
Anwendungsgebiete
vTESTstudio unterstützt Sie in allen Entwicklungsphasen beim Design automatisierter Steuergerätetests.
Testdesign-Editoren
Für die Entwicklung von Automatisierungssequenzen sind in vTESTstudio mehrere sich ergänzende Testdesign-Methoden integriert. Zwischen diesen Methoden kann der Anwender, je nach Aufgabenstellung und Anforderung, flexibel wechseln.
Die Testfallübersicht gibt einen Überblick über alle in einem Testprojekt verfügbaren Testfälle, unabhängig davon, mit welchem Editor sie implementiert sind.
Testtabelleneditor
Mit dem Testtabelleneditor erstellen Sie einfach mittels vor- und selbstdefinierter Testkommandos sequentielle Testabläufe, ganz ohne Pogrammierkenntnisse. Dafür stehen Ihnen spezielle Kommandos für das Stimulieren und Prüfen des „System under Test“ zur Verfügung. Über Drag & Drop aus Explorern und über eine intelligente Eingabeunterstützung können Sie die Kommandos zudem komfortabel parametrieren.
Testdiagrammeditor
Der Testdiagrammeditor ist mit der vTESTstudio Option „Graphical Test Design“ verfügbar.
Mit ihm notieren Sie Tests in grafischer Form. Für jeden Pfad im Diagramm erzeugt vTESTstudio automatisch einen Testfall. Die leicht verständliche grafische Darstellung ermöglicht Ihnen ein einfaches Review selbst komplexer Testlogik.
Hinter den grafischen Elementen befindet sich jeweils Test-Code in tabellarischer Notation. Für diesen Test-Code stehen Ihnen dieselben Kommandos zur Verfügung wie im Testtabelleneditor.
Zustandsdiagrammeditor
Der Zustandsdiagrammeditor ist mit der vTESTstudio Option „Graphical Test Design“ verfügbar.
Mit dem Zustandsdiagrammeditor modellieren Sie das erwartete Verhalten des SUT als Zustandsübergangsdiagramm. vTESTstudio generiert aus diesem Testmodell automatisch Testfälle. Für die Testfallgenerierung können Sie zwischen verschiedenen Algorithmen wie dem Chinese-Postman-Algorithmus und einem Algorithmus basierend auf Breitensuche wählen.
Hinter den grafischen Elementen befindet sich jeweils Test-Code in tabellarischer Notation. Für diesen Test-Code stehen Ihnen dieselben Kommandos zur Verfügung wie im Testtabelleneditor.
Programmierspracheneditor
Die Programmiereditoren für CAPL, C# und Python bieten Ihnen die Funktionen einer modernen Entwicklungsumgebung. Unter anderem ermöglichen die Editoren ein komfortables Arbeiten durch automatische Textergänzung, Syntax-Highlighting und Fehlerkennzeichnung schon während des Schreibens.
In allen Programmiersprachen – CAPL, C# und Python – definieren Sie sequentielle Testabläufe und arbeiten eventbasiert. Dies ist möglich durch spezielle Sprachelemente, mittels derer auf Ereignisse der Testumgebung reagiert wird, z.B. zur Vorverarbeitung von Signalen.
Um Tests in C# zu implementieren, können Sie auch Microsoft Visual Studio nutzen. Eine integrierte Anbindung an vTESTstudio ist verfügbar.
Parameter & Stimulationskurven
Parameter-Editor
Sie erreichen eine höhere Wiederverwendbarkeit von Funktionen durch Definition und Verwaltung von Steuergeräteparametern und Testvektoren in separaten Dateien. Für den Testablauf greifen Sie aus allen Implementierungssprachen auf die Parameter zu.
Parametern und Testvektoren sind sowohl skalar als auch als Liste definierbar. Über diese Listen ist das Itererieren der Testabläufe für Sie sehr komfortabel, z.B. wenn Sie mit Hilfe mehrere Testvektoren einen einzigen Testfall mehrfach, jeweils mit einem spezifischem Parametersatz, ausführen.
Im vTESTstudio steht Ihnen ein komfortabler Editor für die Parameterdateien zur Verfügung. Durch das Speichern der Dateien in einem einfachen .csv-Format ist es auch möglich, die Dateien in einem externen Editor zu bearbeiten, beispielsweise in Microsoft Excel.
Waveform-Editor
Stimulationskurven definieren Sie mit Hilfe des sogenannten Waveform-Editors. Vordefinierte Segmenttypen (Sinus, Pulse,...) unterstützen Sie dabei, z.B. Spannungsverläufe aus der Testnorm LV124 einfach und schnell zu definieren. Mehrere Kurvenverläufe können im selben Editor komfortabel synchronisiert werden.
Zusätzlich zum Stimulieren von Kurven lassen sich Prüfpunkte in der grafischen Benutzeroberfläche definieren. Auf diese Weise können Sie das erwartete Verhalten des zu testenden Systems synchron mit den stimulierten Werten validieren.
Klassifikationsbaumeditor
Das Finden von Testfalldaten wird über den sogenannten Klassifikationsbaumeditor unterstützt. Die Definitionen von Klassifikationen und Äquivalenzklassen in einer grafischen Oberfläche unterstützt Sie dabei, schnell und komfortabel die notwendige Anzahl an Testvektoren zu finden.
Die explizite Unterstützung von Grenzwerten hilft Ihnen außerdem, kritische Werte wie Minimum und Maximum einer Äquivalenzklasse im Test zu berücksichtigen.
Varianten-Handling
vTESTstudio bietet Ihnen die vollständige Unterstützung von Steuergeräte- und Testvarianten. Varianten werden dort als sogenannte Varianteneigenschaften abgebildet. Innerhalb eines Testprojekts definieren Sie beliebig viele Varianteneigenschaften, z.B. die Steuergerätevariante “Country [US, Europe]” oder die Testvariante “Coverage [Full, Regression]”. Den Wert einer Varianteneigenschaft für einen Test legen Sie wahlweise bereits zur Design-Zeit fest oder Sie stellen ihn kurz vor Testbeginn ein.
Sie definieren sowohl Teststruktur als auch Testablauf und Parameterwerte variantenabhängig. Das bedeutet für Sie den Vorteil einer erhöhten Wiederverwendbarkeit von Testfunktionen, Parametern und ganzen Bibliotheken, auch über Produktlinien hinweg.
Variantenabhängige Testausführung
Der Aufbau des Testausführungsbaumes kann von einer oder mehreren Varianteneigenschaften abhängig sein. So können z.B. einzelne Testfälle nur für eine bestimmte Ausprägung eines Steuergeräts relevant sein oder auch ganze Testgruppen nur in einer bestimmten Testvariante ausgeführt werden (z.B. vollständiger Test im Unterschied zum Regressionstest).
Variantenbedingungen für Testfälle und Testgruppen können auf einzelnen oder mehreren Varianteneigenschaften basieren. Mehrere Bedingungen können mithilfe logischer Operatoren verknüpft werden.
Ist die für einen Testfall oder eine Testgruppe definierte Bedingung nicht erfüllt, erscheint dieses Element nicht für die Testausführung in CANoe.
Variantenabhängige Testsequenz
Die Ablaufsequenz innerhalb eines Testfalls kann von einer oder mehreren Varianteneigenschaften abhängig sein. Dies kann über entsprechende If-/Else-Anweisungen bzw. spezielle grafische Elemente ausmodelliert werden.
Variantenabhängige Parameter
Sind einzelnen Werte (z.B. Konfigurationsparameter für das Steuergerät) abhängig von einer Varianteneigenschaft, kann dies im Parametereditor definiert werden. Darüber hinaus ist auch die Definition von variantenabhängigen Listenparametern ist möglich. So kann z.B. die Wertemenge in einer Liste von zu testenden Temperaturen von der Varianteneigenschaft „Testtiefe“ abhängen: für einen vollständigen Test werden mehr Temperaturwerte getestet als für einen Smoke Test.
Zur Testausführungszeit werden automatisch die passenden Werte zur eingestellten Variante verwendet, ohne dass die eigentliche Testsequenz (z.B. im Testtabellen- Testdiagrammeditor) angepasst werden muss.
Testabdeckung
Testfalllisten
Sie erhöhen Ihre Testabdeckung ohne großen Programmieraufwand. vTESTstudio unterstützt Sie dazu mit sogenannten parametrierten Testfalllisten.
Eine Testfallliste wird definiert, indem Sie für jeden Übergabeparameter einer Testfalldefinition mehrere Werte angeben. vTESTstudio erzeugt automatisch zur Testausführung so viele Testfälle, dass wahlweise entweder jeder Parameterwert mindestens einmal, jede paarweise Kombination oder tatsächlich jede Kombination von Parameterwerten verwendet wird.
Testdaten
Die Daten, mit denen ein Testfall mehrfach ausgeführt werden soll, können auf unterschiedliche Arten definiert werden: Zum einen ist eine direkte Eingabe im Testtabelleneditor möglich. Es können sowohl einzelne Werte wie auch Ranges mit bestimmter Schrittweite angegeben werden. Alternativ können die Testdaten im Parametereditor oder im Klassifikationsbaumeditor definiert werden. Damit ist z.B. eine dedizierte Betrachtung von Grenzwerten oder auch die Verwendung von variantenabhängigen Werten bzw. Wertelisten möglich.
Testausführung
Testausführung in CANoe
Die in vTESTstudio definierten Tests werden unabhängig von ihrer Notation in CANoe geladen, in Echtzeit ausgeführt und in einem ausführlichen Testreport dokumentiert.
Mit Hilfe des Test-Trace-Fensters lässt sich der Testablauf während der Durchführung überwachen und analysieren. Die Möglichkeit, aus dem Test-Trace-Fenster an die entsprechende Stelle im Testdesign in vTESTstudio zu navigieren, vereinfacht die Testablaufanalyse zusätzlich.
CANoe Execution Adapter
Dieses Add-On dient der automatisierten Testfallselektion und -ausführung in CANoe. Quelle hierfür ist eine XML-basierte Planungsliste, welche entweder die auszuführenden Testfälle oder die zu testenden Trace Items beinhaltet. Folgende Planungsformate werden unterstützt:
- Trace Items Format
Mit diesem Format kann direkt auf Basis von Requirements oder Testfallspezifikationen geplant werden. Es werden dann mit Hilfe der Traceability Matrix genau die Testfälle ermittelt, die mit mindestens einem geplanten Trace Item verlinkt sind. Execution Plan
Dieses Format enthält eine flache Liste von Testfällen oder Trace Items und kann direkt aus vTESTstudio exportiert werden. Die Ausführungsplanung aus externen REQM-/TDM-Systemen heraus lässt sich ebenfalls über dieses Format realisiert.
Die Ansteuerung des CANoe Execution Adapters kann sowohl über eine graphische Benutzeroberfläche als auch über eine Kommandozeilenanwendung für die Integration in eine Continuous-Integration-Umgebung erfolgen.
CANoe Test Report Viewer
Während der Testausführung in CANoe findet automatisch ein detailliertes Reporting statt. Der Report kann mit dem hierfür verfügbaren CANoe Test Report Viewer geöffnet und analysiert werden. Unterstützt werden u.a. verschiedene Sichten auf die Testdaten, Filterung nach unterschiedlichsten Aspekten, Gruppierung nach Verdict, Abfragen auf verlinkte Trace Items und vieles mehr. Die Navigation von einem Testschritt im CANoe Test Report Viewer zum Testdesign in vTESTstudio wird ebenfalls unterstützt.
Fuzz-Testing
Mit dem Fuzz-Testing-Feature in vTESTstudio lassen sich komfortabel Robustheitstests für das System Under Test (SUT) definieren und mit CANoe ausführen. Der integrierte Fuzz-Test-Generator erzeugt eine hohe Anzahl an Testvektoren, die zur Bedatung von Signalen verwendet werden und somit der Stimulation des Prüflings dienen.
Es gibt zwei Arten von Testwerten:
- Typ- und regelbasierte Testwerte
Für die Berechnung dieser Testwerte werden bestimmte Eigenschaften der Signale aus der Datenbasis herangezogen (z.B. Bitlänge und Datentyp). Anhand dieser Informationen werden Grenz- und Sonderwerte (z.B. ±∞) für das betreffende Signal ermittelt. - Zufallswerte
Mit Hilfe von Zufallszahlen lässt sich die Anzahl der generierten Testvektoren beliebig erhöhen. Es besteht auch die Möglichkeit der Endlos-Generierung für Langzeittests.
Durch die Verwendung von vordefinierten Testkommandos zur Hintergrundüberwachung kann das Verhalten des Steuergeräts während des Fuzz-Tests kontinuierlich überwacht werden. Zusätzlich können an die einzelnen Fuzz-Testfälle auch explizite Prüfsequenzen annotiert werden, um spezielle Reaktionen des Prüflings zu überprüfen und zu bewerten.
In CANoe wird aus jedem generierten Testvektor ein separater Testfall erzeugt und entsprechend gereportet. Die jeweiligen Signalwerte und Testergebnisse sind während der Ausführung im Test-Trace-Fenster einsehbar.
Traceability
Mit vTESTstudio können Sie extern definierte Anforderungen und Testbeschreibungen während der Testimplementierung und im Testbericht verfolgen (Traceability). Dies geschieht über Austauschdateien in einem offenen XML-Format. Dadurch kann jedes REQM/TDM-System in Verbindung mit vTESTstudio verwendet werden.
Die aus dem REQM/TDM-System exportierten Informationen werden in vTESTstudio importiert und können dort mit Testfällen verknüpft werden. Die verknüpften Elemente können Anforderungen oder Testbeschreibungen sein. Da diese Elemente zur Erreichung der Rückverfolgbarkeit verwendet werden, werden sie als Trace-Items bezeichnet.
Anforderungsbasierter Workflow
Beim anforderungsbasierten Testen werden direkt die im REQM System definierten Anforderungen als Trace Items in das vTESTstudio Projekt importiert und dort mit Testfallimplementierungen verlinkt. Eine n:m Verlinkung ist möglich.
Testfallbasierter Workflow
Liegt bereits im TDM System eine Spezifikation der Testfälle in Prosa vor, werden die Testfallspezifikationen als Trace Items in das vTESTstudio Projekt importiert. Dort wird jede Testfallspezifikation durch eine 1:1 Verlinkung mit einer Testfallimplementierung verknüpft.
Trace Item Explorer
Alle in ein vTESTstudio Projekt importierten Trace Items stehen über den Trace Item Explorer zur Verfügung. Von dort können sie bequem per Drag & Drop mit Testfällen verlinkt werden.
Im REQM/TDM-System können Anforderungen und Testbeschreibungen in hierarchischen Ordnern oder vergleichbaren Elementen strukturiert sein. Diese Ordner werden im Trace Item Explorer in gleicher hierarchischer Darstellung angezeigt. Ordner können jedoch nicht direkt mit Testfällen verknüpft werden.
Traceability-Matrix
TESTstudio unterstützt Sie bei der Traceability extern definierter Anforderungen und Testbeschreibungen in der Testimplementierung und im Testreport. Dies geschieht über eine Austauschdatei in einem vordefinierten offenen XML-Format. Damit können beliebige REQM/TDM-Systeme mit vTESTstudio gekoppelt werden.
Die aus dem REQM/TDM-System exportierten Informationen (Trace Items) werden in vTESTstudio importiert, um dort mit Testfällen verknüpft zu werden. Eine Übersicht über die Testdesignabdeckung bietet Ihnen die Traceability Matrix. Für jedes Trace Item, das mit einem Testfall verknüpft ist, enthält der Testreport eine entsprechende Referenz am Testfall. Somit ist Traceability vom Testfallergebnis zurück zur Anforderung bzw. Testbeschreibung möglich.
Unterstützte REQM-/TDM-Systeme
Overview
Out-of-the-Box unterstützt werden:
- Vector PREEvision TDM
- Squore / Software Analytics
IBM Rational DOORS
IBM Rational DOORS NG, IBM Rational Quality Manager
PTC Integrity
Siemens Polarion ALM
Jama Connect
- Intland codeBeamer ALM
Die Traceability mit weiteren REQM-/TDM-Systemen kann durch Eigenentwicklung auf Basis offener Austauschformate realisiert werden.
Siemens Polarion ALM
Vector Polarion Connection Utility ist ein Add-on-Tool für Vector vTESTstudio. Es dient der Integration von Polarion QA / ALM in die Vector Test-Toolkette.
Überblick: Vector Polarion Connection Utility
Verschaffen Sie sich einen schematischen Überblick, wie Sie mit Hilfe des Vector Polarion Connection Utility die Traceability zwischen Siemens Polarion ALM, CANoe und vTESTstudio erreichen können.
Tool Demo: Testfallbasierter Workflow
Erfahren Sie in einer detaillierten Tool-Demonstration, wie das Polarion Connection Utility eingesetzt werden kann, um die Traceability zwischen Siemens Polarion ALM, CANoe und vTESTstudio über den testfallbasierten Workflow zu erreichen.
Tool Demo: Anforderungsbasierter Workflow
Erfahren Sie in einer Schritt-für-Schritt Tool-Demonstration, wie das Polarion Connection Utility eingesetzt werden kann, um die Traceability zwischen Siemens Polarion ALM, CANoe und vTESTstudio über den anforderungsbasierten Workflow zu erreichen.
PTC Integrity Lifecycle Manager
Vector Integrity Connection Utility ist ein Add-on-Tool für Vector vTESTstudio. Es dient der Integration des PTC Integrity Lifecycle Managers in die Vector Test-Toolkette.
Überblick: Vector Integrity Connection Utility
Verschaffen Sie sich einen schematischen Überblick, wie Sie mit Hilfe des Vector PTC Integrity Lifecycle Connection Utility die Traceability zwischen PTC Integrity Lifecycle Manager, CANoe und vTESTstudio erreichen können.
Tool Demo: Testfallbasierter Workflow
Erfahren Sie in einer detaillierten Tool-Demonstration, wie das Integrity Connection Utility eingesetzt werden kann, um die Traceability zwischen PTC Integrity Lifecycle Manager, CANoe und vTESTstudio über den testfallbasierten Workflow zu erreichen.
Tool Demo: Anforderungsbasierter Workflow
Erfahren Sie in einer Schritt-für-Schritt Tool-Demonstration, wie das Integrity Connection Utility eingesetzt werden kann, um die Traceability zwischen PTC Integrity Lifecycle Manager, CANoe und vTESTstudio über den anforderungsbasierten Workflow zu erreichen.
Produktbeschreibungen
- Fact Sheet: Die wichtigsten Daten im Überblick (PDF)
- Konzepthandbuch: Ausführliches Konzepthandbuch zu vTESTstudio (PDF)
- vTESTstudio/CANoe - Kompatibilität: Detaillierter Überblick (PDF)
Hier finden Sie die Systemvoraussetzungen für die aktuelle Version von vTESTstudio und Angaben darüber, mit welchen Betriebssystemen diese Version kompatibel ist.
Empfehlung | Minimum | |
|---|---|---|
Betriebssystem | Windows 10 | |
Prozessor | Intel Core i5 with 3 GHz | Intel Core Duo with 2,6 GHz |
Speicher (RAM) | 4 GB | 1 GB |
Festplattenplatz | 1,5 GB | |
Bildschirmauflösung | 1280 x 1024 | 1024 x 768 |
CANoe/CANoe4SW* | Version 16 | Version 12.0 |
* Zur Testausführung erforderlich. Der nutzbare Funktionsumfang in vTESTstudio ist abhängig von der CANoe Version.
Haben Sie technische Fragen und suchen passende Antworten? Unsere Knowledge Base hält die wichtigsten FAQs für Sie bereit.
Videos
Keine Lust auf Lesen? Dann schauen Sie sich die Videos an.
Downloads
Training
vTESTstudio Seminare
vTESTstudio bietet vielfältige Möglichkeiten, automatisierte Testabläufe für eingebettete Systeme zu erstellen. Doch nur wer all diese Optionen kennt, kann das Potenzial voll ausschöpfen und Zeit und Geld einsparen.
Nutzen Sie daher unsere Schulungen und Weiterbildungsangebote, um vTESTstudio in Ihrem Arbeitsalltag noch effizienter einzusetzen!
