Viconnis Embedded Testing 2018 2.3 - Clean Code Days€¦ · D1.2 Kombinierte Hardware- und Softwaretests mit Hardware Fault Injection für System Tests „Smart Testing – System

D1.2 Kombinierte Hardware- und Softwaretests mit Hardware Fault Injection für System Tests

„Smart Testing – System Fault Injection“

Wir verbinden Ihre Test-Inseln - 2018 ©

Viconnis Test Technologie GmbH Embedded Testing 2018

Wir verbinden Ihre Test-Inseln - 2018 © 2

Kombinierte HW-, SW-Tests mit Hardware Fault Injection für System Tests

Innerhalb des Testprozesses funktionieren die einzelnen Disziplinen für sich gut, aber…

„ Das System braucht mehr als das Beste seiner Einzeldisziplinen“ (Tim Weilkiens)

System System

Software Hardware

Software Hardware ? ? ?

•  Fehlerhafte Funktionalität des Endproduktes (Systems) beim Kunden •  Fälschliche Annahme und Bewertung eigener Pass-Ergebnisse •  Lückenhaftes/kein Feedback aus anderen bzw. späteren Testdisziplinen…

Hardware Software Integration and Test

Effo

rt

“Limited Critical Integration points”

HW cycle time

SW cycle time

I&T cycle time

Time

Test driven development with many… manufacturers / test systems / application variants / tests

1.  System level Function robust,reliable, FI

2.  Software level Application register driver

3.  Hardware level Signal level


Virtual model simulation Reality behavior

Multidiziplinäre Systeme mit Partitionierung

Development targets

Test infrastructures

Development targets


Development targets


Top down


1.  System level Function robust reliable



System Requirement Selections




Development targets


Development targets


Development targets


Selected Development target

Indivdual Test Infrastructures

Old System - Know how ó NEW System - Expectation

Fullfilment => System proove Evidence Fact based results

Top down

Smart comparison


1.  System level Function robust reliable






Test driven development for electrical world Know-how transfer / factual comparisons

Development targets


Development targets


Development targets


Selected Development target

Indivdual Test Infrastructures

Old System - Know how ó NEW System - Expectation

Fullfilment => System proove Evidence Fact based results

Smart comparison

Top down

System Requirement è Selections

Bottom up

System view

TestC© und API Headless – Übertragbare Testinhalte


Test question? Test response !

Test systems

Test content

Customer view Development

targets Test

infrastructures

Connector to the electrical world - test and analysis - modelling and connecting services

ATE test systems1,2

high end

RasPi-LAB instruments

LXI-OSC,AWG

RasPI+ DAC / ADC Digital I/O

Simulation SystemC.AMS

Cadence

Test report

010101010 HLXHlXZHL

Testantwort TestC©API Headless

Test analog Test digital

Test library

protocol register analog digital

System HW Test

System HW/SW Emulation

Virtual System HW / SW

Target systems SUT / DUT

TestC©/TESSY 4.1 – Integrierte System, Software und Hardware Tests


> TestC Fault injection HW fail Test question ? > TESSY System fail reaction

> TESSY System fail recognition Test response!

TESSY 4.1 C++/CCDL

THAI.dll Debugger

3 Hardware-TestC

CPU

Load sw tests

2. SW Test Application ?

1. Target System (SUT)

TestC©

System view - proove real electrical world system aspects

Electr. signals

Virtual

Test report

8 Wir verbinden Ihre Test-Inseln - 2018 ©

§  Ohne TestC/Fault Injection, 83,33 % Total Coverage, da der Rückgabewert der Funktion read_validation_signal() außerhalb des Systems kommt und nicht durch Tessy beeinflusst werden kann.

TESSY 4.1 mit TestC© RasPi


§  Eintragen der Fault Injection, vor dem Branch der bisher nicht abgedeckt war bzw. an dem TestC Stimuli ausgeführt werden soll.



§  Aktivieren der TestC Stimuli über das Signal b5 in Test Case 1.1.



§  Ausgeführter Test mit 100% Total Coverage


TESSY + TestC© API …

… +Original Code+Test Systems+Simulation+Realtime+System Fault Injection

Test Systems - Who‘s providing Stimuli – Who‘s checking Response? •  Debugger – Keil µVision > SWI single wire, Jtag, register, •  Tester: Mini Tester Rapi, High speed ATE, High speed Cards •  Instrumentation Rapi: Analog Waveform (awg), analog / digital capture... •  Simulation: SystemC – SystemC-AMS – Capture boards

„Smart Testing“ - Comparison / Substitutions - Testdomains •  TESSY based regression test - integration – SW / HW – Realtime •  Simulation / Real Test with different Test systems •  SW driver protocol check driver / firmware on HW – HW protocol •  External / internal Bus protocols SPI / I2C / CAN


TESSY + TestC© API …

TESSY SW Unit Test @ µC target + System + Surrounding •  System Memory Mapped: Register and µC physical terminals •  Simulation i.e. for not available terminals and augmented reality (virtual) •  Reality test limited by Design for Test (DfT): Observability and controllability

„Make hw bad“ - Fail Library and Fault Injection into HW

•  SW fail recognition / SW fail reaction for Total Testcoverage •  TestC© library to Rapi / analog fail to simulation into SystemC model •  Flash, Memory fail •  Simulation – Fault model, fault hypothesis, analysis support

… +Original Code +Test Systems +Simulation +Realtime +System Fault Injection


TestC© und API Headless - Verbindungsglied zur elektrischen Welt


Test question? Test response!

System / SW Test - Eclipse

HW interface Debugger

3 Hardware-TestC

CPU

Load sw tests

2. SW Test Application

1. Target System (SUT)

TestC©

Virtual System - Proove real electrical world system aspects

Electr. signals

Test report

SystemC.AMS Behavior models 1,2,3,4 / real world – Eclipse based

Test question? Test response!

Virtual

Kombinierte HW-, SW-Tests mit Hardware Fault Injection für System Tests


Die Verbindung von Testsichten und Testdisziplinen dient dem Gesamtsystem, wenn…

System Software Hardware



System Software

Hardware


System Testaspekte beinhalten Eigen- / Fremdsichten aller Disziplinen!

•  Faktenbasierter Austausch statt Annahmen •  Systemaspekte unter Berücksichtigung der eigenen Domain prüfen •  Relevante fachübergreifende Testsichten sichtbar und nutzbar machen…

Time

Effo

rt

Time / Risk

Hardware

Software Integration and Test

“Continuous Test Integration”

TestC©

Optimierte Testinfrastruktur mit TestC©

Systems (incl. µC‘s/EmbSys)

µC (IC System/SOC)

Embedded Systems

SERDES

Sensors

I2C

Flash

RAM

ROM

CAN

C51

ARM Jtag

Refer V Bandgap

Amplifier

ADC

DAC

Jtag, BIST, Api Jtag, BIST TOC, Jtag, Dft 1500

Subfunction

Simulation / Model Lab / Real subsystems Test system Dev/Eng/Prod/Field

µTCA, Beagle Bone, RasPi Osci, awg, looger I2C Spec.,…

Test sequence with TestC© for test content and test library

Coordinated test results and networked test infrastructure, automated analysis

Tool box support for unlimited access to subfunctions

Subsegment enabled to cooperate

Correlation, re-use and transfer will be possible

Test result Test result Test result

Desired condition

BIST – Build in Selftest TOC – Tester on Chip 1500 – IEEE 1500 Mixed-signal test access


Smart Testing - Wiederverwendbare Testinhalte für Test Systeme/Simulation


Device Software protocol

Pattern / pwl System Register

HLXHlXZHL 010101010

Capture Stimuli

Protocol Spec

TurnLeft TurnRight

TestC©-SDK Automatic analysis

SystemC.AMS

Test Systems •  RasPi- Instruments •  RasPi Mini HIL- ADC- DAC •  ATE Advantest, Teradyne

Simulation Systems •  SystemC.AMS Modell/ IEEE1666.1 •  Cadense /Synopsis ..

Start Write/read

00101010 101H1010 001L1010

API

Connect Islands: Software -> Electrical - HW near Fault Injection (FI)

TestC© Simulation – Automatische Analyse von Reset, Clock, Power, Time Domain

§  Multicore here Machine cycle counter (8051) with powerup, clock, testmode, reset

§  Signals at DUT (Device under Test), Ø interpretation with validation

§  Vdd_extern1 Powerup within 1ms Ø  level_type 1=brownout 2=near brownout 3=spec level §  xtal1 external clock Ø  clock_value logical clock value 0/1, needs power at spec level §  reset external reset Ø  reset_active logical reset active, from reset low for n clock cycles according to spec §  testmodeA/B external testmode selection (2 bits) Ø  testmode_value testmode, available at reset low Ø  machine_phase counter 1..2, increment at rising clock Ø  machine_state counter 1..6, increment after 2 phases Ø  machine_cycle counter from 1, increment after 6 states,

start at powerup spec level, restart at end of reset_active


Raspberry PI ® als Testclient mit Operator Interface   Kommunikation über Ethernet, WLAN, USB*   Empfänger für TestC© Kommandos   Ausführung der Testinhalte   Ergebnis Feedback von Raspberry PI ® zu TestC© zum Abgleich - Pass / Fail   Handover von nativen LXI-Rohdaten zu Testeinheiten z.B.: LXI-Geräte

Kooperative Testkonzepte mit mehreren mobilen Raspberry PI ®   Master / Multislave   Master Produktion z.B.: Master USB System Tests / Slave: Minitester Kooperation   Einige Analog Raspberry PI ® / einige Digital Raspberry PI ® , synchronisiert   Just in Time - HW Stimuli für SW Tests – Pass und HW Fail branches*

Testapplikation/Konnektivität via Raspberry PI ® Gerät/Board-Interface   RF send/receive – Tags-ID, Keyless entry, Car2Car, Smartcard, NFC   Kamera – Biometrie, Objekt-/Lageerkennung, Qualitätsnachweise   Sensoren und Aktoren – Bewegung, Motoren, Schalter, Smart Home   Reader – Barcode, QR-Code

TestC© und Minitestsystem Raspberry PI©

Raspberry PI ®

und Trinamic-Motor

Raspberry PI ® 2 TestC© Modifizierung

Raspberry PI ® TestC© mit

Keysight N6705B Power Analyzer


Rigol DS2072A-S mit Raspberry PI ®

und Trinamic-Motor

Raspberry PI ® als Testkontrolle und Testausführung – Testsystem   26 Channel GPIO - each driver or expect, Test speed > 1µs / 1MHz , 0v/3,3V digital,   Max. 26 analog – out via pwm – max. 85kSample, max. speed 160KS/s- 0.5s   Mini ATE, RPI und HW – Digital Pinelektrionik mit Treiber, Comparator, Active load

Testinstrument – additiv für Raspberry PI ® Testsystem   LXI Geräte z.B. 2x Channel Osziloskope, Protokoll-Analyse,Trigger-Option   2x Channel Analog Source Analog Waveform Generator (AWG)   2x Channel Digital Power Supply – Sequence Kontrolle mit Trigger-Option   Sensor analog*, Sensor with digital/RF interfaces*

Testboard / Evaluation Boards – additiv für Raspberry PI ® Testsystem   DAC Basisboard – 30k Samples/s 10bit, 5v, ADC DAC PI *   I2C Expander: Vgl. HW Kontrolle, SW Kontrolle - Transistor - ANALYSE   Transistor / Analog Wave to Speaker   ADC- DAC 12bit, 2x Analog_out 0..2v/0..3.3v 150KS/s SPI 5.4us setup, 1us write   ADC 1x ch, 12bit max. 75M samples, max. speed 100kS/ch* *) In Vorbereitung

Raspberry PI ®

mit ADC PI Plus

Raspberry PI ®

mit ADC DAC PI Raspberry PI ®

mit ADC DAC PI

TestC© und Minitestsystem Raspberry PI ®


TestC© - Weitere Einsatzmöglichkeiten

TestC© Software Development Kit (SDK) •  Test Sequences •  Single Complex Mixed Signal Tests •  Mini HIL Tests

TestC© – Language for transferable Test Content (DSL) for Validation & Test generation

•  Laboratory-Instrument (awg, osci…) •  Real Testsystem (Raspi / ATE), •  Simulation Systems (SystemC -AMS, SystemC Synopsys, Cadence)


Vernetzte Gesamttestinfrastruktur – technisch und kommunikativ!

Die Verbindung der elektrischen Welt ermöglicht strategisches Testen §  System Fault Injection für SW und HW Tests für Total Test Coverage §  Frühzeitige Fehlervermeidung via Early Test Verification - ETV §  Tiefe faktenbasierte Ursachen-Analysen für System / SW / HW für mehr Ausbeute §  Domain übergreifende, übertragbare Testinhalte für alle zeigbar und nutzbar machen §  Vergleich von Chip Sätzen, Protokoll Tests, Performance und Lasten Tests §  Platinenmeßpunkte mit /ohne Bestückung / Nadelkontakt Test §  Automatisierte Bedienung / Validierung mit vorhanden Laborgeräten (remote) §  Elektrische Verhaltenssimulation von Testsystemen, Zielsystemen


„Das System braucht mehr als das Beste seiner Einzeldisziplinen“

Eine agiles vernetztes Testvorgehens aller Testdisziplinen „technisch und kommunikativ“ löst das klassische V-Modell ab !

„Wir verbinden Ihre Test-Inseln“

Viconnis Test Technologie GmbH Christoph-Probst-Weg 4 / D-20251 Hamburg - Telefon +49 40 822 969 49 - www.viconnis.de / [email protected]

  Vernetzung vorhandener Testerfahrung und Testergebnisse   Koppelung bestehenden Eigen- / Fremd Testequipments   Testgenerierung und Erweiterung durch Minitestsysteme   Technisches Coaching zur strukturellen Optimierung   Testvalidation und -Verifikation zum strategischen Testen   Datenbankentwicklung für Test-, Projekt- und Kundendaten

Documents

Viconnis Embedded Testing 2018 2.3 - Clean Code Days€¦ · D1.2 Kombinierte Hardware- und Softwaretests mit Hardware Fault Injection für System Tests „Smart Testing – System