Testmanagement mit VS 2013

feed

bac

k@d

evel

op

er-w

eek.

de

#dw

x14

#dwx14

Nico OrschelConsultant, MVP for VS ALMAIT GmbH & Co. KG

• Continous Delivery

• Parallele Releases

• Agile Prozesse

• Zusammenarbeit mit Kunden und Zulieferern

• Multi Plattform (Tablets, Smartphones, andere)

• Cloud

• Testumgebungen, Testautomatisierung

Herausforderungen

#dw

x14

Agenda

3

Intro

Testing Begriffe

Konzepte

Manage

Test Management

Explorativ / Formal

Best Practices

Execute

Test Execution Recording, Exploratives & Formales Testen

Other

Reporting

#dw

x14

(Agile) Testing Quadrants

5

Business Facing

Sup

po

rtin

g Te

amFunctional Tests

ExamplesStory Test

PrototypesSimulations

Explorative TestingScenarios

Usability TestingUAT (User Acceptance

Testing)Alpha / Beta

Critiq

ue P

rod

uctUnit Tests

Component Tests

Performance and Load Testing

Security Testing“Ility Testing”

Technology-Facing

Source: Brian Marrick

#dw

x14

(Agile) Testing Quadrants

6

Business Facing

Sup

po

rtin

g Te

amFeedback

ClientStoryboardsVisual Studio

MTMVisual Studio C

ritiqu

e Pro

du

ct

Visual StudioVisual Studio

2012 Ultimate

Technology-Facing

Source: Brian Marrick

#dw

x14

Wie ordnet sich TCM in die TFS/VS Welt ein?

Microsoft Testmanager (MTM)

•Testmanagement

•Man. Testausführung (Formal+Agile)

•Testumgebungsmanagement

Visual Studio (Testautomatisierung)

•Code

•Autom. Testausführung (DefaultLabTemplate.XAML)*

Lab Management (Testumgebungen)

•SCVMM

•Standard

#dw

x14

Priorisierung der Tests

UITesting

ComponentTesting

UnitTesting

10%

20%

70%

Abnahmetests

Systemintegrationstests

Systemtests

Komponenten-integrationstests

Komponententests

#dw

x14

Die Realität

70%

20%

10%

Abnahmetests

Systemintegrationstests

Systemtests

Komponenten-integrationstests

Komponententests

UITesting

ComponentTesting

UnitTesting

#dw

x14

Microsoft Testmanager

• Orientiert an Testeraufgaben– Testplanung

– Testdurchführung

– Testnachverfolgung

– Umgebungsmanagement

• „Testautomatisierung“

für Oberflächen

• Test und Entwicklung

enger zusammenbringen– „Rich Bugs“

– Testvirtualisierung

10

#dw

x14

Die Qual der Wahl: MTM vs. Test Hub

#dw

x14

MTM – Hierarchischer Aufbau

Team Projekt

Test Plan Release 1

Test Plan Release 2 …

Test Suite 1Test Suite

2…

Test Daten

Test Steps

Shared Steps /

Parameters

Test 1

Test Daten

Test Steps

Test 2

Konfigurationen

#dw

x14

Fragestellungen im täglichen Geschäft

• Verwaltung von untersch. Testfall-Versionen

• Planung und Reporting auf „Sprint“ Ebene

• Umstieg von Manuellen Tests zu automat. Tests

• Granularität der Testschritte

• Langsame Testausführung

• Optimierung der Anwendungen

#dw

x14

TESTPLANUNG FÜR SPRINTS

14

#dw

x14

Ein oder mehre Testpläne?

Testplanstruktur

Release-Ebene:

<Produktname>_<Version>_Repository

Sprint Ebene:

<Produktname>_<Version>_<SprintName1>

<Ort>_<Produktname>_<Version>_<SprintName1>

#dw

x14

Testsuite Struktur

Testplan-NameAutomated Tests

UIBackendServices

Manual TestsUIBackendServices

#dw

x14

Planung Gesamt

MyEvent_1.0

UI

Test Case 1

Test Case 2

Test Case 3

Services

DB

Rest

#dw

x14

18

Planung Sprint 1

MyEvent_1.0 UI Test Case 1

#dw

x14

19

Planung Sprint 2

MyEvent_1.0 UI

Test Case 1

Test Case 3

#dw

x14

20

Planung Sprint 3

MyEvent_1.0 UI

Test Case 2

Test Case 3

#dw

x14

21

Planung Gesamt

MyEvent_1.0

UI

Test Case 1

Test Case 2

Test Case 3

Test Case 4

Services

DB

Rest

#dw

x14

22

Planung Sprint 4

MyEvent_1.0 UI

Test Case 3

Test Case 4

#dw

x14

23

TCM Sprintplanung

Sprint 1 Sprint 2 Sprint 3 Sprint 4

Repository v 1.0CopyCopyCopy Copy

#dw

x14

TCM Baselining bei mehren Releases

Repository v 1.0

Repository v 2.0

Clone

#dw

x14

Demo MTM / Testhub

Testmanagement

#dw

x14

Testdurchführung (formell)

27

• Einfaches Werkzeug

• Schrittweises Vorgehen

• Manuell or „teilautomatisiert“

#dw

x14

Exploratives Testen

#dw

x14

Demo MTM

Testdurchführung

#dw

x14

Demo MTM

Testdurchführung

#dw

x14

Reporting

#dw

x14

Branching von Testfällen ( 1 / 2 )

• „Copy by Reference“ zwischen Sprints #dw

x14

Branching von Testfällen ( 2 / 2 )

• Cloning zwischen (Major)-Releases #dw

x14

Diagnose Adapter

34

Intro

3 Profile pro Testart

Performance Impact

Automatisches Sammeln

Low

System Information

Eventlog

Medium

Low Adapter

Video Recording

Test Impact*

Code Coverage*

High

Medium plus

IntelliTrace*

#dw

x14

Anwendungsoptimierung

35

UI Technology

Optimierung der Anwendung für gute Test-automatisierungnotwendig

MSAA

Winforms / MFC

AccessibleDescription

Accessible Name

UIA

WPF

AutomationProperties.Name und AutomationId

#dw

x14

AIT GmbH & Co. KGLeitzstr. 45, 70469 Stuttgart

www.aitgmbh.de

KONTAKTinfo@aitgmbh.de

+49 711 49066430

BERATUNGAgile ALM und TFS

.NET und Architektur

ENTWICKLUNGDienstleister für individuelle

Lösungen mit .NET und Azure

© AIT GmbH & Co. KG – Alle genannten und gezeigten Marken oder Warenzeichen sind eingetragene Marken oder eingetragene Warenzeichen ihrer jeweiligen Eigentümer und ggf. nicht gesondert

gekennzeichnet. Aus dem Fehlen der Kennzeichnung kann nicht geschlossen werden, dass es sich bei einem Begriff oder einem Bild nicht um eine eingetragene Marke oder ein eingetragenes

Warenzeichen handelt.

AIT GmbH & Co. KG – Ihre Software effizienter entwickelt

WIR UNTERSTÜTZEN SIE

36

KONTAKTNico.Orschel@aitgmbh.de

+49 151 55052624

AIT GmbH & Co. KGLeitzstr. 45, 70469 Stuttgart

www.aitgmbh.de

BERATUNGAgile ALM und TFS

.NET und Architektur

ENTWICKLUNGDienstleister für individuelle

Lösungen mit .NET und Azure

© AIT GmbH & Co. KG – Alle genannten und gezeigten Marken oder Warenzeichen sind eingetragene Marken oder eingetragene Warenzeichen ihrer jeweiligen Eigentümer und ggf. nicht gesondert

gekennzeichnet. Aus dem Fehlen der Kennzeichnung kann nicht geschlossen werden, daß es sich bei einem Begriff oder einem Bild nicht um eine eingetragene Marke oder ein eingetragenes

Warenzeichen handelt.

© AIT GmbH & Co. KGIhre Software effizienter entwickelt © AIT GmbH & Co. KGIhre Software effizienter entwickelt

2

…zu gewinnen !

Visitenkarte einwerfen und an der Verlosung teilnehmen.

Verlosung auf der Developer Week

Vielen Dank für Ihre Aufmerksamkeit

feed

bac

k@d

evel

op

er-w

eek.

de

#dw

x14

#dwx14