Upload
petr-neugebauer
View
76
Download
2
Embed Size (px)
Citation preview
GAJAH ANNUAL REPORT 2015 | 1
AUTOMATIZACE TESTOVÁNÍ
VŠELÉK NEBO PLACEBO?PETR NEUGEBAUER, MARCEL VESELKA
itSMF 2017NÁVRAT DO
BUDOUCNOSTI
19. leden 2017
#proTest
itSMF CZECH REPUBLIC 2017 | 2
[pro]TEST! Heroes
MARCELVESELKA
ZKUŠENOSTI(2000) VÝVOJÁŘ(2004) TESTER
(2007) TEST MANAGER(2013) VÝKONNÝ ŘEDITEL
ZÁLIBYNOVÉ NÁPADY
STOPAR.SK[pro]TEST!
řada ONLINE PROJEKTŮ
tesena | SMART TESTING
PETRNEUGEBAUER
ZKUŠENOSTI(1999) VÝVOJÁŘ(2002) TESTER
(2006) TEST MANAGER(2015) KONZULTANT
ZÁLIBYVZDĚLÁVÁNÍ
CZECH AND SLOVAK TESTING BOARD
[pro]TEST! MORAVA
YES4Q | PASSION FOR QUALITY
AGENDA
02(DE)MOTIVACE PRO
MANAGERY, AJŤÁKY A ZÁKAZNÍKA
01ÚVOD
DO AUTOMATIZACE TESTOVÁNÍ
03JAK USPĚT PŘI AUTOMATIZACI
AUTOMATIZACE TESTOVÁNÍ
itSMF CZECH REPUBLIC 2017 | 4
TESTOVÁNÍVÝZVY
1DOBA DODÁVKY
SE ZKRACUJE
5
ZÁKAZNÍKOČEKÁVÁ VYSOKOU KVALITU
3
INTERAKCE MEZI SYSTÉMYROSTE
6
VARIABILITA ZAŘÍZENÍA PLATFOREM ROSTE
2
SLOŽITOST SYSTÉMŮSE ZVYŠUJE
4
ZMĚNOVÁ ŘÍZENÍJSOU BĚŽNÁ
itSMF CZECH REPUBLIC 2017 | 5
PERSPEKTIVYKVALITY
PRODUKT
UŽIVATELSKÉ POTŘEBY
PROCESY
POCIT
HODNOTAZÁKAZNÍK
VÝVOJÁŘ
TESTER
TECHNIK
MANAGER
itSMF CZECH REPUBLIC 2017 | 6
CÍLE SPOLEČNOSTI
STRATEGIE ZVÝŠENÍ PRODUKTIVITY O 10%
SNÍŽENÍ NÁKLADŮ O 5%
DODÁNÍ 2 NOVÝCH PRODUKTŮ NA TRH KAŽDÉ 3 ROKY
ZVÝŠENÍ PODÍLU NA TRHU O 3%
SNÍŽENÍ DEFEKTŮ Z PRODUKCE
O 10%
SPOUŠTĚNÍ TESTŮ EXTERNÍ FIRMOU
itSMF CZECH REPUBLIC 2017 | 7
VYSOKÉ PROCENTO AUTOMATIZAČNÍCH PROCESŮ SELŽE NEBO NESPLNÍ
OČEKÁVÁNÍ OHLEDNĚ ROI.
ÚROVEŇ AUTOMATIZACE
TESTŮ
AUTOMATIZACEAKTUÁLNÍ STAV A TRENDY
Top priorita 2016:ZLEPŠIT AUTOMATIZACE TESTŮ
(pro 58% společností)
2014 2015 2016
28% 45% 29%
Quality Report 2015-2016 / 2016-2017
itSMF CZECH REPUBLIC 2017 | 8
VÝHODYVĚTŠÍ MNOŽSTVÍ TESTŮ
ČASTĚJŠÍ BĚH TESTŮ
PŘESNOST A BEZCHYBNOST
RYCHLOST
AUTOMATIZACE TESTOVÁNÍ
NEVÝHODYCENA (POČÁTEČNÍ INVESTICE)
ZNALOSTI A DOVEDNOSTI
TECHNOLOGIE (NÁSTROJE)
ÚDRŽBA (AKTUÁLNOST)
itSMF CZECH REPUBLIC 2017 | 9
AUTOMATIZACE TESTOVÁNÍ
VÝHODY vs NEVÝHODY
MOŽNOST ČASTĚJŠÍHO BĚHU TESTŮ
MENŠÍ NÁCHYLNOST NA CHYBY (LIDSKÉ)
MOŽNOST SLOŽITĚJŠÍCH A TĚŽCE SPUSTITELNÝCH MANUÁLNÍCH TESTŮ
RYCHLOST TESTŮ A VČASNÁ ZPĚTNÁ VAZBA
EFEKTIVNOST A EFEKTIVITA VYUŽITÍ LIDSKÝCH ZDROJŮ
KONZISTENTNOST A STABILITA
POČÁTEČNÍ NÁKLADY
VYŽADUJE TECHNOLOGIE
VYŽADUJE DALŠÍ SCHOPNOSTI A DOVEDNOSTI TESTERŮ
NÁKLADY NA ÚDRŽBU
VÝVOJ AUTOMATICKÝCH TESTŮ NAÚKOR TESTOVÁNÍ
NÁCHYLNOST NA ZMĚNY
LIMITACE AUTOMATIZACE TESTŮVŠECHNY TESTY NELZE AUTOMATIZOVAT
AUTOMATIZOVANÉ TESTY NETESTUJÍ, POUZE KONTROLUJÍ OČEKÁVANÉ VÝSLEDKY
NENAHRAZUJE MANUÁLNÍ TESTY (ET)
itSMF CZECH REPUBLIC 2017 | 10
MÝTUS #1Automatizace řeší VŠECHNO
MÝTUS #3Automatizace snižuje nároky na MNOŽSTVÍ TESTERŮ
MÝTUS #5Automatizace je o simulaci webového rozhraní
AUTOMATIZACE MÝTY A POVĚRY
AUTOMATIZACE NENACHÁZÍ CHYBY,
CHYBY NACHÁZÍ TESTY.
AUTOMATIZACE SE NETÝKÁ VÝHRADNĚ FUNKCIONALITY
MÝTUS #2Automatizovat může KAŽDÝ
MÝTUS #4Automatizací vždy ušetříme, aneb automatizace je LEVNÁ
MÝTUS #6Automatizace je record-and-play aktivita
itSMF CZECH REPUBLIC 2017 | 11
NÁVRATNOST INVESTICE DO AUTOMATIZACE TESTOVÁNÍ
ROZHODUJE SKUTEČNĚ POUZE ROI?
ROI
itSMF CZECH REPUBLIC 2017 | 12
AUTOMATIZACE TESTOVÁNÍ
MOTIVACE
itSMF CZECH REPUBLIC 2017 | 13
MANAGER AJŤÁK ZÁKAZNÍK
AUTOMATIZACE(DE)MOTIVACE
itSMF CZECH REPUBLIC 2017 | 15
MOTIVACECENARYCHLOSTKVALITATRANSPARENTNOST
DEMOTIVACETLAK ZHORANESPRÁVNÉ OČEKÁVÁNÍPROČ TO DĚLAT KDY TO DĚLAT
(DE)MOTIVACEMANAGER
SPRÁVNÁ OČEKÁVÁNÍMOTIVACE
itSMF CZECH REPUBLIC 2017 | 16
MOTIVACENOVÉ “HRAČKY”RYCHLÁ ZPĚTNÁ VAZBAUŽ NEJSEM “KLIKAČ”NIŽŠÍ PRACNOST
DEMOTIVACEÚDRŽBATESTOVÁNÍ TESTŮTESTOVACÍ DATAKVALITA PRODUKTU
(DE)MOTIVACEAJŤÁK
NOVÝ VÝVOJ VS ÚDRŽBAKARIÉRA
itSMF CZECH REPUBLIC 2017 | 17
MOTIVACEPROFITABILITA / ÚSPĚCH PRODUKTUČAS DODÁNÍ NA TRH (Time to market)RYCHLEJŠÍ REAKCE NA KONKURENCIKVALITA
DEMOTIVACEPOČÁTEČNÍ INVESTICEŠPATNÉ POROZUMĚNÍ (KDO - schopnosti týmu)POROZUMĚNÍ TECHNICKÝM DETAILŮM
(DE)MOTIVACEZÁKAZNÍK
HODNOTAMOŽNOST ZPĚTNÉ VAZBY
itSMF CZECH REPUBLIC 2017 | 18
• METRIKY A KPI
• POKRYTÍ
• PRIORITY
• ZMĚNY
• ZDROJE
• ROLE
SPOLUPRÁCE
itSMF CZECH REPUBLIC 2017 | 19
Zdroj: The Unexpected Truth About UI Test Automation Pilot Projects, telerik
Na průzkum odpovědelo 239 testerů a 604 vývojářů
JAK USPĚT PŘI AUTOMATIZACI
itSMF CZECH REPUBLIC 2017 | 20
Zapojení DEV týmu do automatizace
Realistická očekávání
managementu
Efektivní komunikace mezi managementem a
lídrem automatizace
JAK USPĚT
itSMF CZECH REPUBLIC 2017 | 21
Zapojení DEV týmu do automatizace
Zvolené testovací nástroje jsou neefektivní
anebo se težko s nimi pracuje
Tým nemá zkušenosti
v automatizaci testů
ČEMU SE VYVAROVAT
itSMF CZECH REPUBLIC 2017 | 22
AUTOMATIZACEJAK USPĚT • Automatizace je vývoj SW
• Testy ladíme s vývojem• Open source vs komerční nástroje? (svoboda)
Technologie (nástroje, prostředí,
data, . . .)
• Myslete na automatizaci už při startu = automatizovatelnost jako součást business zádání
• Smoke > Regresní testy• Testovací data• Nefunkční požadavky (výkon, kompatibilita, stabilita)
Testovaná aplikace
• Skvělý tester z bankovní pobočky není vývojář, rozumí business problematice, ale ne programování
• Ideální automatizér je vývojář, tester, architekt a business specialista
Tým Kdo?
itSMF CZECH REPUBLIC 2017 | 23
MANUÁLNÍPYRAMIDAAUTOMATIZACE TESTŮ
10% GUI
30% ROZHRANÍ / API
60% KOMPONENTY / MODULY
itSMF CZECH REPUBLIC 2017 | 24
JASNÁ KOMUNIKACE
ŠKOLENÍ
AKTUALIZACE TESTŮ
BUDGET
JAK USPĚTSTRATEGIE
PŘÍSTUPYNÁSTROJE
DEFINICEVIZECÍLŮ
PRIORIT
POCHOPENÍSPOLEČNOSTIZÁKAZNÍKAOČEKÁVÁNÍ
VYHODNOCENÍ
PILOTZLEPŠOVÁNÍ
itSMF CZECH REPUBLIC 2017 | 25
AUTOMATIZACE: ANO ČI NE?
VŠELÉK NEBO PLACEBO?
JAK AUTOMATIZOVAT?
SHRNUTÍ
AUTOMATIZACE TESTOVÁNÍ
VŠELÉK NEBO PLACEBO?
itSMF CZECH REPUBLIC 2017 | 26
AUTOMATIZACE TESTOVÁNÍVŠELÉK NEBO PLACEBO?
MARCELVESELKA
tesena | SMART TESTING
PETRNEUGEBAUERYES4Q | PASSION FOR
m
https://www.linked.com/in/petrneugebauer https://www.linked.com/in/marcelveselka