Mobile Testmöglichkeiten Qualitätssicherung & Testdienstleistungen (QATS)

Mobile TestmöglichkeitenQualitätssicherung & Testdienstleistungen (QATS)

2© Hexaware Technologies. All rights reserved.

Agenda

• QATS Mobile-Testangebote• Mobile-Testautomationsframeworks• Mobile-Anwendungstestarten• Mobile-Teststrategien• Möglichkeiten zur Wiederverwendbarkeit der Mobile-

Testlösungen • Fallbeispiele – Mustererfahrung beim Testen von

Mobilen


Mobile Testangebote von Hexaware

Kernmobilanwendungsprüfung• Funktions-, Verträglichkeits-, Nutzungs-,Stresstestmethodologien• Generische Verwendbarkeitstestfallsuite für iOS und

Androidanwendungen

Funktionelle Testautomation• AutomationsbeschleunigerFramework unterstüzt für Android, iOS,

Blackberry und Windows Mobile mithilfe von HP QTP und QC• Automation Implementation Frameworks für kaufmännische Tools

wie ZAPfix, eggPlant, SeeTest, Perfecto Mobile, usw

Leistungsprüfung• Möglichkeiten zur serverseitigen Prüfung der Mobile-Portal-Server• Verprobung von Speicher/ Einheit Ressourcennutzungsmerkmalen

der Anwendungsszenarien

Mobile Cloud Testing• Cloudbasierte Prüfung von Applikationen auf verschiedenen

Mobile-Plattformen und Einheiten mittels professionellen Dienstleistungen wie Perfecto Mobile.

Open Source Testlösungen• Testautomationsframeworks gebaut mittels Open –

Source.Lösungen wie Robotium (für Android), Selenium (Mobile Web Apps Automation für iOS und Android – dies ist in der Umsetzung).

Platform Expertise

Solution Partners


Mobile Testautomationsangebote von Hexaware

• Unterstüzt Automation mithilfe von tradionellen Testautomationstools (HP QC und QTP)

• Nutzt Tools und Funktionen aus unserer bestehenden ‘BPT Accelerator-Framework’

• Unterstüzt auf allen Haupt-Mobile-Plattformen(iOS, Android, BlackBerry, Windows Mobile)

• Guter Einrichtungsgegenstand für Kunden,die günstige Lösungen suchen-keine Investition in Werkzeuge

• Unterstüzt systemeigene und webbasierte Anwendungen

• Kann als Erweiterung der Einheit-Testing-Framework für Mobile- Anwendungen genutzt werden

• Nutzung der Modular Hybrid Rahmen für kommerzielle Lösungen wie ZAPfix,Perfecto,EggPlant, usw

• Bietet Möglichkeiten zur Bildschirmerkennung basiert auf virtuellen Objekten

• Bietet Unterstützung für eine große Vielfalt von OS Plattformen (iOS, Android, BlackBerry Windows Mobile, usw) und Wertebereichen von OS versions.

BPT Automation Framework

Open Source

Automation Framework

KaumännischeAutomation Frameworks


BPT Akzelatoren

Business Komponenteponents

Business Prozess

Mobile Emulatorkomponente (Aktionen, Events, GUI Komponente, etc)MobileApp Testfälle/Szenarien angelegt als Business Prozess Tests als Kombination von Business-Komponenten

Framework Characteristics

BPT Mobilautomationsframework

Emulator/Simulator/Mobile Devices• iOS• Windows Mobile• BlackBerry• Android

Agent

Anwendung

M-eux Test Device Manager

QTP

‘M-eux Test’ Add In

QC

► Erweiterbarkeit auf verschiedene Versionen von der Mobil/OS/Familie von Handgeräten(iOS, Android, BlackBerry, Win Mobile)

► Effizienz Effiziente Testskriptentwicklungsansatz unter Nutzung der Vorteile von BPT Akzelatoren

► Pflegbarkeit/Wederverwendbarkeit Reduktion der Test folgepflegelesitung durch ortsgebundene wiederverwendbare mehrereTestskripte übergreifende BPT Komponente wobei RoI schneller realisiert wird.

► Skalierbarkeit Möglichkeiten zur Erweiterung des Rahmens auf andere Mobile-Betriebssysteme

► Datenbetriebene Testdatenabzug aus Testskripten (Business Prozess -Tests)


SeeTest automationsframework

Siehe Test antrieb <-> QTP

Testeingangstabelle

• . TC1

• . TC 2

• .

• .TC n

Testskripte

(Siehe Testbefehl entsprechend der Aktionen und Verifikation je nach dem Testfall)

Basisfunktionsbibliothek

- Nutzung/Funktionen App (Initializierung Objekt -interakionen)

- Verpackungen um to SeeTest methoden

- Verifikations funktionen (Text überprüfen, Image überprüfen, App Objekt übrtprüfen)

Log ergebnisse / Ausnahmen

Reporting -modul (mit Logs/Screenshots, usw

Durchführung/ Log ergebnisse undAusnahmen

App Objektbehälter

Virtuelle Objekte angelegt durch SeeTest im Objektbehälter

Wiederverwendbare Elemente des Framework

Anwendungsspezi-fische Elemente

Definiert Testdaten für einzelne Testfälle


Vorgaben AutomationslösungEinrichtungsgegenstand

Typische Automationsanforderungen /

Attribute

Open Source Lösung

Kommerzielle Lösungen

BPT Mobile Accelerator

s

Selenium

Robotium

ZAP-fix SeeTest PerfectoEggPlan

t

Unterstützung aller Hauptplattformen (iOS, Android, BlackBerry, WinMobile) ü ü ü ü ü

Unterstützung der Emulatoren/Simulatoren ü ü ü ü ü ü üUnterstützung der systemeigene Anwendungstechnologie ü ü ü ü ü üUnterstützung der webbasierten MobileAnwendungen ü ü ü ü ü üUnterstützung der RIA (Rich Internet Applications) ü ü üGünstige Lösungen ü ü üIntegration mit traditonellen Automationsframeworks (HP QC/ QTP, etc) ü ü ü ü

Leichte Testskriptanlegung ü ü ü ü üLeichte Testskriptpflege üPlattformübergreifende Wiederverwendbarkeit der Testskripte (zuzätzliche Frameworkerweiterungen dürften erforderlich sein)

ü ü ü ü

Testentwicklung & Durchführung unterstützen Funktionen (Gerätbidschirmbetrachtungsprogramm, Erweiterte Logfunktionen – Screenshots, usw)

ü ü ü ü ü


Herausforderungen beim Testen der Mobile-Anwendung

• Die Mobile-Anwendung muss für verschiedene Geräte mithilfe des Mobile- Betriebssystems, auf dem sie basiert, getestet werden. (Bitte bedenken ,daß es Hunderte von Handgeräten gibt,die Android benutzen!)

• Eine sich einem neuen Mobile-Betribessystem anschließende Anwendung soll nicht nur die Funktionen intakt haben,sondern auch mit den neuen Funktionen des Betriebssystems verträglich sein

• Ist die Anwendung verträglich mit verschiedenen Funktionen der Region,für die sie vorgesehen ist?

• Welche Erfahrung macht der User mit der Anwendung? Es gibt keine Standardverwendbarkeitsvorgaben,die in den funktionellen/ Businessvorgaben definiert sind.

• Mobile Anwendungsleistungsprüfung is nicht einfach Kunden-Server-Rückmeldungsbewertung.


Mobile-Anwendungstestarten

Testarten

% Alter der betreffenden

Gesamtprüfung

Coverage Scenarios

Funktionstest 35-40%

• Anwendung Funktionsbereiche• Interaktion von Anwendungsfunktionen mit Mobil OS Merkmalen• Interoperabilität mit anderen Mobilanwendungen (System und User

Apps)• Navigationstests

Verträglichkeitstest 20-25%

• Anwendungsverträglichkeit mit unterstützten Mobile OS Familien und Versionen.

• Verträglichkeit mit unterstützten OS Geräten (Telefone,Kennzeichen,Tabletten,handgeräte ,usw)

Leistungstest 20-25%

• Systemleistung• Speicherlecks• Stress test• Adverse Betriebeszuständenrückmeldung

Verwendbarkeitstest

5-10% • Leichte Verwendbarkeit der Anwendungsfunktionen• Verträglich mit den Anwendungsnutzungsstandards

Gerätetest <5%• Prüfung der Grundmerkmale des Geräts beim Lauf • Auswirkung der Anwendungsnutzung auf das

Gerät( Batterielebensdauer,Speicherung,Speicherverwendung)

Fabriktest <5%• Reset von Anwendungsanpassungen• Installation / Deinstallationtests• Hardware, Signalempfang, Batterieladungstests


Strategie zur Prüfung von Verträglichkeit.

Testszenarien identifizieren

Anwendungs- funktionen

Netzwerkauswirkung

Geräteinteraktionen

Leistung

Ausnahmen

Verwendbarkeit

Parameter & Variablen

identifizieren

OS

Geräte

Browser (für web basierte Apps)

Gerätearten

Geräteeinstellung

Test Tools/Dienstprogramme identifizieren

OS Emulatoren

Gerätemulatoren / eigentliches Gerät

Testtools / Plug-ins

InteractingDevices

Einrichtung der Testumgebung

Einrichtung der Geräte

Testharnische und Tools

Testdateneinstellung


Strategie zur Prüfung von Verträglichkeit...

Test-Matrix Verträglichkeit

iOS

iPhone

safari

Geräteein-

stellung1

Symbian

Nokia 7740

Nokia SeriesOperaPolaris

Geräteein-stellung 1,

2

Android

HTC, Samsung

AndroidOpera


3

Windows Mobile

Toshiba, HTC

OperaIEIris


2, 3

WebOS

Palm

Blazer

Geräteein-stellung 2

Betriebs-system

Handgeräte

Browser (für Web- basierte Apps)

Geräteein-

stellungen

• OS, Geräte,usw basiert auf Aktien und regionaler Popularität (wenn die Anwendung regionspezifisch ist)

• Die Kombinationen von Testmatrix mittels Ansätze wie Orthogonal Array optimieren

• Das Testen kann mithilfe von einer Kombination von Geräten und Simulatoren/Emulatoren durchgeführt werden.


MobilAnwendungsleistungstest

• Business-User -Last für mobile Transaktionen identifizieren

• Anwendungsszenarien kritisch für die Leistungsaspekte des Mobile- Servers identifizieren

• Lesitungstestskripte,die den Szenarien entsprechen ,mittels traditionellen Tools HP LoadRunner generieren , indem die im Kopf der Anforderung eingebettete User-Agent-Kette in die Kette modifiziert wird,die dem Mobil- User-Agent für das Gerät entspricht,das zur Simulation der Anforderung benutzt wird.

• Die Arbeitslast mit variierenden Lastsätzen ausführen,um die Leistungsmerkmale des MobilAnwendung zu messen.

Mobiler Portal Server

LoadRunner Simulation von Apple únd AndroidgeräteAnforderung

iPAD Tx AnforderungMobiler Server Rückmeldung

iPhone Tx Anforderung

Mobile Server Rückmeldung

Android Gerät Tx Anforderung

Mobiler Server Rückmeldung


Testart Geräte Simulatoren/Emulatoren

Business-Funktionstest a a

Verwendbarkeitstest a

Verträglichkeitstest a (Verwendbarkeitstest) a (Business-Funktionstest)

Leistungstest (Stress Testing)

a

Sicherheitstest a a

Gerätetest a

Fabriktest a

Gerät vs. Simulator Nutzungsstrategie


MobilAnwendungstestausführungsstrategie

Phase

1

Standard Mobil Test

Business-Funktions test

Verwendbarkeitstest

Phase

2

Verträglichkeitstest

Phase

3

StresstestMobilserver-leistungstest

Potententieller Umfang für TestautomationsnutzungMarktanalyse und Kundenanforderungen treiben die Ausführungskonfigurationen (OS/Version/Gerät)


MobiltestlösungenMoglichkeiten zur Wiederverwendbarkeit

Mobiltest-Lösungen

Wiederverewndbare Assets Lösungsvorteile

Mobiltest Estimations

vorlage(inkl.Anforderungsumfr

age)

• Vorlage mit Eingangsparameter basiert auf verschiedene Szenarien für Mobiltest,die benutzt werden kann,um Kundenanforderungen an Mobiltest zu schätzen

• Wurden benutzt ,um Testschätzungen zur Anlegung von Kundenanträgen zu erstellen,Schätzungen für den Test bei Durchführung des Projekts zu erstellen. zu erstellen

• Bietet Richtlinien zur Definition von Testanforderungen für Infrastruktur (Plattforms,Geräte,Browser,usw), Testarten und Produktivitäten basiert auf Anwendungsartentest

• Potential zur Reduktion von Testplannungsaufwand um 30-40%

Vorlage Mobiltest-Strategie

• Teststrategie inkl. Implementationsrichtlinien für verschiedene Testarten (Funktional, Verwendbarkeit, Verträglichkeit,Sicherheit,Leistung)

• Kann für Projekte maßgeschneidert werden

• Vorlagenstrategie kann den Teststrategieplannungsaufwand um 50-60% reduzieren

Verwendbarkeitstestest -

suiten

• Generische Verwendbarkeitstestfälle (ca.140 Test- szenarien) für Android und iOS (iPhone und iPad) die zu jeder Anwendung auf iOS oder Android benutzt werden kann

• Testfäll basieren auf Verwendbarkeitsrichtlinien zu are iOS und Android Entwicklungsrahmen

• Kann als Checkliste fungieren,um Testszenarien für Verwendbarkeitstest aufzunehmen

• Potential zur Reduktion von Testplannungsaufwand um 10% (Typischer Aufwand benötigt in Mobilverwendbarkeitstest beträgt 10-15%)


Mobile-TestlösungenMöglichkeiten zur Wiederverwendbarkeit

Mobiltest-lösungen Wiederverewendbare Assets

Lösungsvorteile

Test- automations framework(kommezielle

Tools & Open Source)

• Rahmenkomponente für BPT Mobilautomations-und Modularframework für SeeTest, Eingangsfunktion & Test Reporting und Anmelddungsroutine für ZAPfix und EggPlant

• Open Source Automationsframework für Robotium (Android) und Selenium (Web Apps für Android) – Elemente inkl. allgemeine GUI Objektfuntionen (Objekt aktionen und Verifizierungsfunktionen), Test

• Wiederverwendbarer Rahmen reduziert die Testimplementationszeit,erhöht dabei das RoI potential um:

20-25% - Kommerzielle Automationsrahmen

10-15% - Open Source Rahmen

Leistungstest-

methodologie

• Ansatz zum Serverleistungstest auf Mobilplattformen• Algorithmen & Codebasis für Paketdekodierung und Dekompression für SAP Mobilleistungstest – Ein Ergebnis unserer erfolgreichen Leistungstestaktivität bei AES Eletropaulo.

• Möglichkeit 25-30% des Gesamtaufwands zu sparen oder 50-60% in der Skriptvorbereitungsphase

Mobilsicher-heitsframew

ork

• Framework zur Ausführung von Sicherheitstest für Mobile-Anwendungen

• Wird Möglichkeiten zum Angebot von Sicherheitstestdienste als Teil des Servicestacks bereitstellen.


Mustererfahrung


Mobiltesterfahrung Beispiel. Kunde Angebotene Lösungen/ Dienstleistungen Geschäftsnutzen

Führende Brauerei in Mexico

•Regressionstestautomation für ein Mobile SAP Auftragsmanagementsystem auf Windows Mobile (6.X) Plattform

• Identifizierung von Kernregressionstestszenarien (~66 Testfälle) für End-to-End Testing

•Erweitert um BPT Beschleunigerrahmen um Testautomation auf mobilem Plattform zu unterstützen

•Tools & Technologie

BPT Beschleuniger (HP QC - BPT/QTP) mit M-eux Plug-in

Windows Mobile 6.1 SDK (Microsoft-Geräteemulator V2)

•100% Regressionstestabdeckung

•Testfalldurchführungszeit um 50-70% reduzieren

•Gesamttestkosten wird um 50% reduziert.

• Return On Investment von Automation wird bis 6. Durchführungszyklus wiedergewonnen

•Null-Businesszeit verbracht mit Regressionstest.

Führende Privatbank, US

•Funktions-,Verewendbarkeits-und Verträglichkeitstest in SCRUM von ‘Portfolio Management’ und ‘Client On-boarding’ Business- Mobilanwendungen

•Testsuite für Anforderungen ,die Funktions-,Verwendbarkeits-,Verträglichkeit und Userlevelsicherheitstest auf iOS Plattform (iPad und iPhone)

•Testdurchführung während der designierten UAT Erstellungsprozesse

•Testautomationsmachbarkeit PoC und Implementationsplanung

Tools & TechnologieGeräte (iPhone, iPad)SeeTest für Testautomation

•Erstellung von konzernweitem Automationsrahmen mittels See Test,der die Testzykluszeit reduziert .

•Erstellung von wiederverwendbare Verwenbarkeitssuiten,die alle mobilen Anwendungen übergreifend repliziert wird.

•Reduzierte Leistungskosten durch Darstellung von Ausführung der Mobilleistungen in Scrum-Modell mittels ein Offshore-Team im Gegensatz zu ihrer früheren Onsite-Modell

•Verbesserte Qualität aufgrund umfangreicher Abdeckung


Mobiltesterfahrung Beispiel.Kunde Angebotene Lösungen/Dienstleistungen Geschäftsnutzen

Großes Strom- verteilungs-unternehmen in Brazil

• Leistungstest für mobile Zählerablesung SAP Implementation um sicherzustellen,dass das System mit den erwarteten SLAs unter Business-Userlast operiert

• End to End Leistungsprüfung von Testplan, Entwurf, Ausführung und Ergebnisanalyse

• Erstellung von Dummy-Subprogramme um die Umstellung von verschlüsselten Anfrage-und Rückmeldungspakete verarbeitet durch SAP Server,um LR Leistungstestskripte zu verbessern

• Installations-und Konfigurationstool

Tools & Technologie•SAP ECC 6.0 / R 3.4.7•F5 Lastausgleichsgerät / WinMobile Geräte•HP Leistungszentrum 11

• Die Kodierungs-/ komprimierte Methode aufgelöst durch Entwicklung von Java Code innerhalb des vorgegebenen Zeitrahmens

• Dieses Problem war die größte Herausforderung betreffs einer Leistungstestaktivität und hätte das Go-Live für die Implementation verhindert

• SAP und der Kunde konnten die erste SAP Mobile-Lösung erfolgreich in Brasilien einsetzen

• 0% Terminabweichung

Großes Schienentransportationsverwaltungsunternehmen in UK

• Funktions-,Regressions-, Automations- und Leistungstest von einem iOS basierten Ticketbuchungsanwendung in Agile Model

• Ca.50 End-to-End Businesstestszenarien wiederholbar für alle Freigabeniterationen entwickelt

• 60% der Szenarien (25-30) automatisiert mittels SoapUI.

• Leistungstest an kritischen Geschäftsvorgängen mittels HP LoadRunner.

Tools & Technoloie

•SoapUI

•HP LoadRunner

• Serverseitige Leistungstest stellte Userskalierbarkeitsaspekte der entwickelten Mobilanwendung

• 0% Maengelleck (Schwere 1 & 2) an Produktion

• 0% Terminabweichung (vom geplannten auf eigentlichen) bei der Nachrüstungsaktivität. Geschäfte wie immer nach Nachrüstung der Infrastruktur.


Mobiltesterfahrung Beispiel. Kunde Lösungen/angebotene Dienstleistungen Geschäftsnutzen

Führender Anbieter von qualitativ hochwertige Bildungsdienstleistungen mit berufsorientiertem Lernsystem in den USA

• Funktions-,Regressions-und Verträglichkeitstest auf Virtuellem Campus und Student-Management-Anwendungen auf iPhone, iPad und Androidgeräte in Agile- Scrum-Modell

• Testanforderungen bei Story-Testing von jeder Iteration identifiziert

• Gerät wurde überall genutzt (Cloudbasiertes Modell) für Funktionstest an iPhone, iPad und Androidgeräten

• Rauchtestsuite zur Verprobung von Builds mittels MobiOne simulator für iPad/iPhone eingeführt

Tools & Technologie Tool (Gerät überall) Android Google EmulatorMobione für iPhone/iPad (Simulator)

• Adoptierte Methodologie für Verträglichkeitstest an Geräten bietet eine Vorlage- strategie zur Aufnahme von anderen Anwendungen im Umfang zum Testen

• 0% Mängelleck an Produktion

Führender Flugdienst-leister,Kanada

• Formulierung der Teststrategie und Planung zum Testen von mobilen Check in & Bordkarte –Anwendungen benutzt von Passagieren sich einzuchecken.

• Funktions-und Vertraglichkeitstest an Blackberry und iPhonegeräten

• Health –Check up für verschiedene Builds für die mobilen Anwendungen

Tools & TechnologieGeräte (iOS, BlackBerry)EggPlant für Testautomation (PoC in Arbeit)

• Wesentliche Reduktion des Testentwurfs aufwand und schnellere Implementeation von Änderungsanforderung aufgrund der gemeinsamen Nutzung des Testbehälters für Web-und Mobilanwendungstest

• Vorlagegetriebenes Testen das sich auf Anwendungsbuilds für eine wiederverwendbare Teststrategie an mobilen Geräten erstreckt

21© Hexaware Technologies. All rights reserved. www.hexaware.com

© 2012 Hexaware Technologies Limited. All rights reserved. For internal circulation only. Neither this publication nor any part of it may be reproduced, stored in a retrieval system or transmitted in any form or in any means, electronic, mechanical, photocopying, recording or otherwise, without prior permission of Hexaware Technologies Limited. Published by Corporate Marketing & Communications

Danke !

Documents

Mobile Testmöglichkeiten Qualitätssicherung & Testdienstleistungen (QATS)