Universität Zürich - erfolgreiches Testing

Informatikdienste – Business Applications

Erfolgreiches Testing

Testen an der Universität Zürich mit IBM Rational Worksoft Certify

Christoph Geiser

[email protected]


Inhalt

� «Business Applications» – was machen wir

� So testen wir

� Warum automatisiertes Testen?

� Softwareevaluation

� Was ist Certify und was kann es?

� Konfiguration von Worksoft Certify an der UZH

� Anbindung von Certify an den Solution Manager

� Erfahrungen beim Erstellen von automatisierten Tests

� Stand der Dinge und Ausblick

� Fragen?


«Business Applications» – was machen wir

� Die ID BAP ist eine Abteilung der Informatikdienste der Universität Zürich (UZH) mit ca. 30 internen Mitarbeitern und Vertragspartnern

� Unterstützung der Geschäftsprozesse in Lehre, Studium und den Zentralen Diensten der UZH mit SAP-Geschäftsapplikationen.

� Applikations- und Systembetreuung mit über 3200 Supportanfragen pro Jahr.

� Betrieb von SAP-Servern- und Anwendungen in den Bereichen SLCM (mit rund 30‘000 erfassten Studenten), FI/CO, HR, SD, MM

� Durchführung von ca. 40 Kundenprojekten pro Jahr zur Verbesserung/Erweiterung der SAP-Anwendungen

� Mehr Infos unter http://www.id.uzh.ch/org/bap.html


So testen wir


Warum automatisiertes Testen?

� Grosse Anzahl zu testende Testfälle

� Viele Testfälle in verschiedenen minimal unterschiedlichen Varianten, die aber alle getestet werden müssen

� Wiederkehrende Vorarbeiten für die Tests (z.B. Einschreibung von 100 Studenten für Lasttests)

� Risiken können minimiert werden durch Erstellung von automatisierten Testfällen von geschäftskritischen Prozessen

� Routinetests werden automatisiert. Ressourcen können optimaler genutzt werden für Tests, welche nicht automatisch getestet werden können

� Das System kann trotz steigender Komplexität weiter betrieben werden, ohne die Aufwände für die Qualitätssicherung stark erhöhen zu müssen


Softwareevaluation


Softwareevaluation

� Certify deckte im Endeffekt alle benötigten Optionen ab

� Beim direkten Test des Tools, stach Certify aufgrund der Komptabilität mit der aktuellen, bei der ID BAP verwendeten, SAPGUI-Version heraus

� Certify machte bei der Softwaredemo den besten Eindruck

� Das Preis-Leistungsverhältnis wurde durch das Angebot via IBM optimal

� Möglichkeit die Software auch bei Kunden einzusetzen (Concurrent License)

� Certify ist an den Solution Manager anbindbar


Was ist Certify und was kann es?

� Umfangreiche Softwarelösung zum Ausführen automatisierter Tests

� Kann auch zum Automatisieren von Aufgaben verwendet werden

� Ist datenbankbasiert (MS SQL)

� Bindet sich auf Wunsch an den SAP Solution Manager an

� Unterstützt verschiedenste Aufnahmesysteme (Windows Silverlight, Web, SAP, etc.)

� Benötigt grundsätzlich keine Programmierkenntnisse und zeichnet die Prozesse in Klartext auf



Konfiguration von Worksoft Certify an der UZH

Anbindung

� Certify ist für die Ausführung von automatisierten Tests an den Solution Manager angebunden

� Der Solution Manager wird in Zukunft simultan sowohl für manuelle wie auch für automatisierte Testfälle genutzt

� Certify könnte alternativ auch an den Rational Quality Manager oder ans HP Quality Center angebunden werden

Hardware/Software

� 1 SQL-Server auf MS Windows Server VMWare mit Lizenzserver

� 4 Rechner + 1 Testrechner mit installiertem Certify-Client

� 1 VM mit Certify-Testinstallation für Update-Verifikation

� 4 Concurrent-Lizenzen für Certify


Erfahrungen beim Erstellen von automatisierten Tests

Certify

Positiv fällt auf

� Sehr hoher Strukturierungsgrad vereinfacht (widerkehrende) Prozesse

� Das Erstellen von Tests ist einfach und erfordert mit den automatischen Aufzeichnungstools grundsätzlich wenig Vorwissen

� Die verschiedenen Technologien für alle möglichen Aufzeichnungsarten sind ausgereift (SAP, Web, etc.)

� Sehr hohe Befehlserkennungsrate in SAP

� Ausführung und Logging sehr stabil und umfangreich

� Sehr viele Optionen zur Aufzeichnung und Ausführung



Certify

Positiv fällt auf

� Detaillierte Möglichkeiten zur Anpassung einzelner Schritte

� Logische Abläufe (IF-THEN) sind möglich und einfach umzusetzen

� Einfache Möglichkeit, mit Testdaten zu arbeiten (Recordsets)

� Gutes Fehlerhandling mit übersichtlichen und detaillierten Protokollen

� Fast nichts ist nicht machbar



Certify

Problematische Punkte

� Um komplexere Tests zu erstellen, ist ein recht hohes Certify-Fachwissen nötig, welches man sich kontinuierlich aufbauen muss

� Tabellendarstellungen u.ä. in SAP können nur recht aufwändig ausgelesen werden

� Sporadische Abstürze des Clients und einige Funktionsmängel im GUI.

� Usability folgt nicht den gewohnten Standards

� Client nach wie vor nur in Englisch erhältlich



Anbindung an Solution Manager

Positiv fällt auf

� Komplette Automatisierung des Testfalls ist möglich und funktioniert nach Einrichtung einwandfrei

� Übergabe der Testresultate und Testprotokolle an den Solution Manager

Problematisch sind

� Lange Einrichtungszeiten aufgrund vieler nötiger Detaileinstellungen und Stolperfallen, bis der Prozess funktioniert

� Unsichere Verbindungsprozeduren (fixer Username und Passwort) und komplexe Konfiguration


Stand der Dinge an der UZH

� Bisher 5-10 Testfälle automatisiert. Weitere Testfälle werden kontinuierlich aufgenommen.

� Mehrere Prozessautomatisierungen sind im produktiven Einsatz, u.a. Einschreibung von Lasttestbenutzern.

Ausblick

� Kontinuierliche Aufnahme weiteres Testfälle

� Einbindung der automatisierten Tests in die Releaseorientierung


Fragen?

Besten Dank für Ihr Interesse und Ihre Aufmerksamkeit

Documents

Universität Zürich - erfolgreiches Testing