Upload
others
View
9
Download
0
Embed Size (px)
Citation preview
Erfolgsfaktor -Software Quality management
T-Systems Multimedia solutions
Agenda Argumente aus Wissenschaft und Praxis.
Agenda Argumente aus Wissenschaft und Praxis.
1 Charakteristika und Vorteile externer Testdienstleister.
2
Extrakt aus dem durch PAC erstellten TIC-Positionierungspapiers.
Relevante QS-Merkmale entlang der Software-Projektphasen.
Software Quality Management aus der Praxis.
Marktanalyse. Die Nationale Situation für externe Test-Dienstleistungen.
Marktanalyse. Die Nationale Situation für externe Test-Dienstleistungen.
Testing-Services repräsentieren 7 Prozent des deutschen IT-Dienstleistungsmarktes - 36 Mrd. €
Das prognostizierte Marktwachstum liegt bei ca. 5 Prozent p.a.
Gesamte Ausgaben für Testing-Services in Deutschland: 2.5 Mrd. Euro (2014)
Ausgaben für applikationsbezogeneTesting-Services
Ausgaben für nichtapplikationsbezogene Testing-Services
Marktanalyse Die Nationale Situation für externe Test-Dienstleistungen.
Testing-Services repräsentieren 7 Prozent des deutschen IT-Dienstleistungsmarktes - 36 Mrd. €
Das prognostizierte Marktwachstum liegt bei ca. 5 Prozent p.a.
4,0%
4,5%
5,0%
5,5%
Wachstum der Ausgaben für Testing-Services in Deutschland (2011-2017)
Sourcing-ModelleTesting
Internes Testing & Qualitätssicherung Mix aus intern und extern Externes Testing & Qualitätssicherung
Testing und Qualitätssicherung werden vor allem intern durchgeführt.
Die Verantwortung liegt häufig bei einer dezidierten Testing-Einheit. Es kann aber auch Aufgabe der Entwicklungsabteilung sein, in der die Entwickler selbst oder Test-Spezialisten die Aufgaben übernehmen.
Testing und Qualitätssicherung werden mit externer Unterstützung durchgeführt.
Externe Tester kommen für bestimmte Test-Aufgaben und Bereiche und/oder bei besonders hoher Belastung zum Einsatz. Die Unterstützung kann gelegentlich, regelmäßig oder dauerhaft sein.
Testing und Qualitätssicherung sind an einen externen Dienstleister ausgelagert.
Externe Tester übernehmen das Gros der Test-Aufgaben und sind regelmäßig oder nach Bedarf im Einsatz. Die Steuerung erfolgt intern, während häufig ein Teil der Verantwortung nach extern gegeben wird.
Testing und Qualitätssicherung werden in allen Varianten von Key Usern unterstützt.
Punktuelle externe Unterstützung häufig durch Freelancer, Contract Staff oder auf Basis von Time & Material.
Unterstützung häufig durch Freelancer, Contract Staff oder auf Basis von Time & Material oder Festpreis.
Unterstützung häufig auf Basis von Time & Material oder Fest- oder Paketpreis. Immer häufiger auch mehrjährige Managed Testing-Verträge.
Test
orga
nisa
tion
Abr
echn
ung
Vorteile externen Testens
75%
76%
85%
Senkung der Testkosten
Verringerung der Testzeiten
Verbesserter Zugang zu qualifizierten Testing-Spezialisten
0% 50% 100%
Anteile in Prozent der Unternehmen, n=59
Checkliste Testing-Outsourcing.
Testmethoden Entlang der Entwicklung von Web-Applikationen.
Application Lifecycle Sechs Etappen und ihr Zusammenspiel
Application Lifecycle Sechs Etappen und ihr Zusammenspiel
Anforderung Fehler in Etappe 1 Haben enormes Eskalationspotential
Katastrophe beim Roll-out einer E-Commerce-Anwendung eines führenden deutschen Buchgroßhändlers
Über 30% der eingestellten „Bugs“ waren strittig bzw. entpuppten sich als „Change Requests“
Triage als aufreibendes Tauziehen am Vertrag
Abbruch des Rollout / Zurückweisung des Releases für den Kundenabnahmetest als nicht testfähig
alle nachgelagerten Meilensteine mussten neu definiert werden
Ein anderer signifikanter Teil der gemeldeten Fehler betraf falsche Testerwartungen durch fehlendes zentrales Anforderungsmanagement und späte, oft bilaterale Klärungen
Der größte Teil der vom FB eingestellten „Bugs“ betraf Selbstverständlichkeiten und „Standards“ (= implizite Anforderungen)
Anforderung So agieren Sie erfolgReich
Neuaufsetzen des Projekts
neue Timeline inkl. 1. „Requirement Clearing“ 2. erweiterter „Scope“ 3. realistische Testphasen für erwartete Fehlermengen, Nachtest- / Regressions- tests
Einsatz eines dezidierten Anforderungsmanagers / Qualitätsmanagers
Anforderung So agieren Sie erfolgReich
Vertragsänderung mit Aufnahme von Standard-Klauseln (u.a. DIN 92411 - Anforderungen an Gebrauchstauglichkeit und Grundsätze der Dialoggestaltung)
Analyse des „Scope“ mit Ergebnis-Liste inkl. Lücken, Widersprüchen, Unklarheiten, Implikationen
Konsolidierung und Priorisierung aller „CR-Fehlereinträge“
Änderungen / Erweiterungen der Anforderungen
Verknüpfung mit Testfallspezifikation (Traceability)
Abnahme/Review aller zugehörigen Dokumente durch FB-Verantwortliche und Anforderungs- / Qualitätsmanager
Abnahmetest 2.0 = beherrschbare Zahl unstrittiger Fehler + exaktes Launch-Datum + zufriedene Kunden
Anforderung Weichenstellung für Qualität
Design Fehler in Etappe 2 Haben enormes Eskalationspotential.
Beispiel: Entwicklung einer Fahndungssoftware für 12 Mio. € für eine öffentliche Behörde
Ziel: Digitalisierung und Vernetzung der Beweismittel eines Tatorts.
Tatort
Nicht registriertes Handy
SIM-Karte
Illegales Betäubungsmittel
Fachseite (IT-ler)
Fachliche
Anforderungen
Anwender (Nicht IT-ler)
Wer hat das bestellt?
Design So agieren Sie erfolgreich
Integrieren Sie den Bereich Usability für das User Requirements Engineering:
Gezielte Beobachtung am Arbeitsplatz der Beamten
Endnutzer-Interviews …
… mit dem Ziel: Ermittlung der Nutzungsanforderungen
Software 2.0 = angepasst an die Arbeitsweise der Endanwender + Ergebnissteigerung beim Kunden
Design So agieren Sie erfolgreich
Design Früh Fehler Finden und Beheben
Realisierung/Einführung Fehler in Etappe 3 und 4 Haben enormes Eskalationspotential
Beispiel: SWE-Projekt zur Bereitstellung einer Online-Plattform für die elektronische Genehmigung und Abrechnung von ärztlichen Verordnungen im Krankenkassenumfeld Es war nicht bekannt, dass Testmanagement für den
Projekterfolg essentiell wichtig ist Kunde war unzufrieden, weil er zu wenig wusste über
die Anforderungsumsetzung und den Fehler-Status unklare Aussagen, wann Software in den Pilotbetrieb gehen kann
zum Zeitpunkt des Projekteinstiegs bestand ¾ Jahr Verzug Das SW-Unternehmen hat nur auf Basis formloser Entwicklertests
getestet und dabei die Testautomatisierung vernachlässigt SW-Unternehmen hat keine Erfahrung im Umgang mit
Großkunden und komplexen Projekten
Realisierung/Einführung Fehler in Etappe 3 und 4 Haben enormes Eskalationspotential
GU: T-Systems
SW-Hersteller: deutscher Mittelständler
Kunde: Deutsche Krankenkasse
Projektbeteiligte
Realisierung/Einführung So agieren Sie erfolgreich
Finding IST-Analyse Verbesserungspotential
Keine Traceability zwischen Testfällen und Anforderungen
Mapping der Anforderungen zu bereits abgestimmten Testfällen
Nur partielle Risikoanalyse zur Bestimmung der SW-System-kritischen Teile vorhanden
Bestimmung der Testfälle, die 80% der Funktionalitäten der Applikation ausmachen (= riskante Systemteile) Testfall-Priorisierung
Fehler werden durch Kunde
grundsätzlich nur den Fehlerklassen 1
und 2 zugeordnet
Aufsetzen eines internen Fehlerkorridors mit Abstimmung, ob auch für Kunde im Rahmen der Übernahme anwendbar
Keine mit dem Kunden gemeinsam definierten Abnahmekriterien
Einholen des Kommitments beim Kunde: definierte Testfall-Beschreibungen = fixierte Anforderungen inkl. Abnahmekriterien
Zuordnung der Tester zu den Testfällen erfolgt momentan nach Verfügbarkeit
Um kritische Testfälle mit entsprechender Intensität zu testen, sind in einem Teststufenplan die Testfallreihenfolge, Testaufwand und -ressourcen zuzuordnen
Testaktivitäten durch neue
Anforderungen / CRs seitens Kunde
stark erschwert
Abstimmung Frozen Zone mit Kunde, in der
keine Umsetzung neuer Anforderungen /
CRs erfolgt
Realisierung/Einführung So agieren Sie erfolgreich.
Tägliches Fehlerclearing
Fehlermanager, Test und Entwicklung
Entwicklung
Fehlerbeseitigung, Test
Status : behoben
Zuordnung
Fehlerklasse
Priorität
Entwickler
zu beheben in Version x
Termin der Behebung
Nachtest durch Testteam
Status: geschlossen oder wieder eröffnet
Freigabe nächste Teststufe (Kundentest)
Ergebnis = Fehler
GPL, Test-, Entwicklungs- management
Entscheidung, wann Patch auf Testsystem
Ergebnis = CR
Changeboard (GPL, PL Kunde)
Analyse Risiko & Impact
des Impacts (was passiert ,wenn wir es nicht tun)
wie oft kommt der Fall vor
gibt es einen Workaround
Aufwand (Entwicklung und Test)
Impact bereits erreichte Testergebnisse
sonstiges Risiko
Entscheidung
Umsetzung erfolgt in Version x
Auszug aus Ticketsystem
Change Requestliste
Dokumente
Release- Versionsplan
Realisierung/Einführung So agieren Sie erfolgreich. WorkfloW „neuer fehler“
Betrieb und Optimierung Fehler in Etappe 5 und 6 Haben enormes Eskalationspotential
Stabilitäts-/Performanceprobleme bei Packstation
Unhaltbare Zustände im Servicecenter, da Applikation nur sehr eingeschränkt nutzbar
Häufige ungeplante Neustarts der Applikationen notwendig.
Antwortzeiten von teilweise über 20 Sekunden
Fehlersuche und -behebung ist zeit- und kostenintensiv
Keinerlei Lasttests und Messungen vorhanden.
Monitoring
Monitoring der Applikation ist nicht existent, daher nur subjektive Aussagen zur Verfügbarkeit/Performance
Fehlerbehebung/Support wird nur reaktiv angestoßen
Performante, stabile Packstation-Applikation kann nicht garantiert werden
Betrieb und Optimierung So agieren Sie erfolgreich
Lasttest Durchführung und Analyse von fast 50 Stabilitäts- und Performancetests auf Skript-Basis zur automatisierten Nachbildung von Nutzerinteraktionen + Lasttest jeder geplanten Änderung vor Rollout-Bereitstellung
Applikations-analyse
Verfolgung und Analyse der tatsächlichen Anwendungsabläufe mittels dynaTrace, Ermittlung von Optimierungspotentialen konkreter Klassen und Methoden, Erstellung von umfangreichen Reports als Input für die Entwicklung.
E2E Monitoring Überwachung einzelner Packstationsapplikationen aus Kundensicht, Unterstützung proaktiver Wartung durch Benachrichtigung per Mail an Support im Fehlerfall
Betrieb und Optimierung So agieren Sie erfolgreich
OK
Minor
Critical
Failed
Overall Quality of Service Performance of Transactions
Packstation SMT_0020 SMT_0030 SC_0010
Betrieb und Optimierung So agieren Sie erfolgreich
Durch Aufzeigen von Schwachstellen und gezielte Hinweise an die Entwicklung konnte:
die Entwicklung in kurzer Zeit Optimierungen vornehmen.
u. a. die durchschnittliche Antwortzeit des Servicecenters von 20 Sekunden auf 2 Sekunden verbessert werden.
eine höhere Stabilität erreicht werden. Vor Stabilitätsrelease ca. 20 Neustarts, jetzt einer in 2 Wochen.
Kritische Alarme vor QS
Informative Alarme vor QS
Kritische Alarme nach QS
Informative Alarme nach QS
0 100 200 300 400 500 600
Betrieb und Optimierung Qualität nachhaltig managen
Testmethoden Entlang der Entwicklung von Web-Applikationen
Application Lifecycle Sechs Etappen und ihr Zusammenspiel
FunktionS- und abnahme-teSt SaP bi teSt SaP erP teSt teStautomatiSierung teSt aS a SerVice code QuaLitY management interFace und Soa-SerVice-teSt
LaSt- und PerFormanceteSt PerFormance engineering aPPLication monitoring
SoFtWare QuaLitY management managed teSt SerViceS zertiFizierung Test-Coaching und Test-Schulung
SoFtWare QuaLitY
FunctionaLitY
Performance
anonYmiSierung audit und comPLiance conSuLting inFormationSSicherheitSmanagement it-ForenSik managed SecuritY SerViceS PenetrationSteSt SecuritY code reVieWS SicherheitS- und datenSchutzkonzePte training und aWareneSS
cYber SecuritY und data PriVacY
Mobile
Besser
Usability Test Accessibility Test
Mobile Test Croud Sourced Test Energiebedarfs-Analyse
Wir sind für sie da Damit sie auch mal weg sein können
T-Systems Multimedia Solutions GmbH
Riesaer Straße 5
D-01129 Dresden
Telefon: +49 351 2820 – 0
Telefax: +49 351 2820 – 5115
E-Mail: [email protected]
URL: www.t-systems-mms.com