מצוינות שהפכה למסורת
(HMS)הלפרין יועצים
Data Quality Assurance in a fast changing world
QA & Development in Agile – 24/05/2012
2
אגנדה
Data quality assurance
מערכת/ ניהול איכות המידע לאורך מחזור חיי המוצר
Data quality assurance in an agile world
Case Study
3
HMS ( יועציםהלפרין)
המספקת הפיננסיות המידע מערכות בתחום בישראל המובילה הקבוצה
פיננסיות ויחידות ההון שוק חברות ,ביטוח חברות ,לבנקים שירותים מגוון
.גדולים בגופים
.פעילותהשנות ניסיון מוכח בתחומי 20
.רחבמומחים מקצועיים במגוון מקצועות 200-של כנבחרת
המספק ( (Data Quality נתונים איכות בנושא התמחות מרכז HMS-ל
בין המנצח השילוב בזכות וזאת ואיכותי רחב שירותים סל ללקוחותיה
,בנקאות :כגון התמחויות במגוון מובחר אדם וכוח מובילה טכנולוגיה
.ועוד BI ,ההון שוק ,ביטוח
HMS -מבט ל
Best Experts
כוח אדם מובחר
Best Practices
מתודולוגיות ושיטות יישום
מוכחות
Best of Breed
Solutions פתרונות
תוכנה מובילים
State of the Art
Technology's
שילוב טכנולוגיות מתקדמות
4
Data Quality Assurance
quality Data
Data are of high quality "if they are fit for their intended uses in operations, decision making and
planning".
Alternatively, the data are deemed of high quality if they correctly represent the real-world construct to
which they refer.
Data Quality
המידע אמין
המידע עדכני
המידע עקבי
המידע שלם
משקף את
הביזנס
מוגדר ומובן
Wikipedia: מקור
שינויי תוכנה
תכופים
הסבת מערכות
הכנסת רכיבים
חדשים
יישום דרישות
רגולציה חדשות
מידע ישן
גידול מואץ
.בהיקף המידע
טעויות אנוש
קלט בעייתי
5
בעיות שכיחות בתחום איכות נתונים
מחדלשימוש בערכי ברירת
חסריםערכים
שונותנתון למשמעויות עסקיות / שימוש באותו שדה
מבנהי "עפ/ מידע המוזן באופן ידני ולא באמצעות בחירה מרשימה
הקייםסתירות לוגיות במידע
בארגוןתאימות המידע לתהליכים ולחוקים העסקיים -אי
מעודכןמידע לא
ערכיים-חדלא / חסרים / מפתחות כפולים
The cost of poor data quality
6
Increase cost - at least 10% (and probably as much as 20%) of revenue.
Anger customers.
Increase the difficulty of decision making.
Make it more difficult to implement new technologies.
Put company image at risk.
אתגרים בניהול איכות נתונים
7
פיה צריכים להתנהל הנתונים-של הארגון שעלהלוגיקה העסקית תיעוד וניהול.
י משתמשים שאינם בעלי מיומנויות פיתוח"גם ע, הגדרת בקרות בצורה קלה וגמישה.
ביצועData Profiling על מסת נתונים לצורך איתור מידע החשוד כשגוי.
ובלא צורך במעורבות " ללא עלות"של הבקרות באופן אוטומטי הרצה חוזרת יכולת
.גורמי הפיתוח
מעמיק ללא צורך בכתיבת קוד תוכנה תחקור.
אוטומטיים באמצעות מערכת ממוכנת-אוטומטיים וחציתהליכי טיוב ניהול.
התראות האירועים ניהול(Action Items )כחלק מתהליך הטיוב ושימור איכות המידע.
8
אגנדה
Data quality assurance
מערכת/ ניהול איכות המידע לאורך מחזור חיי המוצר
Data quality assurance in an agile world
Case Study
מערכת/ ניהול איכות המידע לאורך מחזור חיי המוצר
9
Requirements
Design
Implementation Quality
Assurance
Installation
Maintenance
תלויי אינם החיים מחזור שלבי
לכל משותפים – פיתוח מתודולוגיית
.והארגונים המערכות
המעורבים הגורמים כל של שיתוף:
ולקוחות QA ,פיתוח ,מערכות מנתחי
.המערכת
תוכן עולמות" ניהול"
אחד כל עבור ומותאמים מקבילים
.המעורבים מהגורמים
העיבוד שלבי כל של מלא מיכון,
במשאבים חסכון – והתחקור הבקרה
.רבים
הבקרה תהלכי בעדכון מלאה גמישות
.פיתוח במשאבי צורך בלא
מרכיבי מערך בקרת איכות נתונים
10
Data Quality
Managment
ניהול חוקה עסקית
בקרות עסקיות
Data Profiling
תפעול בקרות וכלי
תחקור
ניהול התראות ואירועים
בקרה וטיוב נתונים
דמוגרפיים
ניהול טבלאות מרכזיות
אבטחת מידע ורכיבי
מידור
11
בארגון Data Qualityשלבי יישום
פיתוח מודעות ארגונית
ניתוח מצב קיים
גיבוש תוכנית עבודה ויישומה
פעולות שימור
12
פיתוח מודעות ארגונית –' שלב א
Team Work …
הכרה זו . בארגון Data Qualityנדרשת הכרה ארגונית בחשיבות ובתועלות הנובעות מיישום
:בין השאר באמצעות, מתקבלת
לכל הגורמים בארגון ואינה נחלת ההאחריות לטיב הנתונים משותפת הבנה כי-IT /
.ביזנס בלבד
הבא לידי ביטוי בשורה הרווח התחתונה של לאיכות מידע ירודה ( יקר)יש מחיר הבנה כי
(.1:10:100חוק )הארגון
מורכבות עסקית וכדומה, בגרותו, גודלו –המותאמת לארגון מתודולוגיית עבודה אימוץ.
המגדירים את מדיניות ניהול איכות הנתונים הארגוניתיעדים כמותיים ואיכותיים קביעת.
הגדרת בעלי תפקיד רלוונטיים( כדוגמתData Owners ו-Data steward).
של בתוכנית העבודה השנתית שילוב נושא איכות הנתונים
.לרבות הקצאת המשאבים הנדרשים, הארגון
13
בארגון Data Qualityשלבי יישום
פיתוח מודעות ארגונית
ניתוח מצב קיים
גיבוש תוכנית עבודה ויישומה
פעולות שימור
14
ניתוח מצב קיים–' שלב ב
איסוף וריכוז המידע הקיים בארגון בנושא איכות מידע
מיפוי מקורות המידע
מיפוי ישויות ושדות
(בהתאם למיקוד עסקי)
ניתוח הנתונים ואיתור כשלים
(קשרים בין ישויות שונות/ שדה / יישות )
15
בארגון Data Qualityשלבי יישום
פיתוח מודעות ארגונית
ניתוח מצב קיים
גיבוש תוכנית עבודה ויישומה
פעולות שימור
16
תהליך הקמת מערך בקרת איכות הנתונים
הגדרת בקרות וחוקה עסקית
תפעול הבקרות
תחקור החריגים
ניהול התראות ואירועים
ומנועי החוקה עסקית מודולי הבקרה
ממשק תחקור וממשק דוחות
מודול התראות ואירועים
ממשק תפעול
הגדרת אוכלוסיית המדגם –ממשק הגדרת הבקרות
17
החריגיםהגדרת אוכלוסיית –ממשק הגדרת הבקרות
18
19
דוח תיעוד אפיון הבקרות –הגדרת בקרות עסקיות
20
Data Profilingדוגמא ליישום בקרות בעקבות הפעלת
21
באמצעות ממשק משתמש –תפעול הבקרות
22
(ניהולי)דוח תוצאות הבקרה –תפעול הבקרות
23
מוניטור ריצות בקרה -תחקור חריגים
24
פרוט הבקרות שהופעלו –תחקור החריגים
מידע השוואתי מול ריצה
קודמת וממוצע ריצות קודמות
25
פרוט הרשומות החריגות –תחקור החריגים
מבנה גמיש בהתאם לצרכי
מטייב/המתחקר
26
ממשק תחקור סטטיסטי –תחקור החריגים
27
RASמערכת
מערכת לניהול ובקרת איכות המידע המבוססת חוקה עסקית
י"ע פותחה HMS ומורכבים גדולים וטיוב הסבה פרוייקטי במסגרת.
איכות ושימור תחקור תהליך ותפעול לניהול "לקצה מקצה" פתרון מספקת
.הטיוב תהליך אחר בפיקוח וכן הנתונים
מורכבת עסקית בינה של מהיר יישום המאפשרים עסקית חוקה מנועי בעלת
.הבקרה בתהליכי
(.ודומיו 357תקן )מותאמת לדרישות הרגולציה הישראלית בנושא אבטחת מידע
ניהול אירועים והפצת ממצאי הבקרה, בעלת מנגנוני התראה.
28
ארכיטקטורה כללית של מערך איכות הנתונים
מקורות
המידע
RAS
System
RAS Application DB
Staging
area DB
ניהול טבלאות
מרכזיות
אבטחת מידע
ורכיבי מידור
מחולל דוחות
ושאילתות
מחולל חוקים
עסקיים
מנגנון התראות
ואירועים
בקרה וטיוב
ם דמוגרפיםנתוני
בקרות עסקיות
Data Profiler
תפעול תהלכי
עיבוד ובקרה
RAS
Output
IB &
Olap
דוחות בקרה
והשוואה
כלי תחקור וניתוח
MetaData
דוחות/קבצי
אוטומטיים טיוב
טיפול בהתראות
ואירועים
דוחות מבוקרים
SOX -ותמיכה ב
תיקי אפיון ותיעוד
דינאמיים
29
אגנדה
Data quality assurance
מערכת/ ניהול איכות המידע לאורך מחזור חיי המוצר
Data quality assurance in an agile world
Case Study
Data quality assurance in an agile world
30
תמיכה בריבוי סביבות וניהול גרסאות.
יכולת פיתוח תהליכי בקרה מורכבים באופן מודולרי ומהיר.
גמישות ביכולת עדכון לוגיקת הבקרות -תכופיםתמיכה בשינוים.
בודקים / י מומחי תוכן עסקיים "הבקרות עתפעול -הפיתוח הורדת העומס מגורמי.
שקיפות לגבי לוגיקת הבקרה ותוצאותיה –שיתוף הלקוח העסקי.
תמיכה בסבבי פיתוח קצרים.
ביצוע בדיקות רגרסיה מלאות בסיום גרסא.
לחיצת כפתור"הפקת אפיוני ודוחות הבקרה ב –תיעוד ומעקב."
31
אגנדה
Data quality assurance
מערכת/ ניהול איכות המידע לאורך מחזור חיי המוצר
Data quality assurance in an agile world
Case Study
Case study – בקרת איכות נתונים בפרויקט הסבה
32
:פרטים כלליים
.קבוצה בנקאית גדולה: הלקוח
.בנקים למערכות הקבוצה 3ניהול כלל מבדקי הקבלה להסבת : נושא
:המטרה
הקמת מערך בקרת איכות נתונים האחראי לוודא כי כלל תהליכי ההסבה בוצעו כהלכה
.לרבות בקרת ההמשכיות העסקית במערכות החדשות –מבחינה עסקית וטכנולוגית
: אתגרים
מאות טבלאות ועשרות מיליוני רשומות, עשרות מוצרים, מערכות שונות 40-כ –היקף המידע.
הפרויקט כלל את כל המידע הבנקאי החל מפרטי לקוחות ועד למוצרים הבנקאיים –מורכבות
.עצמם
לזה שהספק המסב ביצע לצורך אימות לוגיקת ההסבהאפיון מקביל ביצוע.
ושמירה על היכולת לבצע עדכונים מיידייםלוגיקה עסקית מורכבת ניהול.
וביצוע תחקור מעמיק של התוצאותתפעול הבקרות.
שעות להשלמת תהליך ההסבה במקביל והבקרות 4.5חלון זמן של – מהירות.
33
אמין ועדכני מסייע לפעילות התפעולית של הארגון , מידע שלם – בעלויות התפעוליותחיסכון
.שגוי/חסרוחוסך עליות רבות הנובעות ממידע
הינו תנאי בסיסי לביצוע ( מקודד)מאגר לקוחות עדכני ומנורמל –שיפור היכולות השיווקיות
.מיטבי( ROI)תועלת / שיווקיים ממוקדים בעלי יחס עלות" קמפיינים"
עמידה בדרישות רגולציה
איתור כשלים במידע והצפת החריגים באופן שוטף – והשבחת תהלכי עבודה בארגוןייעול
.לצד נקיטת פעולות מניעה יסייעו לארגון בייעול והשבחת תהליכי העבודה
מהלכי הבקרה האוטומטיים המופעלים בתדירות קבועה מאפשרים – חיסכון בזמן ובעלויות
.בטרם נגרמו נזקים ממשיים לארגון, איתור מוקדם של אירועים חריגים וטיפול מיידי בהם
End-To-End - מערכת ה-RAS המאפשר יישום מערך בקרה " מקצה לקצה"מספקת מענה
.שלם תוך פרק זמן קצר יחסית
בהקמת מערך ניהול ובקרת איכות נתוניםסיכום התועלות
34
הזמנה
לקבלת פרטים נוספים והדגמה HMSהינכם מוזמנים לביתן
,תודה רבה והמשך כנס מהנה
מנהל תחום איכות נתונים והסבות, ערן משיח
050-8430086 /[email protected]
35
תודה על ההקשבה
ערן משיח
מנהל תחום איכות נתונים והסבות
[email protected]| 050-8430086: נייד
:ליצור קשר עםניתן , למידע נוסף