Big data romi mik_ifish

Big Data – המהפכה הבאה

ר רומי מיקולינסקי"ד

IFISHפורום מפגש

17/6/15

?מה עושים היום

הקדמה•

עומס המידע , המידעעידן •

•Big Data

iot))אינטרנט של הדברים •

?שאלות•

הקדמה

היכרות

היכרות

The Hype

The Hype

Gartner’s Hype Cycle 2014

Gartner’s Hype Cycle Explained



ההתפתחות המואצת של אינטרנט הדברים תשפיע גם על הכמות

כלומר מידע , האדירה של נתונים שימושיים במרחב הדיגיטלי. לנתח אותושניתן

מהמידע הדיגיטלי בעולם נחשב למידע 22%רק 2013בשנת

מהנתונים השימושיים 5%-כאשר פחות מ, שימושי שניתן לנתחו

כמות אדירה של נתונים נותרת לא , כלומר. אכן מנותחים בפועל.של היקום הדיגיטלי" חומר אפל"כמעין , מנותחת

" יווצר מאינטרנט הדברים 2020-בעשירית מהמידע הדיגיטלי : עליית המכונות"

כלכליסט, 2014אפריל , קאהאןרפאל

http://www.calcalist.co.il/internet/articles/0,7340,L-3628788,00.html

קצת רקע

מכלל הנתונים יחשבו 35%-יותר מ, צופה המחקר, 2020עד שנת

הודות לגידול המידע שמקורו באינטרנט , כנתונים מועילים

יחד עם זאת זה יהיה תלוי במידה בה ארגונים ועסקים . הדברים. יבחרו להשתמש בנתונים אלו ולנתחם

מהנתונים ביקום הדיגיטלי דורשים כיום רמה 40%-כי, המחקר היאהערכת

.מוגן בפועל -בלבד 20% -אולם רק מחצית מהמידע , מסוימת של הגנה

" הדבריםיווצר מאינטרנט 2020-בעשירית מהמידע הדיגיטלי : עליית המכונות"

כלכליסט, 2014אפריל , רפאל קאהאן


ברזיל ורוסיה ייצרו את מרבית המידע , מקסיקו, הודו, סין

הדיגיטלי

נכון להיום : באופן מפתיע שווקים מתפתחים ייצרו יותר נתונים

מייצור הנתונים ביקום הדיגיטלי מיוחס לשווקים מפותחים 60%

כאשר , צפוי מהפך 2020עד שנת , אולם. יפן וארה״ב, כמו גרמניה

, מקסיקו ורוסיה, הודו, סין, השווקים המתפתחים כדוגמת ברזיל

.יהיו אחראים ליצירת מרבית הנתונים הדיגיטליים

עשירית מהמידע הדיגיטלי : עליית המכונות"

כלכליסט, 2014אפריל , קאהאןרפאל " הדבריםיווצר מאינטרנט 2020-ב


2020-ביליון מכשירים מחוברים ב 50מעל

עומס המידע, עידן המידע

בזמן אמת -האינטרנט

http://pennystocks.la/internet-in-real-time/

Big Data הגדרה

המונח הוא שם כולל לשימוש בכמות

איסופו ממקורות , עצומה של מידע

בפורמטים שונים ובאיכויות , שונים

, םמציאת קשרי, עיבודו, אחסונו, שונות

תבניות והסקת תובנות מתוכו ולבסוף שימוש בתובנות אלו בצורה אופרטיבית

המידע מקורות

המידע מקורות

ודאטפיקציה דיגיטציה ,מידע שימור על סיפור

Kenneth Cukier: Big Data is Better Data

https://youtu.be/8pHzROP1D-w

גיבוי והעברת מידע בואו נחשוב על

בואו נחשוב על תהליך העברת המידע ועל

.שעבר בעשרים השנים האחרונותהשינויים

? אתם ודאי זוכרים איך שמרו וגיבו מידע בעבר

לגבות או להעביר , זמן לקח לשמור קובץכמה

?אותו

עידן המידע והגדירו העולם את שינו דיגיטליות טכנולוגיות האחרון העשור במהלך

,קניות עושים ,פעולה משתפים ,מתקשרים אנשים בו האופן את מחדש

מזמינים ,מידע אוספים ,סרטים רואים ,חוקרים ,קוראים ,מטיילים

.ועוד ועוד שלהם הבנק חשבונות את מנהלים ,חופשות

עסקיות חברות בו האופן את שינו הדיגיטליות הטכנולוגיות במקביל

,מכירות :שהושפעו התחומים בין .קצה אל מקצה מתנהלים ותאגידים

.ועוד ועוד העובדים בין קשר ,מידע ניהול ,הייצור שרשרת ,מלאי ניהול

?Big Dataאז מה הביג דיל עם

טרנדס פלו גוגל

Big Data – מידע-מונע לארגון להפוך איך?

Big Data בארגון

ארגוני-הפנים במידע מדובר ובראשונה בראש

,פנימית בפעילות מדובר םא בין .ובניהולו

של או הלקוחות מול פעילות ,כספים מחזורי כל לאסוף אומרת הרווחת הגישה – הלקוחות

הארגון פעילות על כללי ממידע – מידע פריט

הבודד הלקוח לרמת ועד העסק או

על שנאסף האישי המידע או ,הכללי המידע

יחסית וקל מובנה ברובו ,והלקוחות העובדים

או שאילתות באמצעות אותו לשלוף

ברוב בשימוש הזה המידע סוג .אלגוריתמים

מנתחים ,בו דנים :בארגון העסקיות היחידות בשוטף לפיו ומחליטים אותו

מידע מובנה


:

מידע מובנה

יש לשמור ולארגן את כל המידע ולהחליט מי אחראי עליו ובאילו מערכת עובדים *

נסו להרחיב את מקורות המידע שלכם במקביל*


:

נסו לשמור את כמה שיותר מדדים ונתוניםkey performance indicator (KPI)


The Unstructured data -המידע הלא מובנה

הכנה ללא אך ,בארגון שקיים במידע מדובר

.רבה משמעות לו אין (וניתוח מניפולציה) ועיבוד

כלים לשלב יש תובנות ממנו להפיק שנוכל בכדי

מובנה הלא המידע את שימנפו ניתוח ותהליכי .ערך בעל ידע לכדי

לקוחות שאומרים מילים ניתוח :לדוגמה

שתועדו מילים ניתוח או קולי ניתוח כלי בעזרת

ניתוח כלי בעזרת לקוחות עם שיחות בגין

פעילות מתבצעת הזה בחלק למעשה .טקסט .ארגון לכל ביותר חשובה

מאת אייל בירן לאומי דיגיטל–המסע המופלא לעולם הביג דאטה

http://tracks.roojoom.com/u/eyalbiran,8206/hms-hmvpl-lvlm-h-big-data-2,14805


The Unstructured data -המידע הלא מובנה

של תהליכים עובר הזה בשלב הנאגר המידע

מתוחכמים לאלגוריתמים ובהתאם ניתוח

ומקוטלגים מופקים רלבנטיים כלים ובעזרת

משמעותיות תוצאות מספר בודד מידע מאותו

.יותר

עם למידע למעשה הופך בודד מידע אותו

לא למידע הופך מובנה נתון אותו .משמעות

.הנתונים על מניפולציה ידי על שנוצר מובנה

עיבוד עובר מידע אותו .חדש מידע נוצר כך

.למשמעותי להפוך יכול וכך

וניתוח מעיבוד שנוצר המידע עולם במסגרת

בערוצים לקוח התנהגות ניתוח גם לכלול ניתן

או באינטרנט פעילות ניטור כמו דיגיטליים .ועוד והקלקות גלישה דפוסי ,במובייל


Machine Learning/ למידת מכונה

המידע עיבוד יכולות את ממנפים באמצעותם כלים

לזקק בכדי שונים אלגוריתמים באמצעותם ומריצים

באופן מידע של גדולות כמויות מתוך ולנתח

שונות ותובנות משמעויות אוטומטי


Big Dataמודלים של

ונאגר מנותב האפשרי המידע שכל לאחר

בכדי שונים מודלים עליו מופעלים ,בארגון

.העסקיות התובנות את למקסם

לכאלו לחלק נהוג הללו המודלים את

ולמודלים (סגמנטציה) פילוח על המתבססים

וניבוי חיזוי של בסיס על הפועלים

:הבא המנגנון פי על פועלים הללו המודלים כל

גדולות בכמויות הרצתו ,ערבולו ,המידע איסוף

תוכן לעולמות קטלוגו ,מוגדרים זמן בחלונות

ולמידה מחקר של שונים אלגוריתמים והפעלת

במקור שנבנה למודל בהתאם ,מידע אותו על .לדרך ביציאה שהוגדרו העסקיות ולשאלות

Big Data בארגון Big Dataמודלים של

הלאה מועבר המידע מהמודלים בחלק

ואחרים ידנית אותו שינתחו בכדי

וניבוי חיזוי בסיס על המלצות מציעים

והסתברות דומות אוכלוסיות מבוססי

.לקוח מצד לפעילות

:המודלים בין

נטישה מניעת

גיוס פוטנציאל הגדלת

פעילות הגדלת

כמו) ללקוח שיוצע הבא המוצר בחירת

(באמזון

סיכונים ניהול

לבסיסיים נחשבים סגמנטציה של מודלים

בפילוח עוסקים אלו מודלים :מאד נפוצים והם

אוכלוסיות מחלקים :משתמשים/ לקוחות

ערך הצעות למקד בכדי שונים לרבדים צרכנים ומאפייני פרופילים ולבנות

Big Data בארגון אופטימיזציה

"נתונים אילוצים תחת לפונקציה מקסימום או מינימום מציאת הינה אופטימיזציה"

לתובנות מגיע הארגון סגמנטציה או וחיזוי ניבוי של המודלים הפעלת לאחר

הנובעים אילוצים בחשבון לקחת הארגון על .ולשפר לבחון יש שאותן עסקיות בכלי גם להחזיק עליו אפקטיבי Big Data ולניהול שלו העסקית מהסביבה

ולהכיל מידע של גדולים היקפים לעבד יוכל זה כלי .אופטימיזציה שמבצע

זאת כל .אחרים פרמטרים עם יחד משתנות עסקיות ומגבלות חוקים ולשקלל

ההצעות למגוון אופטימלית עסקית-שיווקית תוכנית להגיש מנת על

:וההמלצות

השיווקי קמפיין להפעלת משאבים מינימום להיות יכול המינימום - למשל

להצעות בהתאם תועלת או רווחיות מקסימום להיות יכול המקסימום

להגשה המתועדפות העסקיות

האפשריים והחוקים הפרמטרים כל בין תעדוף של תוצר יהיה האופטימום האופטימיזציה כלי של באלגוריתם המידע מדעני שיגדירו כפי

Big Data בארגון אופטימיזציה

"נתונים אילוצים תחת לפונקציה מקסימום או מינימום מציאת הינה אופטימיזציה"

,לפעילות עסקי וערך משאבים השקעת רמת בין נבחן Big Data-ה עולם אם

גבי על רק ולא ,עקומות בין תזוזה מאפשר האופטימיזציה כלי יישום

.העקומה

תופק ערך הצעת אותה בגין או משאבים של אילוץ אותו בגין ,משמע

.למימושה משאבים בפחות יותר גדולה תועלת אופטימיזציה בסביבת

סכנות

פרטיות

? Big Data-מה קורה לפרטיות בעידן ה

We’re well down this path already. The information we thought of as personal data in the past—our name, address, or credit card records—is already bought and sold by data brokers like Acxiom, a company that holds an average of 1,500 pieces of information on more than 500 million consumers. This is data that people put into the public domain on a survey form or when they signed up for services such as TiVo.

“Has Big Data Made Anonymity Impossible?” Patrick Tucker MIT TECHNOLOGY REVIEW business report: BIG DATA GETS PERSONAL www.technologyreview.com


Much of this data is invisible to people and seems impersonal. But it’s not. What modern data science is finding is that nearly any type of data can be used, much like a fingerprint, to identify the person who created it: your choice of movies on Netflix, the location signals emitted by your cell phone, even your pattern of walking as recorded by a surveillance camera.

In effect, the more data there is, the less any of it can be said to be private, since the

richness of that data makes pinpointing people “algorithmically possible,” says Princeton University computer scientist Arvind Narayanan



The greater the amount of personal data that becomes available, the more informative the data gets. In fact, with enough data, it’s even possible to discover information about a person’s future. Last year Adam Sadilek, a University of Rochester researcher, and John Krumm, an engineer at Microsoft’s research lab, showed they could predict a person’s approximate location up to 80 weeks into the future, at an accuracy of above 80 percent. To get there, the pair mined what they described as a “massive data set” collecting 32,000 days of GPS readings taken from 307 people and 396 vehicles.

Then they imagined the commercial applications, like ads that say “Need a haircut? In four days, you will be within 100 meters of a salon that will have a $5 special at that time.” Sadilek and Krumm called their system “Far Out.” That’s a pretty good description of where personal data is taking us.

Predictive Policingנבואית המשטר

ALGO CRMINOLOGY/ ענישה מונעת

Minority Report

שלנו אנחנו עלולים להענש על הנבואות

שיודעים להגיד מה אנחנו עומדים לעשות והם ידעו לעשות ' יש אלגו את זה על בסיס של דקות

ALGO CRMINOLOGY/ ענישה מונעת

Kenneth Cukier קוקייר ' לפי קנת

האתגר המרכזי היה פרטיות small data -בעידן ה

, חופשייהיה לשמור על רצון האתגר big data -בעידן הagency(החופש לבחור בפעולה עצמאית)

שוק העבודה משתנה

שוק העבודה משתנה

וביג דאטה הולכים לגנוב לנו האם אלגוריתמים

?את העבודות ....מאד יתכן

לבן -בעיקר את של אלו של עובדי ידע צווארון

ממש כמו שהמכונות והאוטומציה של קו הייצור 19-האתגרו את עבודת הצווארון הכחול במאה

שוק העבודה משתנהשאחרי תקופה קצרה יווצרו עבודות נוספות ממש כמו אנחנו רוצים לחשוב

. בתקופת במהפכה התעשייתית אבל יש קטגוריות שנמחקו ומעולם לא חזרו

סוסהמהפכה התעשייתית לא היתה טובה אליך אם היית

לצרכינו big data -להתאים את הולכן צריך להיות זהירים וחכמים אנושיתיותר , בה בצורה יותר מחושבתולהשתמש

Big Data #fail

Not all big data applications have been successful; for example, data for Google’s Flu Trends came from people searching Google, not healthcare professionals, and in the manhunt for the Boston Marathon bombers, for which FBI agents collected 13,000 video feeds and still photos and assigned analysts to look for someone acting suspiciously, the bombers were not apprehended from the data. Bad big data advice comes from reusing the data (how do you ensure that recycled data is clean), or global data sharing (the big concern is “garbage in, garbage out”; how do you stop “garbage in”?)

הזדמנויות

?ממידען לחוקר דאטה

Data Scientist: A New Role For Librarians? by Don Hawkins on April 28, 2015 in CIL2015 www.libconf.com/2015/04/28/data-scientist-a-new-role-for-librarians/

Amy Affelt, Director of Database Research Worldwide at Compass Lexicon and author of The Accidental Data Scientist, a newly-published book by Information Today, discussed some characteristics of Big Data and its possibilities for information professionals



?שאלות

האינטרנט של הדברים

האינטרנט של הדברים

האינטרנט של הכל – סיסקו

יהיה גדול IOT בסיסקו מאמינים שהגל של

יותר מהגל של האינטרנט שנים 4החלו לכסות את רק לפני

50 BILLION SMART OBJECTS ADOPTION RATE OF DIGITAL

INFRASTRUCTURE 5 X FASTER THAN ELECTRICITY

CISCO IOT - IS MORE THAN JUST THINGS

THINGS 13% PPL - 20%

DATA 40% PROCESS - 27%

www.youtube.com/watch?v=Kt5VulFqBm4

האינטרנט של הכל – סיסקו

http://gizmodo.com/jon-stewart-is-totally-confused-about-the-internet-of-t-1627429053

ון סטוארט'האינטרנט של הדברים מבלבל את ג

!תודה

www.wesimplify.info

[email protected]

Technology

Big data romi mik_ifish