26
یانن را بهستااتوری اطل شرکت فنا واقعیای از دنیاسی بزرگداده؛ مقیرنژاد – صدمسعودحمد سیدم۴ یور شهر۱۳۹۳

بزرگداده؛ مقیاسی از دنیای واقعی

Embed Size (px)

DESCRIPTION

http://www.behestan.net/fa/blog/course-page

Citation preview

Page 1: بزرگداده؛ مقیاسی از دنیای واقعی

شرکت فناوری اطلاعات بهستان رایان

بزرگ داده؛ مقیاسی از دنیای واقعی۱۳۹۳شهریور ۴سیدمحمدمسعود صدرنژاد –

Page 2: بزرگداده؛ مقیاسی از دنیای واقعی

بزرگ داده؛ مقیاسی از دنیای واقعی ۱۳۹۳ شهریور ۴سیدمحمدمسعود صدرنژاد - شرکت فناوری اطلاعات بهستان رایان

فهرست مطالب

. سیر تاریخی رشد و تکامل داده۱

. بررسی نمونه هایی از بزرگ داده۲

. تعریف بزرگ داده به کمک شاخصه های اصلی آن۳

. معرفی فناوری های موجود در زمینه بزرگ داده۴

Page 3: بزرگداده؛ مقیاسی از دنیای واقعی

بزرگ داده؛ مقیاسی از دنیای واقعی ۱۳۹۳ شهریور ۴سیدمحمدمسعود صدرنژاد - شرکت فناوری اطلاعات بهستان رایان

بزرگ داده یعنی چقدر بزرگ؟

مفهوم دادهسیر تاریخی رشد و تکامل دادهاندازه بزرگ داده

تصور ما از اندازه بزرگ دادهبازه اعددی بزرگ دادهچند نمونه از بزرگ داده در دنیای واقعیبزرگ داده از کجا تولید می شود؟بررسی نمونه هایی از بزرگ داده

در دنیای مجازیدر دنیای غیرمجازی

Page 4: بزرگداده؛ مقیاسی از دنیای واقعی

بزرگ داده؛ مقیاسی از دنیای واقعی ۱۳۹۳ شهریور ۴سیدمحمدمسعود صدرنژاد - شرکت فناوری اطلاعات بهستان رایان

سیر تکاملی رشد داده

راهبرد اطلاعات در حال شکل گیریپیکربندی آسان، استفاده آسانبزرگ داده ها توسط مردم و برای مردمنیاز به تحلیل بلدرنگ دادهبزرگ داده و تحلیل های اجتمااعیاینترنت اشیاءاستفاده های تجاری از بزرگ دادهپردازش داده های بهداشتیکشف تقلب در نظام مالی و بیمهتشخیص خطا در تولید و صنعت

داده

بزرگ داده

Page 5: بزرگداده؛ مقیاسی از دنیای واقعی

بزرگ داده؛ مقیاسی از دنیای واقعی ۱۳۹۳ شهریور ۴سیدمحمدمسعود صدرنژاد - شرکت فناوری اطلاعات بهستان رایان

چقدر بزرگ؟

) ۱۳۹۰گوگل(بیش از صد پتابایت دادهبیش از هزار میلیارد آدرس صفحات اینترنتی۳میلیون کارگزار ۷.۲ میلیارد بازدید در روز

) ۱۳۹۲فیسبوک(بیش از یک میلیارد کاربر پتابایت داده۳۰۰بیش از ترابایت در روز۵۰۰به اعلوه بیش از درصد تمام اعکس های رقمی در جهان۳۵بیش از

Page 6: بزرگداده؛ مقیاسی از دنیای واقعی

بزرگ داده؛ مقیاسی از دنیای واقعی ۱۳۹۳ شهریور ۴سیدمحمدمسعود صدرنژاد - شرکت فناوری اطلاعات بهستان رایان

چقدر بزرگ؟

) ۱۳۹۳یوتیوب(بیش از یک اگزابایت دادهبازدید بیش از یک میلیارد کاربر در ماه میلیارد سااعت ویدیو در ماه۶بازدید از بیش از ۸۰٪ترافیک خارج از آمریکا سااعت فیلم در هر دقیقه۱۰۰به اعلوه بیش از میلیون سااعت فیلم در سال۳۷بارگذاری بیش از ۴میلیون بازدید در روز زبان گوناگون۶۱بومی سازی شده به

Page 7: بزرگداده؛ مقیاسی از دنیای واقعی

بزرگ داده؛ مقیاسی از دنیای واقعی ۱۳۹۳ شهریور ۴سیدمحمدمسعود صدرنژاد - شرکت فناوری اطلاعات بهستان رایان

چقدر بزرگ؟

)۱۳۹۳توییتر (حدود یک میلیارد کاربر۲۷۱میلیون کاربر فعال در ماه میلیارد توییت در سال۱۲۴بیش از میلیون در روز۵۰۰بیش از توییت در ثانیه۴۵۰۰حدود ۷۸٪کاربران توییتر خارج از آمریکا کارمند در دفاتر شرکت در تمام جهان۳۳۰۰با فقط گالن قهوه در هفته در دفاتر شرکت!۵۸۵مصرف

Page 8: بزرگداده؛ مقیاسی از دنیای واقعی

بزرگ داده؛ مقیاسی از دنیای واقعی ۱۳۹۳ شهریور ۴سیدمحمدمسعود صدرنژاد - شرکت فناوری اطلاعات بهستان رایان

چقدر بزرگ؟

) ۱۳۹۲پیامک متنی(۶.۱هزار میلیارد پیامک در سال ۱۹۳هزار پیامک در ثانیه ۸۷۶پیامک به ازای هر نفر در سال

) ۱۳۹۲مکالمات تلفنی در آمریکا(۲.۲هزار میلیارد دقیقه مکالمه در سال دقیقه مکالمه به ازای هر نفر در روز۱۹به طور میانگین

Page 9: بزرگداده؛ مقیاسی از دنیای واقعی

بزرگ داده؛ مقیاسی از دنیای واقعی ۱۳۹۳ شهریور ۴سیدمحمدمسعود صدرنژاد - شرکت فناوری اطلاعات بهستان رایان

منابع تولید بزرگ داده کدامند؟

Page 10: بزرگداده؛ مقیاسی از دنیای واقعی

بزرگ داده؛ مقیاسی از دنیای واقعی ۱۳۹۳ شهریور ۴سیدمحمدمسعود صدرنژاد - شرکت فناوری اطلاعات بهستان رایان

تاثیر فناوری روی بزرگ داده

افزایش سراعت خلقیت

شتاب بخشیدن به تغییرات اجتمااعی

تغییر جریان اطلاعات

Page 11: بزرگداده؛ مقیاسی از دنیای واقعی

بزرگ داده؛ مقیاسی از دنیای واقعی ۱۳۹۳ شهریور ۴سیدمحمدمسعود صدرنژاد - شرکت فناوری اطلاعات بهستان رایان

اهمیت بزرگ داده و تحلیل آن

«.تنها چیز ارزشمند ادراک و شهود مستقیم است»آلبرت انیشتین، فیزیکدان مشهور

بزرگ داده زیربنای تمام تحولت اعظیمی که امروز از جامعه تا»تلفن های همراه و ابر و بازی ها اتفاق می افتد است.»

کریس لینچ، محقق و کارآفرین موفق در زمینه بزرگ داده بزرگ داده اولین فناوری پس از شکل گیری اینترنت است که»

می تواند جهان را تغییر دهد.»کریس لینچ، محقق و کارآفرین موفق در زمینه بزرگ داده

داده اطلاعات نیست، اطلاعات دانش نیست، دانش فهم نیست و»فهم خرد نیست.»

کلیفورد استول، ستاره شناس و نویسنده

Page 12: بزرگداده؛ مقیاسی از دنیای واقعی

بزرگ داده؛ مقیاسی از دنیای واقعی ۱۳۹۳ شهریور ۴سیدمحمدمسعود صدرنژاد - شرکت فناوری اطلاعات بهستان رایان

نمونه هایی از بزرگ داده در محیط غیرمجازی

حسگرهای تلفن های همراه هوشمندتشخیص میزان روشنایی 3(-قطبی ۳شتاب سنجaxis accelerometer(صفحات لمسی برای تشخیص فاصلهمیکروفوناندازه گیری میزان قند خونضربان قلب

Page 13: بزرگداده؛ مقیاسی از دنیای واقعی

بزرگ داده؛ مقیاسی از دنیای واقعی ۱۳۹۳ شهریور ۴سیدمحمدمسعود صدرنژاد - شرکت فناوری اطلاعات بهستان رایان

نمونه هایی از بزرگ داده در محیط غیرمجازی

حسگرهای تلفن های همراه هوشمند

داده های جغرافیاییتخمین مکان جغرافیایی•حتی اگر خاموش باشد•موضوع حریم شخصی•به هنگام بودن داده ها• و تجهیزات شبکهGPSدستگاه های •

Page 14: بزرگداده؛ مقیاسی از دنیای واقعی

بزرگ داده؛ مقیاسی از دنیای واقعی ۱۳۹۳ شهریور ۴سیدمحمدمسعود صدرنژاد - شرکت فناوری اطلاعات بهستان رایان

تحلیل بزرگ داده ها

اهمیت تحلیل بزرگ دادهمدل سازی و درک داده هامدیریت استعدادها

تحلیل داده های شتاب سنج های سه-قطبی) درصد)۷۱جنسیت ) درصد)۸۰قد ) درصد)۸۰وزن ) درصد)۱۰۰نحوه راه رفتن

Page 15: بزرگداده؛ مقیاسی از دنیای واقعی

بزرگ داده؛ مقیاسی از دنیای واقعی ۱۳۹۳ شهریور ۴سیدمحمدمسعود صدرنژاد - شرکت فناوری اطلاعات بهستان رایان

تحلیل بزرگ داده

تحلیل بزرگ دادهکشف الگوهای حاکمپژوهش های اجتمااعی

اهمیت بزرگ داده برای دولت هاامنیت حاکمیت و قدرت دولت ها برای بقاحفظ جایگاه برتر بین المللی و شناخت افکار اعمومی

تحلیل بزرگ داده ها در پزشکیکاربرد بزرگ داده در اعکسبرداری پزشکی برای نمونه

Page 16: بزرگداده؛ مقیاسی از دنیای واقعی

بزرگ داده؛ مقیاسی از دنیای واقعی ۱۳۹۳ شهریور ۴سیدمحمدمسعود صدرنژاد - شرکت فناوری اطلاعات بهستان رایان

انفجار اطلاعات پزشکی

گذشته۱۰۰قطعه اعکس ۵۱۲ * ۵۱۲پیکسل ۵۰ اعدد کتاب۴۰ مگابایت معادل

امروز۲۴۰۰۰قطعه اعکس ۵۱۲ * ۵۱۲پیکسل ۲۰ اعدد کتاب۸۰۰ گیگابایت معادل فقط در چند ثانیه

Page 17: بزرگداده؛ مقیاسی از دنیای واقعی

بزرگ داده؛ مقیاسی از دنیای واقعی ۱۳۹۳ شهریور ۴سیدمحمدمسعود صدرنژاد - شرکت فناوری اطلاعات بهستان رایان

انفجار اطلاعات پزشکی

گذشته۱۰۰قطعه اعکس ۵۱۲ * ۵۱۲(پیکسل) نقطه ۵۰ اعدد کتاب۴۰ مگابایت معادل

امروز۲۴۰۰۰قطعه اعکس ۵۱۲ * ۵۱۲(پیکسل) نقطه ۲۰ اعدد کتاب۸۰۰ گیگابایت معادل فقط در چند ثانیه

آینده۱ هزار کتاب۸۰۰ ترابایت معادل فقط به ازای یک بیمار

Page 18: بزرگداده؛ مقیاسی از دنیای واقعی

بزرگ داده؛ مقیاسی از دنیای واقعی ۱۳۹۳ شهریور ۴سیدمحمدمسعود صدرنژاد - شرکت فناوری اطلاعات بهستان رایان

انفجار اطلاعات پزشکی

مدل سازی اجزای بدن انسانپیدا کردن مشکلپزشکی قانونی

نقش پردازش گرافیکی در تحلیل بزرگ دادهلمس بزرگ داده و آینده ی اعلم پزشکی

شبیه سازی ضربان قلباعبور از اجزای بدن انسانحس کردن اجزای بدن به وسیله ی قلم مکانیکیوضوح بال

اعکسبرداری از اعملکرد مغز انسان

Page 19: بزرگداده؛ مقیاسی از دنیای واقعی

بزرگ داده؛ مقیاسی از دنیای واقعی ۱۳۹۳ شهریور ۴سیدمحمدمسعود صدرنژاد - شرکت فناوری اطلاعات بهستان رایان

رشد داده همگام با توسعه فناوری

تحقق مفهوم اینترنت اشیاءبرنامه های تشخیص چهرهتصاویر ماهواره ای ارسال شده با وضوح بالحسگرها و دوربین ها!مفاهیم بی جان، جاندار و حساس می شوند

حرکت به سمت سیاره ای هوشمندترماشین ها به صورت خودکار راه می رونددستگاه ها نیاز شما را می شناسند

Page 20: بزرگداده؛ مقیاسی از دنیای واقعی

بزرگ داده؛ مقیاسی از دنیای واقعی ۱۳۹۳ شهریور ۴سیدمحمدمسعود صدرنژاد - شرکت فناوری اطلاعات بهستان رایان

مقایسه داده سنتی و داده در دنیای امروز

انواع سنتی دادهمستندات مکتوبردیف های مالیثبت بورسفایل های کارکنان

بزرگ دادهاعکس هاپرونده های صوتیمحتوای چندرسانه ایمدل های سه بعدیشبیه سازی هااطلاعات جغرافیایی

داده ساختارنیافته

Page 21: بزرگداده؛ مقیاسی از دنیای واقعی

بزرگ داده؛ مقیاسی از دنیای واقعی ۱۳۹۳ شهریور ۴سیدمحمدمسعود صدرنژاد - شرکت فناوری اطلاعات بهستان رایان

تعریف و شاخصه های اصلی بزرگ داده

مقداراختصاص منابع به صورت مؤثرترگوناگونی

افزایش انواع داده و دسته بندی آن هاسراعت

بلدرنگ بودن

تعریف بزرگ داده

Page 22: بزرگداده؛ مقیاسی از دنیای واقعی

بزرگ داده؛ مقیاسی از دنیای واقعی ۱۳۹۳ شهریور ۴سیدمحمدمسعود صدرنژاد - شرکت فناوری اطلاعات بهستان رایان

فناوری های موجود در زمینه بزرگ داده

پردازش توزیع شدهمعرفی برخی از فناوری های موجود

) هدوپHadoop() مپ ریدیوسMapReduce(طرز کار هدوپ و مپ ریدیوسآینده فناوری های بزرگ دادهمسائل و مشکلت پیش رو

ورود، ذخیره سازی و خروج چندین پتابایت دادهاز بین رفتن دیسک های سخت

Page 23: بزرگداده؛ مقیاسی از دنیای واقعی

بزرگ داده؛ مقیاسی از دنیای واقعی ۱۳۹۳ شهریور ۴سیدمحمدمسعود صدرنژاد - شرکت فناوری اطلاعات بهستان رایان

مپ ریدیوس چگونه کار می کند؟

Page 24: بزرگداده؛ مقیاسی از دنیای واقعی

بزرگ داده؛ مقیاسی از دنیای واقعی ۱۳۹۳ شهریور ۴سیدمحمدمسعود صدرنژاد - شرکت فناوری اطلاعات بهستان رایان

تشکر و قدردانی

:با سپاس از

سیدابراهیم ابطحی، استاد دانشگاه صنعتی شریف

.شما که وقتتان را در اختیار بنده گذاشتید

Page 25: بزرگداده؛ مقیاسی از دنیای واقعی

بزرگ داده؛ مقیاسی از دنیای واقعی ۱۳۹۳ شهریور ۴سیدمحمدمسعود صدرنژاد - شرکت فناوری اطلاعات بهستان رایان

منابع اصلی

Hurwitz, Alan Nugent, Fern Halper, Marcia Kaufman, “Big Data For Dummies” (April 2013), NJ

بزرگ داده به زبان ۱۳۹۲هورویتز، آلن نوگنت، فرن هالپر، مارسیا کافمن، (بهار (ساده، انتشارات دامیز، نیوجرسی آمریکا

Christopher Barnatt, Explaining Big Data Video, from explainingcomputers.com: free online resource of non-technical overview of new technologies. http://explainingcomputers.com (October 2012)

کریستفر بارنات، برنامه ی تصویری تشریح بزرگ داده، از سایت توضیح دادنکامپیوترها: نمایی کلی و غیر تخصصی از موضواعات مرتبط با رایانه

http://explainingcomputers.com ۱۳۹۱ (مهر(

Bill Hamilton, “Big Data is the Future of Healthcare” (September 2012), Cognizant, NJ

انتشارات ۱۳۹۱بیل همیلتون، بزرگ داده آینده ی بهداشت و درمان است، (شهریور (کوگنیزنت، نیوجرسی آمریکا

Page 26: بزرگداده؛ مقیاسی از دنیای واقعی

http://sadrnezhaad.ir/smmسیدمحمدمسعود صدرنژاد

پرسش و پاسخپرسش و پاسخ

طراحی شده به وسیله