Embed Size (px)
Citation preview
یادگیری ژرف
معرفی
سید ناصر رضویبریز؟؟؟گروه مهندسی کامپیوتر، دانشکده مهندسی برق و کامپیوتر دانشگاه ت-(همیاد)« هوش محاسباتی و یادگیری ماشین»آزمایشگاه پژوهشی -http://www.snrazavi.ir: وب سایت-
پژوهشیزمینه هاییادگیری ماشین با تمرکز بر یادگیری ژرف-پردازش زبان طبیعی و ترجمه ماشینی-بینایی ماشین و رباتیک-
معرفیپروژه‌ها‌و‌محصوالت
پردازش زبان طبیعی(و فناوری اطالعاتپژوهشگاه ارتباطات)یادگیری ژرف سامانه مترجم چندزبانه مبتنی بر -(ناوری اطالعاتپژوهشگاه ارتباطات و ف)توسعه پیکره موازی به منظور ترجمه ماشینی -و انشاییواژه پرداز هوشمند فارسی با قابلیت شناسایی و اصالح ایرادات امالیی-
بینایی ماشینسامانه هوشمند تشخیص جرائم رانندگی-سامانه امنیتی تشخیص چهره-سامانه بینایی در خودروهای هوشمند-
افسانه‌یا‌واقعیت؟نقل‌قول
انند یادگیری هرگز الگوریتمی ممن تمام عمرم را در زمینه یادگیری ماشین کار کرده ام و . را این گونه ضربه فنی کندمحک ژرف ندیده ام که بتواند مسائل
(استنفورد و بایدو)اندرو اینگ -
ز نظر تئوری هیچ بر روی آنچه که می تواند یاد بگیرد، ایادگیری ژرف الگوریتمی است که زمان محاسبه ؛ هرچه داده های بیشتری در اختیارش بگذارید و برایشمحدودیتی وجود ندارد
(گوگل)جفری هینتون -بیشتری فراهم کنید، بهتر یاد می گیرد
افسانه‌یا‌واقعیت؟یادگیری‌ژرف‌در‌گوگل
افسانه‌یا‌واقعیت؟رشد‌تعداد‌همایش‌ها
مبانی–یادگیری‌ماشین‌معرفی
یادگیری می دهد، به ماشین ها توانایییادگیری ماشین گونه ای از هوش مصنوعی است که .بدون آنکه الزم باشد به طور صریح برنامه ریزی شوند
مبانی–یادگیری‌ماشین‌رویکردهای‌یادگیری
برچسبیک مجموعه آموزشی داراییادگیری استفاده از : یادگیری نظارت شدهسبتشخیص هرزنامه با داشتن مجموعه ای از ایمیل های دارای برچ: مثال
در داده های بدون برچسبکشف الگوها: یادگیری بدون نظارتخوشه بندی خبرهای مشابه بر مبنای محتوای متنی آنها: مثال
یا پاداشبازخوردیادگیری بر پایه : یادگیری تقویتییادگیری انجام بازی شطرنج بر پایه برد و باخت: مثال
مبانی–یادگیری‌ماشین‌انواع‌مسئله
رگرسیوندسته‌بندی
تشخیص‌آنومالیخوشه‌بندی
نظارت شده
بدون نظارت
مبانی–یادگیری‌ماشین‌دسته‌بندی–مقایسه‌الگوریتم
یادگیری‌ژرف‌چیست؟
رت ؛ دارای قدیادگیری بازنمایی دادهحوزه ای از یادگیری ماشین برای استثنایی در یادگیری الگوها
از الیه ها که از اتبسلسله مربه کار گیری الگوریتم هایی که با استفاده از یک .می کنندمی کنند، معنا را از داده ها استخراجشبکه عصبی مغز الگوبرداری
های مفید اگر به آن داده های کافی بدهید، شروع به درک آن می کند و به روش.پاسخ می دهد
قدرتمغز ما دارای تعداد بسیاری از نورون های به هم متصل است و .ما استدانش بلند مدتمیان نورون ها بیانگر اتصاالت
به جز خود تمامی الگوریتم های ذهنی مهم: فرضیه یک الگوریتم یادگیری.تجهیزات یادگیری و تولید پاداش، یاد گرفته می شوند
بیناییرقشدرکهنورون هاازسلسله مراتباولینصیخالبه هایبهمی کنند،دریافتاطالعات
خطدرهکمغزنواحیآنکهحالیدرهستند؛حساسساختارهایبه،هستندبیشتریعمقدربیناییلوله
.هستندحساسچهرههمانندپیچیده تری
چرا‌یادگیری‌ژرف؟کاربردها
پردازش زبانطبیعی
بیناییماشین
بازشناسیگفتار
یادگیری‌ژرفتاریخچه‌کوتاه
تاریخچه‌کوتاه...مهبانگ
«ماشینجام جهانی در حوزه بینایی»: ایمیج نت
تاریخچه‌کوتاه...مهبانگ
بازشناسی گفتاریادگیری ژرف در
چه‌چیزی‌تغییر‌کرده‌است؟
کالن داده(داده های دیجیتال)
محاسبات(کیپردازنده های گرافی)
پیشرفتالگوریتم ها
بازیگران‌اصلیابرستاره‌های‌دنیای‌پژوهش
دانشگاه تورنتو و شرکت گوگل: جفری هینتون
دانشگاه نیویورک و شرکت فیسبوک: یان لوکن
دانشگاه استنفورد و شرکت بایدو: اندرو اینگ
دانشگاه مونترئال: یاشوا بنجیو
بازیگران‌اصلیشرکت‌ها
بازیگران‌اصلیکسب‌و‌کارهای‌نوپا
مبانی-یادگیری‌ژرف‌حذف‌مهندسی‌ویژگی
بسیار زمان بر
مبانی-یادگیری‌ژرف‌معماری
یکبهراورودیاده هایدالیههرکهگونه ایبهاست،الیه هاازسلسله مراتبیکشاملعمیقعصبیشبکهیک.می کنداستفادهپیش بینیرایبویژگی هااینازخروجیالیه؛(صورتبینی،لبه،)می کندتبدیلانتزاعی تربازنمایی
مبانی-یادگیری‌ژرف‌معماری
مبانی-یادگیری‌ژرف‌شبکه‌های‌عصبی‌مصنوعی
بیانگرالیههر.استلمتصکامالًمخفیالیهتعدادیوخروجیالیهیکورودی،الیهیکشاملعصبیشبکهیکسرانجاماینکهتا؛ندمی کناستخراجراورودی هاازباالتریسطحویژگی هایتدریجبهالیه هاواستنورونتعدادی
بیشتریالیه هایهشبکچههر.می کندتصمیم گیریمی دهد،نمایشراچیزیچهورودیکهایندربارهخروجیالیه.می گیردیادراباالتریسطحویژگی هایباشد،داشته
مبانی-یادگیری‌ژرف‌نورون‌ها
.استوزن دارخروجیوورودیتعدادیوغیرخطیفعالیتتابعیکشاملنورونهر
باراکاراینوکنندشناساییراخاصیالگوهاییاویژگی هابتوانندکهمی شونددادهآموزشنورون هاخروجیالتاتصابهآنارسالوغیرخطیتابعیکاعمالورودی ها،ازوزن دارمجموعیکدریافت
.می دهندانجام
مبانی-یادگیری‌ژرف‌تابع‌فعالیت‌غیرخطی
هستند؛ضروریاده هاداز(غیرخطی)پیچیدهبازنمایی هاییادگیریمنظوربهغیرخطیفعالیتتوابع.بودخواهدخطیتابعیکتنهاعصبیشبکهغیرخطی،فعالیتتوابعبدون
مبانی-یادگیری‌ژرف‌گرادیان‌کاهشی
می کند،اندازه گیریراانتظاروردمخروجیوشدهپیش بینیخروجیمیاناختالفکهخطاسیگنالیکتولیدبایادگیریبهمی کند،استفاده(ترهاپارام)وزن هارسانیروزبهمنظوربهخطاسیگنالاینازآموزشالگوریتم.می افتداتفاق
(خطاکاهش).باشنددقیق تربعدیپیش بینی هایکهگونه ای
۱ ۲
۳۴
مبانی-یادگیری‌ژرف‌فرایند‌آموزش
برایومی کندپیدارا(روجیخخطایمحاسبهمنظوربهرفتهکاربهتابع)هزینهتابع(محلی)کمینهکاهشیگرادیان.می شوداستفادهوزن هامناسبمقدارتعیین
مبانی-یادگیری‌ژرف‌فرایند‌آموزش
برایومی کندپیدارا(روجیخخطایمحاسبهمنظوربهرفتهکاربهتابع)هزینهتابع(محلی)کمینهکاهشیگرادیان.می شوداستفادهوزن هامناسبمقدارتعیین
مبانی-یادگیری‌ژرف‌نگاشت‌داده‌ها‌به‌ابعاد‌جدید
نگاشتجدیدویژگیفضاییکبهاولیهویژگیفضایازراداده هانظر،موردمسئلهحلمنظوربهکهعصبیشبکهیک.استنموده
مبانی-یادگیری‌ژرف‌خودرمزگذارهای‌عمیق
به.می شودگاشتنفشردهویژگیبرداریکبهرمزگذارازاستفادهباورودیسند:عنوانمدل سازیدرهمبهزدیکناسنادونمودمحاسبهراسنددوهرمیان(شباهت)فاصلهمی توانصورتاین.می گیرندقرارعنوانیکذیل
مبانی-یادگیری‌ژرف‌شبکه‌های‌عصبی‌کانولوشنال
داده هایازپیچیدهماییبازنیکداده هاازانبوهحجمیکازاستفادهباکانولوشنالعصبیشبکه های.می گیرندیادرابصری
مبانی-یادگیری‌ژرف‌شبکه‌های‌عصبی‌کانولوشنال
غیراطالعاتمی گیردیادهرفتکاربهکرنل هایازاستفادهباکهاستویژگیدهندهتشخیصیککانولوشنالیه.کندفیلترتصویرازراضروری
مبانی-یادگیری‌ژرف‌شبکه‌های‌عصبی‌برگشتی
دنبالهنگاشتمنظوربهرام هاییالگوریتمی توانندکههستندمنظوره ایهمهکامپیوترهایبرگشتیعصبیشبکه هایبستگیلحظهآنتارودیوتاریخچهتمامبهلحظهیکدرخروجیبردارهایمحتوای.بگیرندیادخروجیدنبالهبهورودی
.دارد
مبانی-یادگیری‌ژرف‌شبکه‌های‌عصبی‌برگشتی
عنوان‌بندی‌تصویردنباله‌‌کلمات←تصویر
مبانی-یادگیری‌ژرف‌شبکه‌های‌عصبی‌برگشتی
دسته‌بندی‌نظرات(-یا)+نظر←دنباله‌کلمات
مبانی-یادگیری‌ژرف‌شبکه‌های‌عصبی‌برگشتی
ترجمه‌ماشینیدنباله‌کلمات←دنباله‌کلمات
مبانی-یادگیری‌ژرف‌شبکه‌های‌عصبی‌برگشتی
دسته‌بندی‌ویدیو‌در‌سطح‌فریم
مبانی-یادگیری‌ژرف‌شبکه‌های‌عصبی‌برگشتی
دست نوشته،شخیصتروباتیک،زمانی،سری هایپیش بینیدرآمدهدستبهنتایجبهتریندیگرمسائلازبسیاریوسهامازاربپیش بینیماشینی،ترجمهگفتار،بازشناسیتصاویر،دسته بندی
.شودپردازشیترتیبصورتبهمی تواندچیزیهر.هستنددنبالهیکیادگیریشاملکه
مبانی-یادگیری‌ژرف‌عنوان‌بندی‌تصویر
تولید)برگشتیعصبیبکه هایشو(ورودیتصویرازداخلیبازنمایییکتولید)کانولوشنالعصبیشبکه هایترکیب(خروجیکلماتدنباله
مبانی-یادگیری‌ژرف‌یادگیری‌تقویتی‌عمیق
درعمیقعصبیشبکه هایازهاستفادباتقویتییادگیریبرایمدلازمستقلرویکردیکژرفتقویتییادگیری.می باشداست،گسستهآنهاعملیاتمجموعهکهمحیط هایی
مبانی-یادگیری‌ژرف‌یادگیری‌تقویتی‌عمیق
مبانی-یادگیری‌ژرف‌نیازمندی‌ها
(نگاشت میان ورودی و خروجی)یک مجموعه داده بزرگ با کیفیت باال
(تابع هزینه)اهداف قابل توصیف و قابل اندازه گیری
(پردازشگرهای گرافیکی قدرتمند)توان محاسباتی کافی
رکیب چنین تبه تنهایی معنای چندانی ندارد، اما ( پیکسل، کلمه)در وظایفی که هر واحد . باشدواحدهایی می تواند دربرگیرنده معانی مفیدی
مبانی-یادگیری‌ژرف‌ابزارها
مبانی-یادگیری‌ژرف‌ابزارها
ساعتدرتومان۴۰۰بابرابرg2.2xlargeنمونهیکهزینه:آمازونوبسرویس
DIGITS DevBox:پردازشگر۴)سخت افزاربهترینمیلیون۶۰قیمتبامهندسیونرم افزار،(گرافیکی.تومان
مبانی-یادگیری‌ژرف‌روند
ظارتپیشرفت های چشمگیر در حوزه یادگیری تقویتی ژرف و یادگیری بدون ن
مدل های بزرگ تر و پیچیده تر بر پایه ماجول ها و روش های ساده تر
مدل های عمیق تری که قابلیت یادگیری از داده های کمتر را دارند
ا موفقیت حل مسائل سخت تر مانند درک ویدیو و فهم در نهایت به وسیله یادگیری ژرف ب. خواهد شد
