به نام خدا

سمینار درس مدلسازی سیستم های بیولوژیکی:

مدل محاسباتی نورال بیس تولید و درک گفتار

ارائه دهنده: ویدا مهدی راده فراستاد راهنما: آقای دکتر توحید خواه

88-89نیمسال اول

فهرست مطالبo مقدمهo ساختار مدل : بخش تولید گفتار

بخش درک گفتار o مقایسه با مدلDIVAo :به دست آوردن اطالعات گفتارBabbling

Imitationoنتیجه گیری

مقدمه محدودیت عملکرد سیستم های بازشناسی و

تلفیق گفتار فعلی عدم توجه به مراحل پردازش عصبی تولید و درک

گفتار هدف این مطالعه: ارائه یک مدل عصبی پیاده

سازی شده کامپیوتری با استفاده از شبکه عصبی ، دارای قابلیت تقلید از پردازش های تولید و درک

گفتار انسان

ساختار مدل محاسباتی نورال بیس

8

بخش تولید گفتار phonemic map - Phonetic map – motor plan map - primary motor map - articulation

برای سیالب تکرار شونده حالتphonemic باعث می شود.phoneticفعالیت یک نرون در نقشه

فعال شدن حالت های حسیauditory و somatosensory(و حالت طرح حرکت motor

plan بواسطه نقشه )phonetic برای سیالب غیر تکرار شونده، ابتدا طراحی

motor planحرکت و سپس

Motor plan هماهنگی زمانی حرکتآرتیکوالتورها

Motor execution کنترل و تصحیح طرححرکت بوسیله فیدبکهای دریافتی

Primary motor map تشخیص واقعی هر حرکت گفتار

فعال کردن واحدهای موتوری و حرکت آرتیکوالتور

مقایسه فیدبکauditory و somatosensory آیتم گفتارتولید آموزش دیدهsomatosensory و auditoryشده با حالت

تصحیحmotor plan سه پارامترv : high-low, front-back, rounded-

unrounded چهار پارامترc : labial, apical, dorsal, exact closing

position11 نرون برای نقشه motor plan 110 نرون برای Primary motor map11 نرون برای نقشه auditory38 نرون برای نقشه somatosensory

بیس نورال محاسباتی مدل ساختار

بخش درک گفتار Auditory receptors – auditory map- phonetic map - phonemic map

DIVA مقایسه مدل پیشنهادی با مدل (Directions Into Velocities of Articulators)

شباهت ها: مسیرهای کنترلیfeedback و feedforward شبکه هایSOM روش آموزشbabbling وimitation

تفاوتها: ادغامmotor planning و motor execution نقشهphoneticDIVA مدل تولید گفتار :

به دست آوردن اطالعات گفتار

اطالعات در نگاشت ها به صورت مقادیر وزنیاتصاالت نرون ها است که در طول آموزش

تنظیم می شوند.دو مرحله آموزش:

BabblingImitation

Babbling training بررسی آیتم های گفتار بدون در نظر گرفتن زبان

شناسی آنهاتولید رندوم آیتم های گفتار گوش دادن به آیتم ها از طریق فیدبکauditiry تنظیم وزن های بین نقشه های حسی وmotor

plan بوسیله نقشه phonetic اطالعات مستقل از زبان یادگیری رابطه حسی- حرکتی مجرای صوتی و کنترل

و motor planعصبی آن یعنی رابطه بین حالت های somatosensory و auditoryحالت های

شامل دو آموزش حالت های vocalic و syllabic مجموعه آموزشیvocalic حالت 1076 شامل

مجموعه آموزشیsyllabic آیتم آموزشی 279 شامل حاالت حرکتی برایVC و CV بر اساس پارامترهای زیر تعیین می

شود.: دو پارامترvocalicحرکات آرتیکوالتورموقعیت بسته شدن در حروف بی صدا

استفاده از شبکه خود ساماندهنرون های الیه جانبی و تنظیم وزن ها بین

Hebbianنرون الیه مرکزی به روش

Motor plan and auditory link weight values after babbling and imitation training

phonetic map )15*15 neurons(

Imitation training تنظیم وزن های بین نقشهphoneticو phonemic اطالعات به دست آمده ازimitation.وابسته به زبان است مدل در طول آموزش یاد می گیرد که نرون هایی با ویژگی های

phonemic.متفاوت را به حالت های حسی متناسب آنها وصل کند Phone regionنرونی در این ناحیه قرار دارد که مقدار :

باشد.0.95 ، باالی phonemicوزنی اتصال آن با نرون متناظر در نقشه پردازش آیتم آکوستیک خارجی

تخمینmotor plan

Positions of all auditory patterns of vocalic training

identificationand discrimination test

مدل مختلف20آموزش 20شنونده مجازی Measured discrimination تخمین فاصله :

phoneticنرونها در نقشه Calculated discrimination بر اساس احتمال :

شناسایی

identificationand discrimination test

با تشکراز توجه شما