23/07/1439

1

مقدمات روش هاي كمترين مربعات

:مدرسخوشنودكتر عبدالمجيد د

شناسايي سيستم و تخمين پارامترهاي پرواز

الرحمن الرحيم... ابسم

مربعاتهاي كمترين مقدمات روش

مقدمه اي بر برازش و ميان يابي •Interpolation-Extrapolationآشنايي با ميانيابي •Curve Fittingآشنايي با برازش منحني •

تفاوت اساسي ميان برازش و ميانيابي •

Interpolation Curve Fitting

23/07/1439

2

مقدمات روش هاي كمترين مربعات

برداري –مقدمه اي بر رياضيات ماتريسي •

:فرض كنيد دو بردار يا ماتريس به صورت زير داشته باشيم •, ,, ,

(MATLAB)نوع نگاه نرم افزارهاي محاسباتي به ماتريس و بردار •نگاشت از فضاي برداري به ماتريسي و برعكس

توصيف برداريتوصيف ماتريسي.

V or

مقدمات روش هاي كمترين مربعات

برداري -گراديان روابط ماتريسي •

)بسط مولفه ها(توضيح چگونگي اثبات روابط فوق •

x)AA(Grad⇒Axx)x(V TVx

T +==

bGrad⇒xb)x(V Vx

T ==

TVx

T )BA(Grad⇒xBA)x(V ==

AC)eDx(CD)bAx(Grad⇒)]eDx(C)bAx[()x(V TTTVx

T +++=++=

23/07/1439

3

مقدمات روش هاي كمترين مربعات

Normed Linear Spaces (NLS)مقدمه اي بر فضاهاي نرم دار خطي •Normتعريف نرم •Nيك فضاي برداري باشد، تابع xاگر •

:را نرم مي ناميم اگر

كاربردهاي ارزشمند نرم ها در كمينه سازي

مقدمات روش هاي كمترين مربعات

: حال فرض كنيد داشته باشيم •

در و است برخوردار اي ويژه اهميت از دو نرم شده تعريف هاي نرم از :مهم نكته• مربعات ردكارب و سيگنال انرژي تعبير نرم اين .دارد زيادي كاربرد سازي كمينه مسايل

)مشابه و الكتريكي هاي سيگنال در انرژي مفهوم توضيح( .دارد را

23/07/1439

4

مقدمات روش هاي كمترين مربعات

Curve fittingبرازش منحني •توضيحات اوليه

فرض كنيد دسته اي از داده هاي در اختيار ماست

ار بر حسب تعداد معلومات و مجهوالت مي توان انواع مختلفي از ابزارهاي رياضي را بك.گرفت

:براي استفاده از اين داده ها دستگاه زير را تشكيل مي دهيم

مقدمات روش هاي كمترين مربعات

فرض كنيد به دنبال برازش منحني زير هستيم

)اين عبارت را به صورت تكراري مي نويسيم(

و درجه منحني يا همان Mدر اين حالت تعداد ورودي ها يا تعداد معادالت برابر . مي باشد Nمجهوالت برابر

23/07/1439

5

مقدمات روش هاي كمترين مربعات

در اين وضعيت سه حالت مختلف براي تعداد معلومات و مجهوالت بوجود:مي آيد

در اين حالت تعداد معادالت و مجهوالت برابر است لذا M=N: حالت اول.مساله جواب دقيق دارد

:باشد يعني تعداد معادالت كمتر از مجهوالت است M<N: حالت دوم

ل براي ح. در اين حالت حل منحصر به فرد نيست و بي نهايت جواب داريم.استفاده مي گردد Minimum norm solutionاين معادالت از روش

1=+ 21 xx

bAx 1¬=

مقدمات روش هاي كمترين مربعات

:يعني تعداد معادالت بيش از مجهوالت است M>N: حالت سومدر اين حالت جواب دقيق نداريم و از ميان جواب ها يك جواب بهينه

. پيدا مي كنيم

مي وضعيتي صورت مساله اصلي برازش منحني و كمترين مربعاتچنين .باشد

•Least square error (LSE)

•(System identification)

{0=2+

0=1+

1

1

x

x

23/07/1439

6

مقدمات روش هاي كمترين مربعات

LSEروش •و نياز ) Mنظير معادالت (در مسايل برازش و شناسايي سيستم عموما با داده هاي زياد •

.به استخراج يك تابع يا همان تابع تبديل مواجه هستيمتعريف خطاي مساله برازش •

مقدمات روش هاي كمترين مربعات

ه مي كاربرد قدر مطلق در روابط رياضي با اشكال مواجه است لذا راهكار ديگري ارائ•رم اين راهكار در قالب توان دوم خطا قابل بيان است كه در اصل همان مفهوم ن. شود

.دوم خطا و در عبارت كامل تر انرژي خطاست

 

 

12

12

12

23/07/1439

7

مقدمات روش هاي كمترين مربعات

:حال مشتق تابع هزينه را محاسبه مي نماييم•)دقت در ورودي خروجي ها و مجهول مساله (

:براي اين موضوع متغيرها را تغيير داده و به صورت زير ارائه مي دهيمرا داريم و تركيب زير زا پيشنهاد مي yو خروجي xفرض كنيد دسته از داده هاي ورودي

:نماييم

مربعاتبرازش منحني و روش هاي كمترين

12

0

⇒ 0 ⇒ - 0

23/07/1439

8

مربعاتبرازش منحني و روش هاي كمترين

ا معكوس ندارد اما اصطالحا گفته مي شود كه شبه معكوس ي Aماتريس :در اين حالت شبه معكوس چپ داريم. معكوس تعميم يافته دارد

:لذا طرفين معادله را در معكوس فوق ضرب مي نماييم

LSرابطه اصلي

مقدمات روش هاي كمترين مربعات

LSبرازش منحني با :ميخواهيم بر خطي به فرم زير داده هاي ارائه شده را برازش نماييم

M>Nمقادير

23/07/1439

9

مقدمات روش هاي كمترين مربعات

WLSوزني LSبرازش منحني با وارد گاهي اوقات مي توان به مقادير داده بر اساس نوع استخراج آن يا ساير م

في در اين حالت مي توان تابع هزينه را به صورت زير معر. وزن دهي نماييم:نمود

و

در اين حالت معموال وزن ها بر اساس معكوس واريانس داده ها اعمال مي .نيز گفته مي شودتخمين ماركوف به اين روش . گردد

مقدمات روش هاي كمترين مربعات

برازش منحني چند جمله اي درجات باال

1

2...

23/07/1439

10

مقدمات روش هاي كمترين مربعات

:مثال

مقدمات روش هاي كمترين مربعات

٨و تعداد مجهول ها M=7. منجر به جواب بهتر مي شود ٧درجه منحني در عدد : نكته.است

23/07/1439

11

مقدمات روش هاي كمترين مربعات

مقدمات روش هاي كمترين مربعات

برازش منحني با ساير توابع:فرض كنيد بخواهيم با توابع زير برازش انجام دهيم

اين كار با تبديل توابع فوق به توابع خطي امكان پذير است

.را مي توان مانند ضرايب مجهول بدست آورد Lncو aلذا

23/07/1439

12

مقدمات روش هاي كمترين مربعات

ساير توابع

مقدمات روش هاي كمترين مربعات

ساير توابع

23/07/1439

13

http://wp.kntu.ac.ir/khoshnood