12. Datan käsittely – lyhyt katsaus

HTTPK I, kevät 2009, luento 12 1

12. Datan käsittely – lyhyt katsaus

Havaitsevan tähtitieteen peruskurssi I,

luento 16.4.2009

Thomas Hackman


12. Datan käsittely

Sisältö Tähtitieteellisten havaintojen virheet Korrelaatio Funktion sovitus Aikasarja-analyysi


12.1 Tähtitieteellisten havaintojen virheet Satunnaiset virheet:

Kohina Mittaustarkkuus

Systemaattiset virheet: Havaintolaitteen aiheuttamat vääristymät Ympäristön aiheuttamat virheet (esim. ilmakehän

vaikutukset havaintoihin, käsiteltiin luvussa 2)


12.1.1 Havaintojen kohina Signaali-kohinasuhde

jossa S on signaali = rekisteröityjen fotonien määrä, ja N on kohina

,/ SNS

Sama spektri eriS/N -suhteella


12.1.2 Havaintolaitteen vaikutukset havaintoihin Aallonpituusherkkyys Resoluutio Laitteen sisäiset sironnat ja heijastumat Optiset virheet Havaintolaitteen liikkuminen Detektorin herkkyysvaihtelut (lämpötilan

vaikutus, pikselien herkkyydet …) ym.


12.1.3 Havainnon mittaaminen Havaintolaitteen vaikutus havaintoihin

voidaan usein esittää muodossa

f ovat ”todelliset” arvot, g on havaintolaitteen antama tulos, h on instrumentin aiheuttama vääristymä ja n ovat satunnaiset virheet

)(')'()',()( xndxxfxxhxg


12.1.4 Virheiden poistaminen

Kohinan voi suodattaa, mutta resoluutio kärsii Havaintolaitteen vääristymien korjaaminen

esim. flat-field -kalibrointi Huomattavasti poikkeavat arvot: outliers

root-mean-square:

jossa f on havaintoihin y sovitettava funktio. Outlierin kriteeri:

,))((1

1

2

n

iii xfy

nR

Rxfy ii 3)(


12.1.4 Havaintojen redukointi Redukointi:

Poistetaan mahdollisimman paljon detektorin ja havaintomenetelmän aiheuttamia virheitä

Muutetaan havainnot analyysissa tarvittavaan muotoon

Esim. 2-uloitteinen CCD kuva spektri Huom. väärin tehty redukointi Menetetään

informaatiota tai vääristetään dataa Tarve määrittää mitä tehdään, esim.:

Parempi S/N huonompi resoluutio


12.2 Korrelaatio

Korrelaatio kertoo kahden muuttajan välisestä riippuvuudesta

Korrelaatiokertoimia: Pearsonin korrelaatiokerroin Spearmanin järjestyskorrelaatiokerroin Kendallin järjestyskorrelaatiokerroin


12.2.1 Pearsonin korrelaatiokerroin Mittaa lineaarista riippuvuutta

Otoksen hajonta: jossa x on keskiarvo

Kahden muuttujan välinen kovarianssi:

Pearsonin korrelaatiokerroin:

))((1

1

1

yyxxN

CN

iiixy

, )(1

1 2

1

xxN

sN

iix

yx

xyxy ss

Cr


12.2.2 Korrelaation todennäköisyys Nollahypoteesi: x ja y eivät korreloi Oletetaan: x ja y:lle on saatu rxy

Mikä on nollahypoteesin todennäköisyys? Jos N on suuri (N>20) => rxy noudattaa

normaalijakaumaa Merkitään => todennäköisyys että korrelaatio ”sattumalta”

olisi suurempi kuin rxy:

2

Nra

xy

dtearrPa

txy

22

)(erfc


12.3 Funktion sovitus

Sovituksen kriteeri yleensä mahdollisimman pieni virheiden neliöiden summa:

Sopii erityisesti, jos virheet ovat satunnaisia gaussisesti jakaantuneita

2

1

22 ))(ˆ( i

N

ii xyyR


12.3.1 Pienimmän neliösumman menetelmä Sovitettava funktio:

Määritellään:

ovat pisteet johon sovitetaan funktio

,2

1

Ny

y

y

y

x)(x)(x)(ˆ 11 KKaay

,

)()()(

)()()(

)()()(

21

22221

11211

NKNN

K

K

xxx

xxx

xxx

A

Ka

a

a

2

1

a

),( ii yx


12.3.1 Pienimmän neliösumman menetelmän ratkaisu Jos N=K saadaan yksiselitteinen ratkaisu

yhtälöstä A a = y Kuitenkin jotta sovitus olisi luotettava niin

Etsimme ratkaisua jossa on mahdollisimman pieni => ratkaisu saadaan normaaliyhtälöistä:

yAAaA TT

iii xyyKN )(ˆ


12.3.2 Suoran sovitus Sovitettava funktio

b

abxaxy a)(ˆ

ja

1

1

1

22

1

ii

iT

N

xx

xN

x

x

x

AAA

2 sekä ii

iT

ii

iT

xbxa

xbaN

yx

yAaAyA


12.3.3 Ratkaisu suoran sovitukseen Saamme ratkaisun yhtälöryhmästä

Merkitään ratkaisu:

iixyixxiyix

xyxxx

yx

yxSxSySxS

SbSaS

SbSaN

, , ,

2

D

SSNSb

D

SSSSa yxxyxyxyxx

,

2)( xxx SNSD


12.3.4 Virheiden huomioiminen pns:n sovituksessa Mittausten hajontaa kuvaa

yleisessä tapauksessa kovarianssimatriisi:

Jos virheet riippumattomia:

NNNN

N

N

21

22221

11211

2

22

21

00

00

00

N

2

22

21

1

100

010

001

N


12.3.4 Virheiden huomioiminen pns:n sovituksessa Normaaliyhtälöt saadaan muotoon

Merkitään Ratkaisu on

Kertoimien ai virheet saadaan matriisista C-1

yAAaA 11 TT

yAdAAC 11 TT ja

dCa 1

1 iia Ci


12.3.4 Epälineaarinen sovitus Esitetyllä pienimmän neliösumman

menetelmällä voidaan ratkaista vain lineaarisia ongelmia

Epälineaaristen ongelmien ratkaisuja Ongelman muuttaminen lineaariseen muotoon

Esim. Tarkkaan ottaen ei kuitenkaan enää saada alkuperäisen

funktion parametreille pns:n sovitusta Erilaiset optimointimenetelmät

Eivät välttämättä anna globaalia minimiä vaan lokaali minimi

bxaxfaexf bx ln)(ln)(


12.4 Aikasarja-analyysi

Parametriset menetelmät: Sovitetaan dataan jaksollinen funktio Esim. Fourier sarjan sovitus

Ei-parametriset menetelmät: Etsitään periodisuutta esim. datan maksimeista tai

minimeistä Esim. Kuiper- tai Swanepoel & De Beer -

menetelmät


12.4.1 Fourier-sarjan sovitus Malli:

Huom.: Malli on epälineaarinen => ratkaisua ei saada suoraan pienimmän neliösumman menetelmällä

Ratkaisumenetelmä: Three stage period analysis (Jetsu & Pelt 1999)

.parametritt ovat vapaa 1

ja ,, jossa

, )2sin()2cos()(1

PfCBM

ftkCftkBMtg

kk

k

K

kk

keskiarvo periodi


12.4.2 Esimerkki aikasarja-analyysista Tähden HD 199178 valokäyrä, 3.3 dP

Aikasarja-analyysi


12.4.3 Jaksollisen käyrän sovittaminen:Tähti-planeettajärjestelmä Sisärata: M=7.7 MJup ; ulkorata: M=17MJup

Marcy et al., 1999, 2001


Kirjallisuutta

H. Karttunen: Datan käsittely, CSC 1994 W.H. Press et al.: Numerical recipes, kotisivu:

http://www.nr.com

Documents

12. Datan käsittely – lyhyt katsaus