Upload
others
View
6
Download
0
Embed Size (px)
Citation preview
ECONOMETRIA CLASSICA E BAYESIANA
Ralph S. Silvahttp://www.im.ufrj.br/ralph/econometria.html
Departamento de Metodos EstatısticosInstituto de Matematica
Universidade Federal do Rio de Janeiro
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Definicoes
Sejam X e Y variaveis aleatorias com funcao de distribuicao conjunta FX ,Y efuncoes de distribuicoes marginais FX e FY , respectivamente. Entao,
I Valor esperado: EX (X ) ,∫
x dFX (x);
I Valor esperado de uma funcao g: EX (g(X )) ,∫
g(x)dFX (x);
I Variancia: VarX (X ) , EX([X − EX (X )]2) =
∫(x − EX (X ))2dFX (x);
I Funcao geradora de momentos: ψ(s) , EX (exp{sX}) =
∫esx dFX (x); e
I Funcao caracterıstica: ϕ(t) , EX (exp{itX}) =
∫eitx dFX (x).
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
DefinicaoA funcao de verossimilhanca de θ e a funcao que associa o valor fX |θ(x |θ)
para cada vetor p-dimensional θ. E definida da seguinte maneira
L(.; x) : Θ → R+
θ → L(θ; x) = fX |θ(x |θ)
DefinicaoSeja X um vetor aleatorio com funcao (de densidade) de probabilidade fX |θ.O valor esperado da medida de informacao de Fisher de θ atraves de x edefinida por
I(θ) = EX |θ
(−∂2 ln fX |θ(X |θ)
∂θ∂θ′
).
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
DefinicaoA funcao escore de X e definida como
U(X ;θ) =∂ ln fX |θ(X |θ)
∂θ.
Prova-se que
I(θ) = EX |θ
(−∂2 ln fX |θ(X |θ)
∂θ∂θ′
)= EX |θ
(U(X ;θ)U ′(X ;θ)
).
DefinicaoA distribuicao a priori nao informativa de Jeffreys e dada pela funcao
fθ(θ) ∝ |I(θ)|1/2.
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
DefinicaoUma amostra aleatoria simples (AAS) de tamanho n de uma variavelaleatoria X e um conjunto X , (X1,X2, . . . ,Xn), de variaveis aleatoriasindependentes, todas com a mesma distribuicao de X .
DefinicaoSeja X uma variavel aleatoria cuja distribuicao de probabilidades depende deum vetor de parametros θ. Dizemos que Θ e um estimador nao tendencioso(ou nao viciado) para o parametro θ, se EX (Θ) = θ.
DefinicaoSe Θ e um estimador tendencioso de θ, entao EX (Θ) = θ + B(Θ), sendoB(Θ) chamado tendenciosidade do estimador Θ. Se B(Θ) = 0, o estimadore nao tendencioso, isto e, EX (Θ)− θ = 0.
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
DefinicaoO erro medio quadratico de um estimador Θ e definido porMSE(Θ) = EX ([Θ− θ]2). Temos que MSE(Θ) = VarX (Θ) + [B(Θ)]2.
DefinicaoSeja X uma variavel aleatoria com funcao de distribuicao FX |θ. Dizemos queΘ e um estimador consistente do vetor de parametro θ selim
n→∞Pr(|Θ− θ| > ε) = 0 para todo ε > 0, arbitrario.
Teorema: Desigualdade de Cramer-RaoSeja (X1,X2, . . . ,Xn) uma AAS de uma variavel aleatoria X cuja funcao (dedensidade) de probabilidade fX |θ depende de um parametro θ, que satisfaz acertas condicoes. Seja Θ = Hn(X1,X2, . . . ,Xn) um estimador tendencioso deθ. Nestas condicoes
MSE(Θ) >[1 + B′(Θ)]2
nE(∂ ln fX |θ(X |θ)
∂θ
)2 , sendo B′(Θ) =∂B(Θ)
∂θ.
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
DefinicaoSeja (X1,X2, . . . ,Xn) uma AAS de uma variavel aleatoria X , com funcao (dedensidade) de probabilidade fX |θ e Θ um estimador nao tendencioso de θ.Dizemos que Θ e um estimador eficiente na estimacao de θ, se ele temvariancia mınima dada pela desigualdade de Cramer-Rao.
I Estimador suficiente;I Criterio da fatoracao;I Transformacoes biunıvocas;I Famılia exponencial; eI Estimador uniformemente nao tendencioso de variancia mınima
(UMVUE).
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Distribuicao Normal
Seja X uma variavel aleatoria com distribuicao normal com parametros µ eσ2. Entao, a funcao de densidade de probabilidade e dada por
fX (x) =1√
2πσ2exp
{− (x − µ)2
2σ2
}, x ∈ R, µ ∈ R e σ2 > 0.
Se µ = 0 e σ2 = 1, entao diremos que a distribuicao e normal padrao e, emgeral, utilizaremos Z para denotar esta variavel aleatoria e φ sua funcao dedensidade de probabilidade.
A funcao de distribuicao acumulada e dada por
FX (x) =
∫ x
−∞
1√2πσ2
exp{− (w − µ)2
2σ2
}dw
e denotaremos por Φ a funcao de distribuicao acumulada da normal padrao.
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Distribuicao Normal
Mediana(X ) = µ
Moda(X ) = µ
E(X ) = µ
Var(X ) = σ2
ψ(s) = exp{
sµ+σ2s2
2
}ϕ(t) = exp
{itµ− σ2t2
2
}.
Denotaremos a distribuicao normal com media µ e variancia σ2 por N (µ, σ2).
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Distribuicao Log-Normal
Seja X uma variavel aleatoria com distribuicao log-normal com parametros µe σ2. Entao, a funcao de densidade de probabilidade e dada por
fX (x) =1
x√
2πσ2exp
{− 1
2σ2 (ln x − µ)2}
I(x > 0), µ ∈ R e σ2 > 0.
Mediana(X ) = exp{µ}Moda(X ) = exp{µ− σ2}
E(X ) = exp{µ+ σ2/2}Var(X ) = exp{µ+ σ2/2}(exp{σ2} − 1)
Denotaremos a distribuicao log-normal com media µ e variancia σ2 porLN (µ, σ2).
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Distribuicao t-Student
Seja X uma variavel aleatoria com distribuicao t-Student com parametrosposicao µ, de escala σ2 e ν graus de liberdade. Entao, a funcao dedensidade de probabilidade e dada por
fX (x) =Γ((ν + 1)/2)
Γ(ν/2)Γ(1/2)ν1/2σ
(1 +
(x − µ)2
νσ2
)−(ν+1)/2
, x ∈ R,
sendo µ ∈ R, ν > 0 e σ2 > 0.
Mediana(X ) = µ
Moda(X ) = µ
E(X ) = µ, se ν > 1
Var(X ) =ν
ν − 2σ2, se ν > 2.
Denotaremos a distribuicao t-Student por tν(µ, σ2).
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Distribuicao F-Snedecor
Seja X uma variavel aleatoria com distribuicao F-Snedecor com(parametros) graus de liberdades n e m. Entao, a funcao de densidade deprobabilidade e dada por
fX (x) =( n
m
)n/2 Γ((m + n)/2)
Γ(n/2)Γ(m/2)ν1/2σxn/2−1
(1 +
nm
x)−(n+m)/2
, x > 0,
sendo n > 0 e m > 0.
Denotaremos a distribuicao F-Snedecor com n e m graus de liberdade porFn,m.
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Distribuicao Exponencial
Seja X uma variavel aleatoria com distribuicao exponencial com parametroλ. Entao, a funcao de densidade de probabilidade e dada por
fX (x) = λ exp{−λx}I(x > 0), λ > 0.
A funcao de distribuicao acumulada e dada por
FX (x) = (1− exp{−λx})I(x > 0).
E(X ) = 1/λ
Var(X ) = 1/λ2
ψ(s) =λ
λ− s
ϕ(t) =λ
λ− it.
Denotaremos a distribuicao exponencial com parametro λ por E(λ).
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Distribuicao de Laplace (Exponecial Dupla)
Seja X uma variavel aleatoria com distribuicao de Laplace com parametros µe τ . Entao, a funcao de densidade de probabilidade e dada por
fX (x) =1
2τexp
{−|x − µ|
τ
}, x ∈ R, µ ∈ R e τ > 0.
Mediana(X ) = µ
Moda(X ) = µ
E(X ) = µ
Var(X ) = 2τ 2.
Denotaremos a distribuicao de Laplace com parametros µ e τ por LP(µ, τ).
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Distribuicao de Pareto
Seja X uma variavel aleatoria com distribuicao de Pareto com parametros αe β. Entao, a funcao de densidade de probabilidade e dada por
fX (x) =αβα
xα+1 I(x > β), α > 0 e β > 0.
Mediana(X ) = β21/α
Moda(X ) = β
E(X ) =αβ
α− 1, para α > 1
Var(X ) =αβ2
(α− 1)2(α− 2), para α > 2.
Denotaremos a distribuicao de Pareto com parametros α e β por PR(α, β).
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Distribuicao GamaSeja X uma variavel aleatoria com distribuicao gama com parametros deforma α e de escala β. Entao, a funcao de densidade de probabilidade edada por
fX (x) =βα
Γ(α)xα−1 exp{−βx}I(x > 0), α > 0 e β > 0.
E(X ) =α
β
Var(X ) =α
β2
ψ(s) =
(β
β − s
)αϕ(t) =
(β
β − it
)α.
Denotaremos a distribuicao gama com parametros α e β por G(α, β).
Note que E(λ) ≡ G(α = 1, β = λ).
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Distribuicao Gama Invertida
Seja Y uma variavel aleatoria com distribuicao gama com parametros deforma α e de escala β e X = 1/Y . Entao, a funcao de densidade deprobabilidade de X e dada por
fX (x) =βα
Γ(α)x−(α+1) exp{−β/x}I(x > 0), α > 0 e β > 0.
E(X ) =β
α− 1, para α > 1
Var(X ) =β2
(α− 1)2(α− 2), para α > 2
Denotaremos a distribuicao gama invertida com parametros α e β porGI(α, β).
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Distribuicao Qui-quadrada
Seja X uma variavel aleatoria com distribuicao qui-quadrada com(parametro) n graus de liberdade. Entao, a funcao de densidade deprobabilidade e dada por
fX (x) =1
2n/2Γ(n/2)xn/2−1 exp{−x/2}I(x > 0), α > 0 e β > 0.
E(X ) = n
Var(X ) = 2n
ψ(s) = (1− 2s)−n/2
ϕ(t) = (1− 2it)−n/2 .
Denotaremos a distribuicao qui-quadrada com n graus de liberdade por χ2n.
Note que χ2n ≡ G(α = n/2, β = 1/2).
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Distribuicao Beta
Seja X uma variavel aleatoria com distribuicao beta com parametros α e β.Entao, a funcao de densidade de probabilidade e dada por
fX (x) =Γ(α + β)
Γ(α)Γ(β)xα−1(1− x)β−1I(0 6 x 6 1), α > 0 e β > 0.
E(X ) =α
α + β
Var(X ) =αβ
(α + β + 1)(α + β)2 .
Denotaremos a distribuicao beta com parametros α e β por BT (α, β).
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Distribuicao Bernoulli
Seja X uma variavel aleatoria com distribuicao de Bernoulli com parametroπ. Entao, a funcao de probabilidade e dada por
fX (x) =
{πx (1− π)1−x , para x = 0, 1
0, caso contrario,
com 0 6 π 6 1.
EE(X ) = π
Var(X ) = π(1− π)
πEMM = X , (estimador pelo metodo dos momentos)
πEMV = X , (estimador pelo metodo da maxima verossimilhanca).
Denotaremos a distribuicao de Bernoulli com parametro π por BR(π).
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Seja (X1,X2, . . . ,Xn) uma amostra aleatoria simples de X ∼ BR(π). Temos
L(π) =n∏
i=1
πxi (1− π)1−xi = πnx (1− π)n(1−x)
`(π) = nx lnπ + n(1− x) ln(1− π)
∂`(π)
∂π=
nxπ− n(1− x)
1− π ,∂`(π)
∂π= 0⇒ π = x
∂2`(π)
∂π2 = −nxπ2 −
n(1− x)
(1− π)2 < 0, π e ponto de maximo
E(−∂
2`(π)
∂π2
)=
nE(X )
π2 +n(1− E(X ))
(1− π)2 =n
π(1− π).
A distribuicao exata de X e dada atraves den∑
i=1
Xi ∼ BN (n, π).
Temos tambem pelo Teorema Central do Limite que√
n(X − π)√π(1− π)
≈ N (0, 1).
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
A distribuicao a posteriori e dada por
f (π|x) ∝ πnx (1− π)n(1−x)f (π),
e a distribuicao a priori conjugada e BT (a, b). Logo,
(π|x) ∼ BT (a + nx ; b + n(1− x))⇒ E(π|x) =a + nx
a + b + n.
A distribuicao a priori de Jeffreys e a respectiva posteriori sao dadas por
f (π) ∝ π−1/2(1− π)−1/2, e
(π|x) ∼ BT (nx + 1/2; n(1− x) + 1/2).
limn→∞
E(π|x) = limn→∞
a + nxa + b + n
= x .
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Distribuicao Binomial
Seja X uma variavel aleatoria com distribuicao de Binomial com parametrosm e π. Entao, a funcao de probabilidade e dada por
fX (x) =
(
mx
)πx (1− π)n−x , para x = 0, 1, . . . ,m,
0, caso contrario,
com 0 6 π 6 1.
E(X ) = mπ
Var(X ) = mπ(1− π)
πEMM =Xm, (estimador pelo metodo dos momentos)
πEMV =Xm, (estimador pelo metodo da maxima verossimilhanca)
Denotaremos a distribuicao de Binomial com parametros m e π porBN (m, π).
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Seja (X1,X2, . . . ,Xn) uma amostra aleatoria simples de X ∼ BN (m, π).Temos
L(π) =
[n∏
i=1
Γ(m + 1)
Γ(xi + 1)Γ(m − xi + 1)
]πnx (1− π)n(m−x)
`(π) =n∑
i=1
[ln Γ(m + 1)− ln Γ(xi + 1)− ln Γ(m − xi + 1)]
+ nx lnπ + n(m − x) ln(1− π)
∂`(π)
∂π=
nxπ− n(m − x)
1− π ,∂`(π)
∂π= 0⇒ π =
xm
∂2`(π)
∂π2 = −nxπ2 −
n(m − x)
(1− π)2 < 0, π e ponto de maximo
E(−∂
2`(π)
∂π2
)=
nE(X )
π2 +n(m − E(X ))
(1− π)2 =nm
π(1− π).
A distribuicao exata de X e dada atraves den∑
i=1
Xi ∼ BN (nm, π).
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Temos tambem pelo Teorema Central do Limite que√
n(X −mπ)√mπ(1− π)
≈ N (0, 1).
A distribuicao a posteriori e dada por
f (π|x) ∝ πnx (1− π)n(m−x)f (π),
e a distribuicao a priori conjugada e BT (a, b). Logo,
(π|x) ∼ BT (a + nx ; b + n(m − x))⇒ E(π|x) =a + nx
a + b + nm.
A distribuicao a priori de Jeffreys e a respectiva posteriori sao dadas por
f (π) ∝ π−1/2(1− π)−1/2, e
(π|x) ∼ BT (nx + 1/2; n(m − x) + 1/2).
limn→∞
E(π|x) = limn→∞
a + nxa + b + nm
=xm.
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Distribuicao Geometrica
Seja X uma variavel aleatoria com distribuicao de Geometrica comparametro π. Entao, a funcao de probabilidade e dada por
fX (x) =
{π(1− π)x−1, para x = 0, 1, 2, . . .
0, caso contrario,
com 0 6 π 6 1.
E(X ) =1π
Var(X ) =1− ππ2
πEMM =1X, (estimador pelo metodo dos momentos)
πEMV =1X, (estimador pelo metodo da maxima verossimilhanca).
Denotaremos a distribuicao de Geometrica com parametro π por GM(π).
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Seja (X1,X2, . . . ,Xn) uma amostra aleatoria simples de X ∼ GM(π). Temos
L(π) =n∏
i=1
π(1− π)xi−1 = πn(1− π)n(x−1)
`(π) = n lnπ + n(x − 1) ln(1− π)
∂`(π)
∂π=
nπ− n(x − 1)
1− π ,∂`(π)
∂π= 0⇒ π =
1x
∂2`(π)
∂π2 = − nπ2 −
n(x − 1)
(1− π)2 < 0, π e ponto de maximo
E(−∂
2`(π)
∂π2
)=
nπ2 +
n(E(X )− 1)
(1− π)2 =n
π2(1− π).
Temos pelo Teorema Central do Limite que√
n(X − 1/π)√(1− π)/π2
≈ N (0, 1).
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
A distribuicao a posteriori e dada por
f (π|x) ∝ πn(1− π)n(x−1)f (π),
e a distribuicao a priori conjugada e BT (a, b). Logo,
(π|x) ∼ BT (a + n; b + n(x − 1))⇒ E(π|x) =a + n
a + b + nx.
A distribuicao a priori de Jeffreys e a respectiva posteriori sao dadas por
f (π) ∝ π−1(1− π)−1/2, e
(π|x) ∼ BT (n; n(x − 1) + 1/2).
limn→∞
E(π|x) = limn→∞
a + na + b + nx
=1x.
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Distribuicao de Poisson
Seja X uma variavel aleatoria com distribuicao de Poisson com parametro λ.Entao, a funcao de probabilidade e dada por
fX (x) =
exp{−λ}λx
x!, para x = 0, 1, 2, . . . ,
0, caso contrario,
com λ > 0.
E(X ) = λ
Var(X ) = λ
λEMM = X
λEMV = X
Denotaremos a distribuicao de Poisson com parametro λ por P(λ).
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Seja (X1,X2, . . . ,Xn) uma amostra aleatoria simples de X ∼ P(λ). Temos
L(λ) =n∏
i=1
[exp{−λ}λxi
xi !
]=
exp{−nλ}λnx∏ni=1 Γ(xi + 1)
`(λ) = −nλ+ nx lnλ−n∑
i=1
ln Γ(xi + 1)
∂`(λ)
∂λ= −n +
nxλ,
∂`(π)
∂π= 0⇒ λ = x
∂2`(π)
∂π2 = −nxλ2 < 0, λ e ponto de maximo
E(−∂
2`(π)
∂π2
)=
nE(X )
λ2 =nλ.
A distribuicao exata de X e dada atraves de
n∑i=1
Xi ∼ P(nλ).
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Temos tambem pelo Teorema Central do Limite que√
n(X − λ)√λ
≈ N (0, 1).
A distribuicao a posteriori e dada por
f (λ|x) ∝ λnx exp{−nλ}f (λ),
e a distribuicao a priori conjugada e G(a, b). Logo,
(λ|x) ∼ G(a + nx ; b + n)⇒ E(λ|x) =a + nxb + n
.
A distribuicao a priori de Jeffreys e a respectiva posteriori sao dadas por
f (λ) ∝ λ−1/2, e
(λ|x) ∼ G(nx + 1/2; n).
limn→∞
E(λ|x) = limn→∞
a + nxb + n
= x .
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Distribuicao Normal MultivariadaSeja X um vetor aleatorio d-dimensional com distribuicao normal(multivariada) com parametros µ e Σ. Entao, a funcao de densidade deprobabilidade e dada por
fX (x) = (2π)−d/2|Σ|−1/2 exp{−1
2(x − µ)′Σ−1 (x − µ)
}, x ∈ Rd ,
sendo µ ∈ Rd e Σ uma matriz positiva definida.
Moda(X ) = µ
E(X ) = µ
Var(X ) = Σ
ψ(s) = exp{µ′s +
12
s′Σs}
ϕ(t) = exp{
iµ′t − 12
t ′Σt}.
Denotaremos a distribuicao normal multivariada com media µ e variancia Σpor Nd (µ,Σ).
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Distribuicao Normal Multivariada: marginais e condicionais
Sejam
µ =
[µ1µ2
], com dimensoes
[q × 1
(d − q)× 1
], e
Σ =
[Σ11 Σ12
Σ21 Σ12
], com dimensoes
[q × q q × (d − q)
(d − q)× q (d − q)× (d − 1)
].
Entao,
X 1 ∼ Nq(µ1,Σ11),
X 2 ∼ N(d−q)(µ2,Σ22), e
(X 1|X 2 = ξ) ∼ Nq(µ, Σ),
sendo
µ = µ1 + Σ12Σ−122 (ξ − µ2)
Σ = Σ11 −Σ12Σ−122 Σ21.
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Distribuicao t-Student Multivariada
Seja X um vetor aleatorio d-dimensional com distribuicao t-Student comparametros posicao µ, de escala Σ e ν graus de liberdade. Entao, a funcaode densidade de probabilidade e dada por
fX (x) =Γ((ν + d)/2)
Γ(ν/2)νd/2πd/2 |Σ|−1/2
(1 +
1ν
(x − µ)′Σ−1(x − µ)
)−(ν+d)/2
, x ∈ Rd ,
sendo µ ∈ Rd , ν > 0 e Σ uma matriz positiva definida.
Moda(X ) = µ
E(X ) = µ, para ν > 1
Var(X ) =ν
ν − 2Σ, para ν > 2.
Denotaremos a distribuicao t-Student multivariada por tν(µ,Σ).
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Distribuicao Wishart
Seja S uma matriz aleatoria simetrica (d × d-dimensional) e nao negativadefinida com distribuicao de Wishart com parametros ν graus de liberdade eH. Entao, a funcao de densidade de probabilidade e dada por
fS(S) =|S|(ν−d−1)/2|H|−ν/2
2νd/2πd(d−1)/4∏d
i=1 Γ(ν/2 + (i − 1)/2)exp
{−1
2tr(H−1S)
},
sendo ν > d − 1 e H uma matriz d × d positiva definida.
Denotaremos a distribuicao de Wishart porW(ν,H).
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Distribuicao Wishart Invertida
Seja S uma matriz aleatoria simetrica (d × d-dimensional) e nao negativadefinida com distribuicao de Wishart com parametros ν graus de liberdade eH. Entao, V = S−1 tem distribuicao Wishart invertida com funcao dedensidade de probabilidade dada por
fV (V ) =|V |−(ν+d+1)/2|G|ν/2
2νd/2πd(d−1)/4∏d
i=1 Γ(ν/2 + (i − 1)/2)exp
{−1
2tr(GV−1)
},
sendo ν > d − 1 e G = H−1 uma matriz d × d positiva definida.
Denotaremos a distribuicao de Wishart invertida porWI(ν,G).
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Resultado 1: Se Z ∼ N (0, 1) e X = µ+ σZ , entao X ∼ N (µ, σ2).
FX (x) = Pr(X 6 x) = Pr(µ+ σZ 6 x) = Pr(
Z 6x − µσ
)= FZ
(x − µσ
)= Φ
(x − µσ
),
sendo Φ a funcao de distribuicao acumulada da normal padrao.
fX (x) =∂FX (x)
∂x=
1σ
fZ(x − µ
σ
)=
1σφ(x − µ
σ
)=
1√2πσ2
exp{−x − µ
2σ2
}, x ∈ R, µ ∈ R, σ2 > 0,
sendo φ a funcao de densidade de probabilidade da normal padrao.
ϕX (t) = EZ (exp{it(µ+ σZ )}) = exp{itµ}ϕZ (σt) = exp{
itµ− σ2t2
2
}.
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Resultado 2: Se Z ∼ N (µ, σ2) e Z = (X − µ)/σ, entao Z ∼ N (0, 1).
Φ(z) = Pr(Z 6 z) = Pr((X − µ)/σ 6 z) = Pr(X 6 µ+ σz)
= FX (µ+ σz).
Logo,
φ(z) =∂Φ(z)
∂z= σfX (µ+ σz) =
1√2π
exp{−z2
2
}, z ∈ R.
ϕZ (t) = EX (exp{it(X − µ)/σ}) = exp{−it
µ
σ
}ϕX
(tσ
)= exp
{− t2
2
}.
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Resultado 3: Se Z ∼ N (0, 1) e Y = Z 2, entao Y ∼ χ21.
FY (y) = Pr(Y 6 y) = Pr(Z 2 6 y) = Pr(−√
y 6 Z 6√
y)
= Pr(Z 6√
y)− Pr(Z 6√
y) = FZ (√
y)− FZ (−√
y).
Logo,
fY (y) =∂FY (y)
∂y=
12√
yfZ (√
y) +1
2√
yfZ (−√
y)
=y−1/2
2(2π)−1/2 exp
{−
(√
y)2
2
}+
y−1/2
2(2π)−1/2 exp
{−
(−√y)2
2
}
=(1/2)1/2
Γ(1/2)y1/2−1 exp
{−y
2
}, y > 0.
Portanto, Y ∼ G(1/2, 1/2) ≡ χ21.
Resultado 4: Se X ∼ N (µ, σ2) e Y = (X − µ)2/σ2, entao Y ∼ χ21.
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Resultado 5: Se Z1,Z2, . . . ,Zn sao variaveis aleatorias independentes talque Zj ∼ N (0, 1), para j = 1, 2, . . . , n, e W = Z 2
1 + Z 22 + · · ·+ Z 2
n , entaoW ∼ χ2
n.
Poderıamos provar por inducao utilizando transformadas de variaveisaleatorias, mas utilizaremos funcao caracterıstica. Primeiro, ja provamos queYj = Z 2
j ∼ χ21, para j = 1, 2, . . . , n. Logo, queremos encontrar a distribuicao
de W = Y1 + Y2 + · · ·+ Yn sendo que Y1,Y2, . . . ,Yn sao variaveis aleatoriasindependentes.
ϕW (t) = EW (exp{itW}) = EY1,Y2,...,Yn (exp{it(Y1 + Y2 + · · ·+ Yn)})= EY1 (exp{itY1})EY2 (exp{itY2}) . . .EYn (exp{itYn})= ϕY1 (t)ϕY2 (t) . . . ϕYn (t)
= [ϕY1 (t)]n =[(1− 2it)−1/2
]n= (1− 2it)−n/2 =
(1/2
1/2− it
)−n/2
.
Portanto, W ∼ G(n/2, 1/2) ≡ χ2n.
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Resultado 6: Se X1,X2, . . . ,Xn sao variaveis aleatorias independentes talque Xj ∼ N (µ, σ2), para j = 1, 2, . . . , n, e
W =
(X1 − µσ
)2
+
(X2 − µσ
)2
+ · · ·+(
Xn − µσ
)2
=n∑
j=1
(Xj − µσ
)2
=1σ2
n∑j=1
(Xj − µ)2,
entao W ∼ χ2n.
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Resultado 7: Se X e Y sao variaveis aleatorias independentes tal queX ∼ G(α1, β), Y ∼ G(α2, β) e W = X + Y , entao W ∼ G(α1 + α2, β).
Poderıamos provar utilizando a transformadas de variaveis aleatorias atravesde convolucao, mas utilizaremos funcao caracterıstica.
ϕW (t) = EW (exp{itW}) = EX ,Y (exp{it(X + Y )})= EX (exp{itX})EY (exp{itY}) = ϕX (t)ϕY (t)
=
(β
β − it
)α1(
β
β − it
)α2
=
(β
β − it
)α1+α2
.
Portanto, W ∼ G(α1 + α2, β).
Resultado 8: Se X e Y sao variaveis aleatorias independentes tal queX ∼ χ2
n, Y ∼ χ2m e W = X + Y , entao W ∼ χ2
n+m.
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Resultado 9: Se Z e W sao variaveis aleatorias independentes tal queZ ∼ N (0, 1), X ∼ χ2
n e
T =Z√X/n
,
entao T ∼ tn(0, 1).
FT (t) = Pr(T 6 t) = Pr(Z 6 t√
W/n)
=
∫ ∞0
Pr(Z 6 t√
w/n∣∣∣W = w)fW (w)dw
=
∫ ∞0
Φ(t√
w/n)fW (w)dw .
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
fT (t) =∂FT (t)∂t
=∂
∂t
∫ ∞0
Φ(t√
w/n)fW (w)dw
=
∫ ∞0
∂
∂tΦ(t√
w/n)fW (w)dw =
∫ ∞0φ(t√
w/n)
√wn
fW (w)dw
=1
Γ(n/2)Γ(1/2)2(n+1)/2n1/2
∫ ∞0
w (n+1)/2−1 exp{−w
12
(1 +
t2
n
)}dw
=Γ((n + 1)/2)
Γ(n/2)Γ(1/2)n1/2
(1 +
t2
n
)−(n+1)/2
, t ∈ R.
Portanto, T ∼ tn(0, 1).
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Resultado 10: Suponha que Tn ∼ tn(0, 1) seja uma sequencia de variaveisaleatorias. Entao, Tn
D−→ Z quando n→∞ sendo Z ∼ N (0, 1).
limn→∞
fT (t) = limn→∞
Γ((n + 1)/2)
Γ(n/2)Γ(1/2)n1/2
(1 +
t2
n
)−(n+1)/2
=1
21/2Γ(1/2)lim
m→∞
Γ(m + 1/2)
Γ(m)m1/2
(1 +
t2
2m
)−m (1 +
t2
2m
)−1/2
=1√2π
exp{− t2
2
}, pois
limm→∞
Γ(m + 1/2)
Γ(m)m1/2 = 1 (Formula de Stirling)
limm→∞
(1 +
t2
2m
)−m
= exp{− t2
2
} (lim
m→∞(1 + f (x)/m)−m = exp{−f (x)}
)lim
m→∞
(1 +
t2
2m
)−1/2
= 1.
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Resultado 11: Se X e Y sao variaveis aleatorias independentes tal queX ∼ χ2
n, Y ∼ χ2m e
W =X/nY/m
,
entao W ∼ Fn,m.
FW (w) = Pr(W 6 w) = Pr(
X/nY/m
6 w)
= Pr(
X 6 wnYm
)=
∫ ∞0
Pr(
X 6 wnym
∣∣∣Y = y)
fY (y)dy .
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
fW (w) =∂FW (w)
∂w=
∂
∂w
∫ ∞0
Pr(
X 6 wnym
∣∣∣Y = y)
fY (y)dy
=
∫ ∞0
∂
∂wFX
(w
nym
)fY (y)dy
=
∫ ∞0
fX(
wnym
) nym
fY (y)dy
=
∫ ∞0
(n/m)n/2wn/2−1
Γ(n/2)Γ(m/2)2(n+m)/2 y (n+m)/2−1 exp{−y
12
(1 +
nwm
)}dy
=( n
m
)n/2 Γ((n + m)/2)
Γ(n/2)Γ(m/2)wn/2−1
(1 +
nwm
)−(n+m)/2, w > 0.
Portanto, W ∼ Fn,m.
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Resultado 12: Se T ∼ tn(0, 1) e Y = T 2, entao Y ∼ F1,n.
fY (y) = Pr(Y 6 y) = Pr(T 2 6 y) = Pr(−√
y 6 T 6√
y)
= Pr(T 6√
y)− Pr(T 6 −√
y) = FT (√
y)− FT (−√
y).
fY (y) =∂FY (y)
∂y= fT (
√y)
12√
y+ fT (−
√y)
12√
y
=Γ((n + 1)/2)
Γ(n/2)Γ(1/2)n1/2 y1/2−1(
1 +yn
)−(n+1)/2, y > 0.
Portanto, Y ∼ F1,m.
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Resultado 13: EY (g(Y )) = EX(EY |X (g(Y )|X )
)para quaisquer duas
variaveis aleatorias Y e X se existirem seus valores esperados. Emparticular, EY (Y ) = EX
(EY |X (Y |X )
).
EX(EY |X (g(Y )|X )
)=
∫D(x)
EY |X (g(Y )|X )dFX (x)
=
∫D(x)
∫D(y)
g(y)dFY |X (y |x)dFX (x)
=
∫D(x,y)
g(y)dFX ,Y (x , y)
=
∫D(y)
g(y)
∫D(x)
dFX ,Y (x , y)
=
∫D(y)
g(y)dFY (y)
= EY (g(Y )).
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Resultado 14: EX ,Y (g(X ,Y )) = EX ,Y(EY |X (g(X ,Y )|X )
)para quaisquer
duas variaveis aleatorias Y e X se existirem seus valores esperados. Emparticular, EX ,Y (XY ) = EX ,Y
(EY |X (XY |X )
)= EX ,Y
(XEY |X (Y |X )
).
EX ,Y(EY |X (g(X ,Y )|X )
)=
∫D(x,y)
EY |X (g(X ,Y )|X )dFX ,Y (x , y)
=
∫D(x,y)
∫D(y)
g(x , s)dFY |X (s|x)dFX ,Y (x , y)
(mudanca de ordem) =
∫D(x,y)
g(x , s)dFY |X (s|x)
∫D(y)
dFX ,Y (x , y)
=
∫D(x,y)
g(x , s)dFY |X (s|x)dFX (x)
=
∫D(x,y)
g(x , y)dFX ,Y (x , y)
= EX ,Y (g(X ,Y )).
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Resultado 15: VarY (Y ) = EX(VarY |X (Y |X )
)+ VarX
(EY |X (Y |X )
)para
quaisquer duas variaveis aleatorias Y e X , se existirem os respectivosmomentos.
VarY (Y ) = EY ([Y − EY (Y )]2) = EX
(EY |X
([Y − EY (Y )]2∣∣X))
= EX
(EY |X
([Y − EY |X (Y |X ) + EY |X (Y |X )− EY (Y )]2∣∣X))
= EX
(EY |X
([Y − EY |X (Y |X )]2∣∣X))
+ 2EX(EY |X
([Y − EY |X (Y |X )][EY |X (Y |X )− EY (Y )]
∣∣X))+ EX
(EY |X
([EY |X (Y |X )− EY (Y )]2∣∣X))
= EX(VarY |X (Y |X )
)+ VarX
(EY |X (Y |X )
), pois
EY |X([Y − EY |X (Y |X )][EY |X (Y |X )− EY (Y )]
∣∣X)= [EY |X (Y |X )− EY (Y )]EY |X
([Y − EY |X (Y |X )]
∣∣X) = 0 e
EX
(EY |X
([EY |X (Y |X )− EY (Y )]2∣∣X)) = EX
([EY |X (Y |X )− EY (Y )]2
).
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Resultado 16: Cov(X ,EY |X (Y |X )) = Cov(X ,Y ) para quaisquer duasvariaveis aleatorias X e Y , se existirem os respectivos momentos.
Cov(X ,EY |X (Y |X )) = EX ,Y ([X − EX (X )][EY |X (Y |X )− EX (EY |X (Y |X )])
= EX ,Y ([X − EX (X )][EY |X (Y |X )− EY (Y )])
= EX ,Y (XEY |X (Y |X ))− EX ,Y (XEY (Y ))
− EX ,Y (EX (X )EY |X (Y |X )) + EX ,Y (EX (X )EY (Y ))
= EX ,Y (EY |X (XY |X ))− EX (X )EY (Y )
− EX (X )EY (Y ) + EX (X )EY (Y )
(Resultado 14!) = EX ,Y (XY )− EX (X )EY (Y )
= Cov(X ,Y )
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Comentarios:
I A funcao de media condicional g(x) = EY |X (Y |X = x) e chamada deregressao de Y sobre X .
I A variancia condicional, VarY |X (Y |X = x) e chamada de funcaocedastica.
I O caso em que VarY |X (Y |X = x) nao varia com x e chamada dehomocedasticidade (mesma variancia).
I O caso em que VarY |X (Y |X = x) varia com x e chamada deheterocedasticidade.
I Momentos em uma regressao linear simples: SeEY |X (Y |X = x) = α + βx , entao
α = EY (Y )− βEX (X ) e β =Cov(X ,Y )
VarX (X ).
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Comentarios:
A decomposicao da variancia,
VarY (Y ) = EX(VarY |X (Y |X )
)+ VarX
(EY |X (Y |X )
)implica que, em uma distribuicao bivariada, a variacao de Y vem de duasfontes:
I Variacao porque EY |X (Y |X ) varia com X :variancia da regressao=VarX
(EY |X (Y |X )
); e
I Variacao porque, em cada distribuicao condicional, Y varia em torno damedia condicional:variancia dos resıduos=EX
(VarY |X (Y |X )
).
Logo,
variancia total (VarY (Y ))=variancia da regressao+variancia dos resıduos.
Veremos que o coeficiente de determinacao e definido por
coeficiente de determinacao =variancia da regressao
variancia total.
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Resultado 17: Seja X1,X2, . . . ,Xn uma sequencia de variaveis aleatoriasindependentes e identicamente distribuıdas. Defina Y = X(1) = mın16i6nXi eW = X(n) = max
16i6nXi . Entao, FY ,W (y ,w) = [FX (w)]n − [FX (w)− FX (y)]n.
FY ,W (y ,w) = Pr(Y 6 y ; W 6 w) = Pr(X(1) 6 y ; X(n) 6 w)
= Pr(X(1) 6∞; X(n) 6 w)− Pr(X(1) > y ; X(n) 6 w)
= Pr(X1 6 w ; . . . ; Xn 6 w)− Pr(y < X1 6 w ; . . . ; y < Xn 6 w)
(independencia)
=n∏
i=1
Pr(Xi 6 w)−n∏
i=1
[Pr(Xi 6 w)− Pr(Xi 6 y)]
(identicamente distribuıdas)
= [FX (w)]n − [FX (w)− FX (y)]n, para y 6 w .
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Resultado 17 (continuacao): Se Xi for contınua, entaofY ,W (y ,w) = n(n − 1)fX (w)fX (y)[FX (w)− FX (y)]n−2, para y 6 w .
Resultado 17 (continuacao): As distribuicoes marginais de X(1) e X(n) saoFY (y) = 1− [1− FX (y)]n e FW (w) = [FX (w)]n.
Resultado 17 (continuacao): Se Xi for contınua, entaofY (y) = nfX (y)[1− FX (y)]n−1 e fW (w) = nfX (w)[FX (w)]n−1.
Econometria Classica e Bayesiana
Revisao, distribuicoes e notacoes
Resultado 18: Se X1,X2, . . . ,Xn for uma amostra aleatorias simples(independentes e identicamente distribuıdas) de uma variavel aleatorianormal com media µ e variancia σ2, entao X ∼ N (µ, σ2/n).
ϕX (t) = EX1,...,Xn
(exp
{itX})
= EX1,...,Xn
(exp
{itn
(X1 + X2 + · · ·+ Xn)
})= EX1,...,Xn
(exp
{itn
X1
}exp
{itn
X2
}. . . exp
{itn
Xn
})(independencia)
= EX1
(exp
{itn
X1
})EX2
(exp
{itn
X2
}). . .EXn
(exp
{itn
Xn
})= ϕX1 (t/n)ϕX2 (t/n) . . . ϕXn (t/n)
(identicamente distribuıdos)
= [ϕX1 (t/n)]n =
[exp
{−i
tnµ− σ2t2
2n2
}]n
= exp{−itµ− σ2t2
2n
}.
Portanto, X ∼ N (µ, σ2/n).