패널자료의 기초 통계분석

2014. 6. 14.

상관된 관측치의 분석

• 다수준분석

• 일반화추정방정식

• 반복 측정 분산분석(RM ANOVA)

• 조건부 로지스틱 회귀분석

• 패널분석

2

복 습

패널자료의 장점

• 횡단면자료는 변수들 간 정적(static) 관계만을 추정할 수 있는데 비해, 패널자료는 동적(dynamic) 관계를 추정할 수 있다.

• 개체들의 관찰되지 않은 이질성(unobserved heterogeneity) 요인을 모형에서 고려할 수 있다.

• 횡단면자료, 시계열자료에 비해 더 많은 정보와 변동성(variability)을 제공하며, 선형회귀모형에서 다중공선성(multi-collinearity) 문제를 완화시킬 수 있다.

3

복 습

패널자료의 단점

• 데이터 수집이 어려우며, 결측치가 발생할 가능성이 크다.

• 국가, 지역이 패널그룹일 경우 패널 그룹간 상관관계가 있을 수 있다.

• 개인이 패널그룹일 경우 시간변수의 길이가 짧다.

4

복 습

패널데이터의 정렬

• 패널분석을 하기전 tsset, xtset을 사용하여 데이터를 정렬한다. – tsset 패널변수명(개체) 시간변수명(시간) – xtset 패널변수명 시간변수명

☼ xtset 다음에 오는 패널변수는 반드시 숫자변

수이어야 한다. ☼ 문자변수 → 숫자변수: encode ☼ 숫자변수 → 문자변수: decode

5

복 습

패널데이터의 유형

• 균형패널 vs. 불균형패널 – 균형패널: 각 개체의 데이터 포괄기간이 서로

동일한 경우 – 불균형패널: 각 개체의 데이터 포괄기간이 서

로 동일하지 않은 경우

• 시간갭(time gap)이 있는 패널 vs. 시간갭이 없는 패널

6

복 습

패널데이터 관리: reshape

7

use P_data3_5, clear (NLS Women 14-24 in 1968) db reshape reshape long pop, i(state) j(year) * Stata에서 패널데이터분석을 위해서는 데이터 구조가 반드시 long type이어야 한다.

기초통계분석

8

복 습

기초통계분석: xtsum

9

use P_data4_1, clear tsset id t xtsum lwage un fem /* 패널데이터에 대한 기초통계량 계산 */ Variable Mean Std. Dev. Min Max Observations lwage 전체 overall 6.408696 .3435133 5.56068 7.00307 N = 40 패널 그룹간 between .309375 5.818473 6.930582 n = 10 패널 그룹내 within .1721947 5.751323 6.723056 T = 4 union overall .4 .4961389 0 1 N = 40 between .4743416 0 1 n = 10 within .1961161 -.35 1.15 T = 4 fem overall .1 .3038218 0 1 N = 40 between .3162278 0 1 n = 10 within 0 .1 .1 T = 4

시간불변변수(time-invariant variable)의 within 변환 표준편차는 0이 된다.

전체 관측치 40개의 평균 임금

기초통계분석: xtsum

10

/* overall */ su lwage un fem /* between, 각 개체별로 시계열 평균값을 구한 뒤 그 값을 사용하여 그룹간 특성 측정 */ by id, sort: egen float lwage_m=mean(lwage) egen byte tag1=tag(id) su lwage_m if tag1==1 Variable Obs Mean Std. Dev. Min Max lwage_m 10 6.408696 .3093751 5.818472 6.930583 /* within */ su lwage Variable Obs Mean Std. Dev. Min Max lwage 40 6.408696 .3435133 5.56068 7.00307 gen lwage_with=(lwage-lwage_m+r(mean)) su lwage_with Variable Obs Mean Std. Dev. Min Max lwage_with 40 6.408696 .1721947 5.751323 6.723056

기초통계분석: xttab

11

use P_data4_3 tsset id t

기초통계분석: xttab

12

use P_data4_3 xttab union /* 패널데이터에서 빈도표 산출 */

Overall Between Within union Freq. Percent Freq. Percent Percent 0 7 58.33 2 66.67 87.50 1 5 41.67 2 66.67 62.50 Total 12 100.00 4 133.33 75.00

tab 실행결과와 일치

3명 패널개체의 각 4개 시계열 관측치 중 0이 한번이라도 있는 경우와 1이 한번이라도 있는 빈도수

노조에 계속 가입해 있었거나 잠깐이라도 가입한 적이 있는 사람을 대상으로 한 평균적인 노조가입기간 → 노조에 가입해 있었던 사람들은 평균적으로 전체 조사기간 중 62.5% 의 기간에 노조에 가입해 있었음.

기초통계분석: xttrans

13

use P_data4_2, clear tsset idcode year

1 if married, 1 if married, spouse spouse present present 0 1 Total 0 7,697 1,866 9,563 80.49 19.51 100.00 1 1,133 13,100 14,233 7.96 92.04 100.00 Total 8,830 14,966 23,796 37.11 62.89 100.00

기초통계분석: xttrans

14

use P_data4_2, clear xttrans msp, freq /* 조건부 전이확률(conditional transiton probability) 계산 */

다음 기의 배유자 여부

현재 시점의 배우자 여부

현재 배우자가 있는 사람이 다음 기에 배우자가 없을 확률 = 1133/14233

패널 그래프 작성

15

패널 그래프 작성: tsline

16

use P_data5_1, clear tsset firm year db tsline /* 패널 개체의 시계열 변화 그래프 작성 */

패널 그래프 작성: tsline

17

use P_data5_1, clear tsset firm year db tsline /* 패널 개체의 시계열 변화 그래프 작성 */

패널 그래프 작성: tsline

18

use P_data5_1, clear tsset firm year db tsline /* 패널 개체의 시계열 변화 그래프 작성 */

패널 그래프 작성: tsline

19

use P_data5_1, clear tsset firm year db tsline

각 회사별로 그래프 그리기

패널 그래프 작성: tsline

20

use P_data5_1, clear tsset firm year db tsline

패널 개체별로 Y 축 스케일을 다르게 지정

패널 그래프 작성 : xtline

21

use P_data5_1, clear tsset firm year db xtline /* 패널 개체의 시계열 변화 그래프 작성 */ xtline f c, byopts(yrescale) recast(line) lpattern(solid longdash)

패널 그래프 작성: xtline

22

use P_data5_1, clear tsset firm year xtline f, overlay scheme(s2mono)

패널 그래프 작성: xtgraph

23

use P_data5_1, clear tsset firm year findit xtgraph xtgraph invest, list /* 패널 평균값과 그 신뢰구간을 그릴 수 있음 */

패널 그래프 작성: xtgraph

24

ci invest if year==1935 /* 연속형 변수의 모평균의 신뢰구간 */ Variable Obs Mean Std. Err. [95% Conf. Interval] invest 5 122.764 60.19088 -44.35269 289.8807 tsset year firm /* 각 회사별 20년 동안의 평균 invest 수준 */ xtgraph invest

패널자료 분석: Between Effects 모형

• 패널데이타의 시계열 특성을 고려하지 않고 개체간 변동만을 고려하는 모형이다.

• 각 개체의 시계열 관측치 그룹의 평균값을 이용하여 계수를 추정한다.

yit = α + βxit + ui + eit i: 개인 t: 시간 ui: 시간에 따라 변하지 않는 패널 개체특성을 나타내는 오차항 eit : 시간과 패널 개체에 따라 변하는 순수 오차항 = α + β + ui +

25

복 습

패널자료분석: 고정효과(fixed effect) 모형

• 오차항 ui 를 확률변수(random variable)가 아닌 추정해야 할 모수(parameter)로 간주한다.

• 기울기 모수는 모든 패널 개체에 대해 동일하지만, 상수항 (α + ui) 는 개체별로 달라진다.

yit = α + β xit + ui + eit (1) = (α + ui) + β xit + eit i: 개인 t: 시간 ui: 시간에 따라 변하지 않는 패널 개체특성을 나타내는 오차항 eit : 시간과 패널 개체에 따라 변하는 순수 오차항

26

복 습

패널자료분석: 고정효과(fixed effect) 모형

yit = α + β xit + ui + eit (1) = (α + ui) + β xit + eit = α + β + ui + (2) (1)-(2): within 변환을 적용한 추정모형 (yit - ) = (xit - ) +( eit - ) → 고정효과모형 추정방법 1 패널개체별 더미변수 이용 yit = ∑αi + βxit + eit → 고정효과모형 추정방법 2

27

복 습

패널자료분석: 확률효과(random effect) 모형

• ui를 확률변수로 가정한다. ui ~ N(0, )

• Between effect 모형과 고정효과(fixed effect) 모형의

weighted average로 파라미터를 추정한다. • 패널간 정보와 패널내 정보를 모두 활용하며, 시간에

따라 변하지 않는 변수의 효과를 추정할 수 있다는 장점이 있다.

• 설명변수의 외생성이 성립하지 않는다면 파라미터 추정이 정확하게 되지 못하는 단점이 있다.

28

복 습

패널 GLS(generalized least squares)

패널데이타를 합동(pooled) OLS로 추정할 경우의 가정

30

• 모든 패널 개체에 대해 모든 시점에서 오차항의 기대값이 0이 되어야 한다.

• 모든 패널 개체에 대해 모든 시점에서 오차항의 분산이 σ2 이어야 한다. (동분산성 homoskedasticity) → 패널 개체와 시간에 따라 오차항의 분산이 변하지 않아야 한다.

• 패널 개체의 오차항이 서로 상관관계가 없어야 한다. → 동시적 상관(contemporaneous correlation)이 없어야 한다.

• 한 개체의 서로 다른 시점의 오차항 사이에 상관관계가 없어야 한다. → 자기상관(autocorrelation, serial correlation)이 없어야 한다.

• 오차항과 설명변수 사이에 상관관계가 존재하지 않는다. → 설명변수의 외생성(exogeneity)을 만족한다.

이러한 가정이 위배되는 경우 OLS 추정량에 문제가 있을 수 있으나, 패널데이터는 오차항에 이분산성이나 자기상관이 존재할 가능성이 있다.

패널자료분석: OLS

31

use P_data6_1, clear tsset state year /* fatal: 교통사고 사망률, perincK: 1인당 소득, spircons: 1인당 술 소비량 */

패널자료분석: OLS

32

reg fatal perinck spircons /* 7년 관측치를 pooling하여 OLS로 추정 */ Source SS df MS Number of obs = 336 F( 2, 333) = 65.17 Model 30.6372951 2 15.3186476 Prob > F = 0.0000 Residual 78.2782148 333 .235069714 R-squared = 0.2813 Adj R-squared = 0.2770 Total 108.91551 335 .325120925 Root MSE = .48484 fatal Coef. Std. Err. t P>t [95% Conf. Interval] perincK -.1493585 .0131816 -11.33 0.000 -.1752881 -.1234289 spircons .1685464 .0434461 3.88 0.000 .0830829 .2540098 _cons 3.817989 .1654515 23.08 0.000 3.492527 4.143451

소득이 높을수록 교통사고 사망률은 낮아지고, 술 소비량이 많을수록 교통사고 사망률이 높아진다.

패널자료분석: OLS

33

※ OLS 추정량이 최우수선형불편추정량(best linear unbiased estimator, BLUE)이 되기 위해서는 모든 시점 t에서의 오차항 it 의 공분산 행렬이 항등행렬이어야 한다. → 패널 그룹간 오차항의 상관관계가 존재하지 않아야 하고, 오차항의 분산은 σ2로 서로 같아야 한다.

공분산행렬(Covariance Matrix )

• 공분산(Covariance) – 두 측도가 어떻게 조화롭게 변하는지, 얼마나 상호 영

향을 주며 변하는지를 나타냄 – 두 변량의 공유된 성격이나 독립성을 나타내는데 유

용

• 공분산 행렬 : n개의 dimension에서의 공분산을 행렬로

나타낸 것

34

=×

),cov(),cov(),cov(),cov(),cov(),cov(),cov(),cov(),cov(

zzyzxzzyyyxyzxyxxx

C nn

패널자료분석: GLS

35

/* 공분산 행렬 가정에 위해되는 경우 효율적인 추정량을 구하기 위해 GLS 사용 */ xtgls fatal perincK spircons /* GLS, generalized least squares */ Cross-sectional time-series FGLS regression Coefficients: generalized least squares Panels: homoskedastic Correlation: no autocorrelation Estimated covariances = 1 Number of obs = 336 Estimated autocorrelations = 0 Number of groups = 48 Estimated coefficients = 3 Time periods = 7 Wald chi2(2) = 131.51 Log likelihood = -232.0139 Prob > chi2 = 0.0000 fatal Coef. Std. Err. z P>z [95% Conf. Interval] perincK -.1493585 .0131226 -11.38 0.000 -.1750783 -.1236387 spircons .1685464 .0432517 3.90 0.000 .0837746 .2533182 _cons 3.817989 .1647112 23.18 0.000 3.495161 4.140817

OLS와 동일 추정계수, 표준오차가 OLS보다 약간 작다.

동분산성을 가정한다.

패널자료분석: GLS

36

xtgls fatal perincK spircons, nmk /* nmk 옵션 사용시 OLS와 동일 결과 */ Cross-sectional time-series FGLS regression Coefficients: generalized least squares Panels: homoskedastic Correlation: no autocorrelation Estimated covariances = 1 Number of obs = 336 Estimated autocorrelations = 0 Number of groups = 48 Estimated coefficients = 3 Time periods = 7 Wald chi2(2) = 130.33 Log likelihood = -232.0139 Prob > chi2 = 0.0000 fatal Coef. Std. Err. z P>z [95% Conf. Interval] perincK -.1493585 .0131816 -11.33 0.000 -.1751939 -.1235231 spircons .1685464 .0434461 3.88 0.000 .0833936 .2536992 _cons 3.817989 .1654515 23.08 0.000 3.49371 4.142268 OLS와 동일한 결과를 보여준다.

패널자료분석: GLS(오차항에서 패널 개체 간 이분산성 가정)

37

xtgls fatal perincK spircons, panel(hetero) Cross-sectional time-series FGLS regression Coefficients: generalized least squares Panels: heteroskedastic Correlation: no autocorrelation Estimated covariances = 48 Number of obs = 336 Estimated autocorrelations = 0 Number of groups = 48 Estimated coefficients = 3 Time periods = 7 Wald chi2(2) = 234.36 Prob > chi2 = 0.0000 fatal Coef. Std. Err. z P>z [95% Conf. Interval] perincK -.1206468 .0086248 -13.99 0.000 -.137551 -.1037425 spircons .0777905 .0341464 2.28 0.023 .0108648 .1447161 _cons 3.544183 .1024056 34.61 0.000 3.343472 3.744894

패널 개체간 이분산성을 가정한다.

48개 패널 개체의 오차항의 분산을 추정하였다.

패널자료분석: GLS(오차항에서 패널 개체 간 이분산성 가정)

38

xtgls fatal perincK spircons, panel(hetero) /* 모형 추정 후 e-class에 저장된 내용을 확인한다. */ ereturn list scalars: e(N) = 336 (전체 표본 수, 48 x 7) e(N_g) = 48 (패널 개체 수) e(N_t) = 7 (패널 개체의 시계열 관측개체 개수 중 가장 큰 값) e(g_min) = 7 e(g_avg) = 7 e(g_max) = 7 /* 행렬의 구체적인 값을 확인한다 */ mat list e(sigma) symmetric e(Sigma)[48,48] c1 c2 c3 c4 c5 c6 c7 c8 c9 r1 .09190281 r2 0 .46693412 r3 0 0 .05563616 r4 0 0 0 .11937386 r5 0 0 0 0 .01913816

오차항의 공분산 행렬 추정치

패널 개체 간 이분산성 검정

39

/* 제약모형(restricted model): 오차항의 분산이 패널그룹에 따라 다르지 않고 모두 같다. */ xtgls fatal perincK spircons estimates store R_model Log likelihood = -232.0139 /* 비제약모형(unrestricted model): 오차항의 분산이 패널그룹에 따라 다르다. */ xtgls fatal perincK spircons, panel(hetero) igls nolog estimates store UR_model Log likelihood = -125.482 /* LR(likelihood ratio; 우도비) test */ lrtest UR_model R_model , df(47) Likelihood-ratio test LR chi2(47)= 213.06 (Assumption: R_model nested in UR_model) Prob > chi2= 0.0000

48개 분산(비제약모형) - 1개 분산(제약모형)

오차항의 등분산성을 기각한다.

패널자료분석: GLS (오차항에서 자기상관 가정)

40

xtgls fatal perincK spircons, corr(ar1) Cross-sectional time-series FGLS regression Coefficients: generalized least squares Panels: homoskedastic Correlation: common AR(1) coefficient for all panels (0.8166) Estimated covariances = 1 Number of obs = 336 Estimated autocorrelations = 1 Number of groups = 48 Estimated coefficients = 3 Time periods = 7 Wald chi2(2) = 16.09 Prob > chi2 = 0.0003 fatal Coef. Std. Err. z P>z [95% Conf. Interval] perincK -.068442 .0170604 -4.01 0.000 -.1018798 -.0350042 spircons .0598057 .0622353 0.96 0.337 -.0621733 .1817847 _cons 2.909977 .2405364 12.10 0.000 2.438534 3.381419

추정된 자기상관계수

ϵ it = ρ ϵ it-1 + uit

패널자료분석: GLS(패널 개체별로 서로 다른 1계 자기상관 계수 가정 )

41

xtgls fatal perincK spircons, corr(psar1) Cross-sectional time-series FGLS regression Coefficients: generalized least squares Panels: homoskedastic Correlation: panel-specific AR(1) Estimated covariances = 1 Number of obs = 336 Estimated autocorrelations = 48 Number of groups = 48 Estimated coefficients = 3 Time periods = 7 Wald chi2(2) = 19.72 Prob > chi2 = 0.0001 fatal Coef. Std. Err. z P>z [95% Conf. Interval] perincK -.0722611 .0170753 -4.23 0.000 -.1057281 -.0387942 spircons -.0094098 .0535401 -0.18 0.860 -.1143466 .0955269 _cons 3.03828 .233805 12.99 0.000 2.580031 3.496529

ϵit = ρi ϵ it-1 + uit

자기상관 검정: Wooldridge 검정

42

findit xtserial xtserial fatal perincK spircons Wooldridge test for autocorrelation in panel data H0: no first-order autocorrelation F( 1, 47) = 6.175 Prob > F = 0.0166.

5% 유의수준에서 1계 자기상관이 존재한다.

패널자료분석: GLS( 동시적 상관 가정 )

43

동시적 상관(contemporaneous correlation)

− corr(ϵit , ϵ jt ) ≠ 0, 모든 i ≠ j에 대해 − 시점 t에서 서로 다른 패널 개체의 오차항 사이에 상관관계가 존재한

다. − 이분산성도 가정된다.

패널자료분석: GLS(동시적 상관 가정)

44

xtgls fatal perincK spircons, panel(corr) Cross-sectional time-series FGLS regression Coefficients: generalized least squares Panels: heteroskedastic with cross-sectional correlation Correlation: no autocorrelation Estimated covariances = 1176 Number of obs = 336 Estimated autocorrelations = 0 Number of groups = 48 Estimated coefficients = 3 Time periods = 7 Wald chi2(2) = 22.85 Prob > chi2 = 0.0000 fatal Coef. Std. Err. z P>z [95% Conf. Interval] perincK -.1340037 .0282983 -4.74 0.000 -.1894673 -.0785401 spircons .1456812 .0765297 1.90 0.057 -.0043144 .2956767 _cons 3.654852 .322744 11.32 0.000 3.022285 4.287418 Note: you estimated at least as many quantities as you have observations.

이분산성과 동시적 상관을 함께 가정한다.

추정하는 모수의 개수(1,176)가 관측개체수( 336)보다 많아 추정결과의 신뢰성에 문제가 있다.

n(n+1)/2 = (48 *49)/2

패널자료분석: GLS(이분산성, 자기상관 가정)

45

xtgls fatal perincK spircons, corr(ar1) panel(hetero) Cross-sectional time-series FGLS regression Coefficients: generalized least squares Panels: heteroskedastic Correlation: common AR(1) coefficient for all panels (0.8166) Estimated covariances = 48 Number of obs = 336 Estimated autocorrelations = 1 Number of groups = 48 Estimated coefficients = 3 Time periods = 7 Wald chi2(2) = 27.48 Prob > chi2 = 0.0000 fatal Coef. Std. Err. z P>z [95% Conf. Interval] perincK -.0563742 .0119293 -4.73 0.000 -.0797552 -.0329933 spircons -.0416077 .0480484 -0.87 0.387 -.1357808 .0525655 _cons 2.821765 .1703268 16.57 0.000 2.48793 3.155599

추정해야 할 모수는 52개

과제 제출

• 한글/MS Word 문서 사용 • 구성

– 연구목적 – 연구방법 – 연구결과: STATA output을 붙이고 하단에 해

석 추가 – 결론

• 6/25(수)까지 이메일로 제출

46