[ADsP]3과목 - 3장.상관분석 및 다차원분석, 주성분분석,시계열 예측
상관분석
두 수치형 변수간의 선형성의 정도, 관련성을 파악하는 방법이다.
피어슨의 상관계수, 스피어만의 상관계수 , 켄달의 순위상관계수 등이 있다.
상관분석은 두 변수의 선형성의 정도를 알아보고 인과관계를 의미하는 것은 아니다.
회귀계수는 인과관계를 알아보는 것이다.
밑의 3, 4 번 그림은 상관계수가 0 일때 나타난다.
상관계수의 범위
-1 <= r <= + 1 사이값을 가지고.
1에 가까울 수록 상관이 높다. 0에 가까울 수 록 상관이 적다.
그러나 , 상관계수가 0 이라고해서 상관관계가 없는 건 아니다. ( 곡선관계에서는 상관계수가 = 0 )
실제 산점도를 그려봐서 모양을 확인해야함.
공분산
두 확률변수가 얼마나 같이 변하는지를 측정한다.
공분산은 한쪽이 증가할때 한쪽도 증가하면 양의값을 가지고
한쪽이 증가할때 한쪽이 감소하면 음의값을 가진다.
공분산은 측정단위에 따라 영향을 받기 쉬워 상관계수를 사용해야한다.
상관계수 결측치 처리하기
cor(x,y,①use=“complete.obs”,②use=“pairwise.complete.obs,③use=”everything“)
① NA값이 있으면 해당 관측치 제외하고 계산
② NA값이 포함된 벡터에서만 제외하고 계산
③ NA값 포함해서 값을 구한다.
변수와 상관계수와의 관계
두 변수가 독립이면 상관계수가 0이지만
상관계수가 0이라고 해서 두 변수가 독립은 아니다.
상관계수의 유의성 검정
cor.test() 함수를 통해서 유의성 검정
귀무가설은 "상관계수가 0 이다"
대립가설은 "상관계수가 0 이 아니다"
스피어만 상관계수
상관계수를 계산할 때 두 데이터의 실제값 대신 두 값의 순위 사용해 상관계수 계산한다.
비선형관계의 연관성 파악가능, 이산형 , 순서형(연속형) 데이터에 적용가능
다차원척도법
개체들 간의 근접성을 시각화하여 데이터 속에 잠재해 있는 패턴이나 구조를 찾아내는 통계기법
주성분 분석 ( PCA )
독립변수들과 주성분과의 거리인 정보손실량 최소화 , 분산최대화
차원이 적어지면 겹치는 부분에 정보손실이 일어남 그래서 분산을 늘려 정소손실량을 최소화하는 차원축소기법
첫 번째 주성분으로 전체 변동을 가장 많이 설명할 수 있도록 한다.
주성분 분석 1과 2는 서로 상관이없어야된다. ( 1이 설명못하는걸 2가 설명해야됨 )
주성분 간에는 상관계수가 0이면서 각 주성분은 분산을 최대화
주성분분석을 하는 이유
속성이 많으므로 2~3개로 속성을 줄여서 주성분으로 만들어 데이터를 쉽게 이해
다중공선성이 존재할 경우 해결 방법 (상관도가 높은 변수들을 하나로 축소하여 모형 개발 )
회귀분석에서 설명변수의 개수 결정, 군집 분석의 사전 분석 활용
주성분분석의 옵션 ( 공분산 행렬 , 상관행렬 )
공분산행렬은 단위에 영향을 많이 받아서 상관행렬을 자주 사용.
기본셋팅은 공분산행렬이 되어있음.
cor=TRUE : 상관행렬로 변경
| Importance of components: PC1 PC2 PC3 PC4 Standard deviation 1.5749 0.9949 0.59713 0.41645 Proportion of Variance 0.6201 0.2474 0.08914 0.04336 Cumulative Proportion 0.6201 0.8675 0.95664 1.00000 |
- Standard deviation 표준편차
- Proportion of Variance : 분산비율, 각 주성분의 차지하는 비율 ( 클수록 영향도가 높다는 의미 )
- Cumulative Proportion : 분산의 누적합 계
첫 번째 주성분분석 하나가 전체 분산의 62%를 설명하고 있다.
두 번째는 24.7%를 설명하고 있다.
반대로 얘기 하면 첫 번째 주성분분석만 수용 했을 때 정보 손실은(100-62)=38%가 된다.
고유값(eigenvalue) = (standard daviation)^2
| fit$rotation -> 주성분 분석 함수 계수 PC1 PC2 PC3 PC4 Murder -0.5358995 0.4181809 -0.3412327 0.64922780 Assault -0.5831836 0.1879856 -0.2681484 -0.74340748 UrbanPop -0.2781909 -0.8728062 -0.3780158 0.13387773 Rape -0.5434321 -0.1673186 0.8177779 0.08902432 첫 번째 주성분 함수 Y1=-0.536Murder-0.583Assault-0.278UrbanPop-0.543Rape |
주성분수 결정
누적기여율(Cumulatiove Proportion)과 고유치 값은 주성분의 수를 결정하는 기준이다.
일반적으로 고유치값(eigenvalue)이 1.0이상 누적기여율이 80%되는 주성분을 기준으로
주성분 수를 결정한다.
스크리 플롯
그래프가 완만해 지는 부분 이전까지만 활용하는 것이 바람직함.
시계열분석
시간의 흐름에 따라 자료의 변화
시간t에 해당되는 관측값들의 집합
정상성(Stationarity = 안정성)
정상시계열의 3가지 조건
- 평균값은 시간 t에 관계없이 일정하다.
- 분산값은 시간 t에 관계없이 일정하다.
- 공분산은 시간 t에 의존하지 않고 오직 시차에만 의존한다.
이 조건이 하나라도 만족하지 않으면 비정상 시계열이라고 함.
백색잡음 과정(정상시계열에 포함)
시계열이 상호독립적이고 동등하게 분포하는 확률변수의 관측치 일때
- 자기상관성이 없다. = 독립적이다.
- t에 관계없이 평균이 0 이다.
- t에 상관없이 동분산
자기상관계수
ut와 시차 k 만큼 떨어진 ut-k 간의 선형관계 정도를 나타내는 것
①. 시차 0에서의 자기상관계수는 1이다. ( 자기 자신 / 자기 자신 )
②. 시차 1이후 상관계수처럼 –1~1 사이의값을 갖는다.
ACF ( 자기상관함수)
부분자기상관계수
AR모형의 차수를 찾는데 중요한 역할
중간의 있는 자기계열들의 영향을 제거하고 순수한 선형관계의 정도를 나타내는 지표
PACF ( 부분자기상관함수)
자기 회귀모형 (AR 모형)
현재 종속변수를 설명하기 위해 자신의 과거 독립변수와 오차의 구성요소들간에 선형관계를 나타넴
(자기 자신의 과거로 예측할 수 있다.)
과거시점들이 p 개라면 이 모형의 차수는 p차 이고, AR(p)로 나타냄
부분자기상관계수(PACF)를 이용한다.
부분자기상관이 어느 시차에서 0이 되어 소멸되는지를 기준으로 이전시차를 차수로 결정한다.
이동평균모형(MA모형) (정상성 가정이 필요 없음)
현재자료를 현쟁오차 과거오차로 설명하는것
과거시점들의 오차들의 수 q MA(q)라고 나타냄
자시상관이 어느 시차에서 0이 되어 소멸되는지를 기준으로 MA모형의 차수를 q를 결정
자기상관계수(ACF)를 이용한다.
자기회귀이동평균모형(ARMA)
ARMA(p,q)
AR+MA
ARIMA 모형
ARIMA(p d q) ( p = AR차수 , d = 차분수 , q = MA차수 )
| 모형 | 자기상관계수 | 부분자기상관계수 |
| AR(p) | 빠르게 0에 접근(지수형태 감소) | 시차 p+1이후 절단 |
| MA(q) | 시차 q+1이후 절단 | 빠르게 0에 접근(지수형태감소) |
| ARMA(p,q) | 빠르게 0에 접근 | 빠르게 0에 접근 |
 |
(점선 안으로 들어오면 절단이라 함) Lag 1에서 -0.6 정도의 값을 갖고, Lag 2부터 점선 안의 경계로 들어와서 ‘절단’ 된 상태입니다. 2번 째에서 절단. 2-1 차수 MA(0,1) |
 |
Lag 6에서 ‘절단’되고, Lag 6,7 에서는 경계에서 벗어났다가 Lag 9에서는 다시 ‘절단’ 되는 형태로 나타납니다. AR(8.0) |
불안정한 시계열의 안정화
평균이 일정하지 않는 경우 : 차분
분산이 이분산인 경우 : 로그변환과 제곱근 변환
분해시계열
| 추세 | 시계열 기간이 짧은 자료 , 장기간 일정한 방향으로 지속성을 보임 |
| 순환요인 | 2-3년 주기로 순환, 추세선을 따라 주기적으로 오르내림 |
| 계절요인 | 1년 주기로 갖는다. 사회적 관습 ( ex발렌타인데이 ) 도 포함 |
| 불규칙 변동 | 위에 3개 빼고 다. |