수리통계학

통계학 전공자와 비전공자와의 차이는 실로 수리통계학 뿐이다.

단언컨대 현대인간사회에서 통계학이 쓰이지 않는 곳은 없다. 과학의 어떤 분야를 선택하든 어느 경지에 이르기 위해서는 가설 검정이든 분석 기법이든 통계를 배워야한다. 통계학의 문은 수많은 비전공자들에게도 활짝 열려있으며, 기술로써는―자신의 영역^Domain에서는 오히려 전공자들보다 친숙하게 사용하는 전문가들도 많다.

그 전문가들은 ‘통계학’ 자체를 전공한 사람들과는 어떻게 구분될까? 물론 전공자들은 데이터의 도메인을 가리지 않도록 많은 기법을 배우고 깊게 배운다는 점, 경험적으로 다양한 데이터에 대한 직관이 강하다는 점 등으로도 설명되겠지만 가장 본질적인 차이는 수리적인 이해의 수준이다.

통계학을 전공한다는 것은 어떤 기법 몇가지의 증명을 살펴보고 수리적 배경을 이해하는 수준에서 끝나지 않는다. 통계학 전체를 관통하는 컨셉에 공감하고, 널리 알려진 분포 사이의 관계를 훤히 알고 있으며, 어떤 새로운 기법을 보더라도 그 원리를 빠르게 파악할 수 있는 눈을 길러야한다. 수리통계학은 바로 그것을 위한 공부이자 훈련으로, 통계학 전반을 지탱하는 수학적 이론을 다룬다.

확률론

측도론🔥을 사용하는 수준은 확률론 카테고리로 빼두었다.

• 확률과 확률의 덧셈법칙 $P$

일변량 확률 변수

• 확률 변수와 확률 분포 $X$
• 확률 변수들의 선형 결합
• 확률 수렴 $\overset{P}{\to}$
  • 확률수렴하면 분포수렴한다
• 분포 수렴 $\overset{D}{\to}$
  • 분포수렴하면 확률유계다
• 확률 유계
• 약한 대수의 법칙 증명
• 중심극한 정리 증명

다변량 랜덤 벡터

• 다변량 확률 분포 $\mathbf{X}$
• 다변량 확률 변수의 변환
  • 확률 밀도 함수의 컨볼루션 공식
• 조건부 확률 분포
  • 조건부 기대값은 편차제곱합을 최소화한다
• 확률 변수의 독립 $X_{1} \perp X_{2}$
  • 확률 변수들의 상호 독립과 iid
  • 번스타인 분포: 짝으로 독립이라고 상호 독립은 아니다
• 다변량 확률 변수의 확률 수렴
• 다변량 확률 변수의 분포 수렴
• 주성분 분석 PCA

적률

• 기대값, 평균, 분산, 적률의 정의 $E X^{t}$
  • 통계학의 세가지 대표값: 최빈값, 중앙값, 평균
  • 대표값의 수리적 성질 증명
  • 평균과 분산의 성질들
  • 함수를 취한 확률변수꼴 합의 기대값
• 공분산
  • 공분산 행렬
  • 피어슨 상관계수 $\rho$
  • 상관관계가 없다고 독립인 것은 아니다
• 왜도
• 첨도
• 적률생성함수란? $E e^{tX}$
  • $n$차 적률이 존재하면 차수가 $n$보다 작은 적률도 존재한다
• 가중 평균
• 합동 분산 $s_{p}^{2}$
• 랜덤벡터의 기대값

확률분포론

수리통계학에서 배우는 확률분포론은 매우 중요하나, 생새우초밥집에서는 그 규모가 너무 방대해지고 수리통계학 이상의 토픽도 다루게 되어 단독 카테고리로 독립되었다.

• 특정한 분포를 따르는 확률변수들의 덧셈 총정리
• 스튜던트의 정리
• 정규분포를 따르는 두 확률 변수가 독립인 것과 공분산이 $0$인 것은 동치다
• 스털링 근사 공식의 수리통계적 증명
• 델타 메소드
• 지수족 확률분포
• 로케이션 패밀리 $f (x ; \theta)$
  • 로케이션 패밀리의 충분통계량과 최대우도추정량
• 스케일 패밀리 $f (x ; \sigma)$

통계적 추론

• 랜덤 샘플
  • 일변량 확률 변수 샘플링하는 법
• 랜덤샘플의 표본평균의 평균과 분산
  • 표본표준편차와 표준오차의 구분

통계량

• 통계량과 추정량 $T$
  • 몬테카를로 방법과 부트스트랩의 차이점
  • 신뢰구간
  • 표준오차의 일반적인 정의
• 피벗 $Q(\mathbf{X}, \theta)$
• 순서통계량 $X_{(k)}$
• 일치추정량 $T_{n} \overset{P}{\to} \theta$
• 모먼트 메소드
  • 새터스화이트 근사

불편추정

• 불편추정량 $ET = \theta$
  • 편의
    • 편의-분산 트레이드 오프
  • 표본 분산을 $n-1$으로 나누는 이유
• 효율적추정량
  • 라오-크래머 하한
    • 불편추정량의 라오-크래머 하한
• 최선불편추정량 UMVUE
  • 최소분산불편추정량의 유일성
• 라오-블랙웰 정리
• 레만-셰페 정리

충분통계

• 충분통계량
• 네이만 인수분해 정리
• 최소충분통계량
  • 최소충분통계량이 주어진 불편추정량의 분산은 최소가 된다
• 보조통계량
  • 로케이션-스케일 패밀리의 보조통계량
• 완비통계량
  • 지수족 확률분포의 완비통계량
• 바수 정리 증명

우도추정

• 우도함수 $L(\theta | \mathbf{x})$
• 최대우도추정량 MLE
  • 정칙성 조건
  • 피셔 정보 $I(\theta)$
  • 바틀렛 항등식
• 최대우도추정량의 불변성질
• 유일한 최대우도추정량은 충분통계량에 종속된다

가설검정

• 가설검정의 정의 $H_{0} \text{ vs } H_{1}$
• 검정력 함수 $\beta (\theta)$
• 우도비검정 LRT
  • 충분통계량이 포함된 우도비검정
• 불편 검정력 함수와 최강력검정 UMP
  • 네이만-피어슨 보조정리 증명
  • 충분통계량이 포함된 최강력검정
• 단조우도비 MLR
  • 칼린-루빈 정리 증명
• 유의확률 $p(\mathbf{X})$

구간추정

• 구간추정량 $\left[ L, U \right]$
  • 신뢰집합
• 가설검정과 신뢰구간의 일대일 대응관계
• 최정확 신뢰집합 UMA
• 확률적 증감함수와 신뢰구간
• 유니모달 분포의 최단 신뢰구간

베이지안

• 베이즈 정리의 증명과 사전분포, 사후분포
  • 베이즈 정리로 보는 몬티홀 딜레마
• 베이지안 패러다임
• 라플라스 계승 법칙
• 켤레사전분포
• 라플라스 사전분포
• 제프리 사전분포
• 신용구간
  • 신용구간과 신뢰구간의 차이
  • 최고사후밀도 신용구간
• 베이즈 인자를 통한 가설검정

주요 참고문헌

• Casella. (2001). Statistical Inference(2nd Edition)
• Hogg et al. (2013). Introduction to Mathematical Statistics(7th Edition)
• 김달호. (2013). R과 WinBUGS를 이용한 베이지안 통계학