수리통계학
통계학 전공자와 비전공자와의 차이는 실로 수리통계학 뿐이다.
단언컨대 현대인간사회에서 통계학이 쓰이지 않는 곳은 없다. 과학의 어떤 분야를 선택하든 어느 경지에 이르기 위해서는 가설 검정이든 분석 기법이든 통계를 배워야한다. 통계학의 문은 수많은 비전공자들에게도 활짝 열려있으며, 기술로써는―자신의 영역Domain에서는 오히려 전공자들보다 친숙하게 사용하는 전문가들도 많다.
그 전문가들은 ‘통계학’ 자체를 전공한 사람들과는 어떻게 구분될까? 물론 전공자들은 데이터의 도메인을 가리지 않도록 많은 기법을 배우고 깊게 배운다는 점, 경험적으로 다양한 데이터에 대한 직관이 강하다는 점 등으로도 설명되겠지만 가장 본질적인 차이는 수리적인 이해의 수준이다.
통계학을 전공한다는 것은 어떤 기법 몇가지의 증명을 살펴보고 수리적 배경을 이해하는 수준에서 끝나지 않는다. 통계학 전체를 관통하는 컨셉에 공감하고, 널리 알려진 분포 사이의 관계를 훤히 알고 있으며, 어떤 새로운 기법을 보더라도 그 원리를 빠르게 파악할 수 있는 눈을 길러야한다. 수리통계학은 바로 그것을 위한 공부이자 훈련으로, 통계학 전반을 지탱하는 수학적 이론을 다룬다.
확률론
측도론🔥을 사용하는 수준은 확률론 카테고리로 빼두었다.
일변량 확률 변수
- 확률 변수와 확률 분포 $X$
- 확률 변수들의 선형 결합
- 확률 수렴 $\overset{P}{\to}$
- 분포 수렴 $\overset{D}{\to}$
- 확률 유계
- 약한 대수의 법칙 증명
- 중심극한 정리 증명
다변량 랜덤 벡터
- 다변량 확률 분포 $\mathbf{X}$
- 다변량 확률 변수의 변환
- 조건부 확률 분포
- 확률 변수의 독립 $X_{1} \perp X_{2}$
- 다변량 확률 변수의 확률 수렴
- 다변량 확률 변수의 분포 수렴
- 주성분 분석 PCA
적률
확률분포론
수리통계학에서 배우는 확률분포론은 매우 중요하나, 생새우초밥집에서는 그 규모가 너무 방대해지고 수리통계학 이상의 토픽도 다루게 되어 단독 카테고리로 독립되었다.
- 특정한 분포를 따르는 확률변수들의 덧셈 총정리
- 스튜던트의 정리
- 정규분포를 따르는 두 확률 변수가 독립인 것과 공분산이 $0$인 것은 동치다
- 스털링 근사 공식의 수리통계적 증명
- 델타 메소드
- 지수족 확률분포
- 로케이션 패밀리 $f (x ; \theta)$
- 스케일 패밀리 $f (x ; \sigma)$
통계적 추론
통계량
불편추정
충분통계
우도추정
가설검정
- 가설검정의 정의 $H_{0} \text{ vs } H_{1}$
- 검정력 함수 $\beta (\theta)$
- 우도비검정 LRT
- 불편 검정력 함수와 최강력검정 UMP
- 단조우도비 MLR
- 유의확률 $p(\mathbf{X})$
구간추정
베이지안
주요 참고문헌
- Casella. (2001). Statistical Inference(2nd Edition)
- Hogg et al. (2013). Introduction to Mathematical Statistics(7th Edition)
- 김달호. (2013). R과 WinBUGS를 이용한 베이지안 통계학
전체 포스트
- 베이즈 정리의 증명과 사전분포, 사후분포
- 특정한 분포를 따르는 확률변수들의 덧셈 총정리
- 표본표준편차와 표준오차의 구분
- 몬테카를로 방법과 부트스트랩의 차이점
- 베이즈 정리로 보는 몬티홀 딜레마
- 베이지안 패러다임
- 라플라스 계승 법칙
- 켤레사전분포
- 라플라스 사전분포
- 제프리 사전분포
- 통계학의 세가지 대표값: 최빈값, 중앙값, 평균
- 신용구간
- 신용구간과 신뢰구간의 차이
- 최고사후밀도 신용구간
- 베이즈 인자를 통한 가설검정
- 수리통계학에서의 확률과 확률의 덧셈법칙
- 수리통계학에서의 확률 변수와 확률 분포
- 수리통계학에서의 기대값, 평균, 분산, 적률의 정의
- 대표값의 수리적 성질 증명
- 평균과 분산의 성질들
- 공분산의 여러가지 성질들
- 피어슨 상관계수
- 수리통계학에서의 왜도
- 수리통계학에서의 첨도
- 적률생성함수란?
- n차 적률이 존재하면 차수가 n보다 작은 적률도 존재한다
- 수리통계학에서의 다변량 확률 분포
- 다변량 확률 변수의 변환
- 수리통계학에서의 조건부 확률 분포
- 수리통계학에서의 확률 변수의 독립
- 확률 변수들의 상호 독립과 iid
- 번스타인 분포: 짝으로 독립이라고 상호 독립은 아니다
- 정규분포를 따르는 두 확률 변수가 독립인 것과 공분산이 0인 것은 동치다
- 확률 변수들의 선형 결합
- 수리통계학에서의 랜덤 샘플
- 수리통계학에서의 통계량과 추정량
- 신뢰구간의 쉬운 정의
- 수리통계학에서의 편의
- 편의-분산 트레이드 오프
- 불편추정량
- 표본 분산을 n-1으로 나누는 이유
- 순서통계량
- 수리통계학에서의 확률 수렴
- 수리통계학에서의 분포 수렴
- 수리통계학에서의 확률 유계
- 확률수렴하면 분포수렴한다
- 분포수렴하면 확률유계다
- 약한 대수의 법칙 증명
- 중심극한 정리 증명
- 공분산 행렬
- 다변량 확률 변수의 확률 수렴
- 다변량 확률 변수의 분포 수렴
- 스튜던트의 정리 증명
- 일치추정량
- 최대우도추정량
- 수리통계학에서의 정칙성 조건
- 피셔 정보
- 바틀렛 항등식
- 라오-크래머 하한
- 효율적추정량
- 충분통계량
- 네이만 인수분해 정리 증명
- 라오-블랙웰 정리 증명
- 함수를 취한 확률변수꼴 합의 기대값
- 확률 밀도 함수의 컨볼루션 공식
- 지수족 확률분포
- 스털링 공식의 수리통계적 증명
- 수리통계학에서의 델타 메소드
- 우도함수의 정의
- 최소충분통계량
- 보조통계량
- 로케이션 패밀리
- 스케일 패밀리
- 완비통계량
- 바수 정리 증명
- 모먼트 메소드
- 지수족 확률분포의 완비통계량
- 최소충분통계량이 주어진 불편추정량의 분산은 최소가 된다
- 로케이션-스케일 패밀리의 보조통계량
- 새터스화이트 근사
- 최대우도추정량의 불변성질 증명
- 불편추정량의 라오-크래머 하한
- 최선불편추정량, 최소분산불편추정량 UMVUE
- 최소분산불편추정량의 유일성
- 레만-셰페 정리 증명
- 유일한 최대우도추정량은 충분통계량에 종속된다
- 랜덤샘플의 표본평균의 평균과 분산
- 수리통계적인 가설검정의 정의
- 로케이션 패밀리의 충분통계량과 최대우도추정량
- 수리통계적인 우도비검정의 정의
- 충분통계량이 포함된 우도비검정
- 가설 검정의 검정력 함수
- 불편 검정력 함수와 최강력검정
- 일변량 확률 변수 샘플링하는 법
- 네이만-피어슨 보조정리 증명
- 단조우도비의 정의
- 칼린-루빈 정리 증명
- 충분통계량이 포함된 최강력검정
- 수리통계적인 유의확률의 정의
- 구간추정량
- 수리통계적인 신뢰집합의 정의
- 수리통계학에서 피벗의 정의
- 가설검정과 신뢰집합의 일대일 대응관계
- 최정확 신뢰집합
- 확률적 증감함수와 신뢰구간
- 유니모달 분포의 최단 신뢰구간
- 표준오차의 일반적인 정의
- 가중평균의 정의
- 합동분산의 정의
- 조건부 기대값은 편차제곱합을 최소화한다
- 랜덤 벡터의 기대값
- 수리통계학에서의 주성분 분석 PCA