확률론
이 카테고리에서는 주로 대학원생 이상 수준의 어려운 확률론을 다루고 측도론이나 위상수학을 사용하지 않는 직관적인 확률론은 수리통계학 카테고리로 빼두었다. 어려움의 정도에 따라 🔥 마크가 늘어나며, 하나면 측도론만 이해해도 충분하고 둘 이상이면 측도론 중에서도 어려운 측도론이나 위상수학까지 쓰였다고 보면 된다. 증명이나 유도과정이 심각하게 복잡한 경우에도 마크가 붙는다.
마크 | 세부 분류 |
---|---|
🔥 | 어려움 |
🔥🔥 | 개어려움 |
🔥🔥🔥 | 개쌉어려움 |
- 측도론과 확률론 요약: 기초적인 정의와 개념들을 하나의 글에 정리해놓았다.
$$ \begin{array}{lll} \text{Analysts’ Term} && \text{Probabilists’ Term} \\ \hline \text{Measure space } (X, \mathcal{E}, \mu) \text{ such that } \mu (X) = 1 && \text{Probability space } (\Omega, \mathcal{F}, P) \\ \text{Measure } \mu : \mathcal{E} \to \mathbb{R} \text{ such that } \mu (X) = 1 && \text{Probability } P : \mathcal{F} \to \mathbb{R} \\ (\sigma\text{-)algebra $\mathcal{E}$ on $X$} && (\sigma\text{-)field $\mathcal{F}$ on $\Omega$} \\ \text{Mesurable set } E \in \mathcal{E} && \text{Event } E \in \mathcal{F} \\ \text{Measurable real-valued function } f : X \to \mathbb{R} && \text{Random variable } X : \Omega \to \mathbb{R} \\ \text{Integral of } f, {\displaystyle \int f d\mu} && \text{Expextation of } f, E(X) \\ f \text{ is } L^{p} && X \text{ has finite $p$th moment} \\ \text{Almost everywhere, a.e.} && \text{Almost surely, a.s.} \end{array} $$
측도론적 확률론
엄밀한 정의
- 확률 🔥
- 확률 변수와 확률 분포 🔥
- 확률 변수의 독립 🔥
- 확률 변수의 밀도와 누적 분포 함수 🔥
- 디락 측도와 이산 확률 분포 🔥
- 기대값 🔥
- 특성 함수와 적률생성함수 🔥
- 조인트 분포와 마지널 분포 🔥
조건부 확률
확률과정
- 확률 수렴 🔥
- 확률론에서의 레비 정리 🔥🔥🔥
- 확률론에서의 세퍼레이팅 클래스 🔥🔥🔥
- 두 확률 측도가 서로 같아지는 조건 🔥🔥🔥
- 타이트 확률 측도 🔥🔥
- 확률론의 혼성 정리 🔥🔥🔥
- 분포 수렴 🔥🔥🔥
- 연속 사상 정리 🔥🔥
- 레비의 연속성 정리
확률과정론
- 확률과정이란? $X_{t}$
- 확률과정론에서 상태의 유형
- 전이확률 $p_{ij}$, $P(t)$
- 전이확률의 극한 $\pi_{j}$
- 콜모고로프 미분방정식 $P’(t) = Q P(t)$
- 일반화된 랜덤워크
- 도박꾼의 파산 문제
마코프 체인
- 이산 마코프 체인 DTMC
- 연속 마코프 체인 CTMC
- 채프만-콜모고로프 방정식 $P^{(n+m)} = P^{(n)} P^{(m)}$
- 히든 마코프 체인
- 지수분포를 통한 푸아송 프로세스의 정의
- 미분소 행렬을 통한 푸아송 프로세스의 정의
- 길레스피 확률 시뮬레이션 알고리즘 SSA
- 브랜칭 프로세스
- 갈톤-왓슨 프로세스
브라운 모션
마틴게일
- 마틴게일의 정의 🔥
- 확률과정론에서의 정지 시간 🔥
- 둡의 최대 부등식 🔥
- 확률과정론에서의 업크로싱 🔥
- 서브 마틴게일 수렴 정리 🔥
- 레귤러 마틴게일과 클로저블 마틴게일 🔥🔥
- 레귤러 마틴게일이면 균등적분가능 마틴게일이다 🔥🔥
- 균등적분가능 마틴게일이면 L1 수렴 마틴게일이다 🔥🔥🔥
- L1 수렴 마틴게일이면 클로저블 마틴게일이다 🔥🔥🔥
돈스커의 정리
- 확률과정론에서의 프로젝션 매핑 🔥🔥🔥
- 프리컴팩트 확률 과정 🔥🔥🔥
- 타이트 확률 과정 🔥🔥
- 돈스커의 정리 🔥
확률정보론
- 🔒(24/10/27) 헬링거 거리
엔트로피
- 샤넌 정보: 확률론으로 정의되는 정보 🔥
- 샤넌 엔트로피: 확률변수로 정의되는 엔트로피 🔥
- 조인트 엔트로피
- 조건부 엔트로피
- 크로스 엔트로피 🔥
- 상대적 엔트로피, 쿨백-라이블러 발산
- 깁스 부등식
주요 참고문헌
- Applebaum. (2008). Probability and Information(2nd Edition)
- Capinski. (1999). Measure, Integral and Probability
- Kimmel, Axelrod. (2006). Branching Processes in Biology
전체 포스트
- 두 사건이 독립이면 여사건끼리도 독립임을 증명
- 두 사건이 서로 배반이면 서로 종속임을 증명
- 측도론으로 정의되는 확률
- 사건의 독립과 조건부 확률
- 확률과정이란?
- 이산 마코프 체인
- 채프만-콜모고로프 방정식 유도
- 확률과정론에서 상태의 유형
- 전이확률의 극한
- 일반화된 랜덤워크
- 도박꾼의 파산 문제
- 히든 마코프 체인
- 지수분포를 통한 푸아송 프로세스의 정의
- 확률과정론의 인크리먼트
- 위너 프로세스
- 측도론으로 정의되는 확률 변수와 확률 분포
- 측도론으로 정의되는 확률 변수의 독립
- 측도론으로 정의되는 확률 변수의 밀도와 누적 분포 함수
- 측도론으로 정의되는 디락 측도와 이산 확률 분포
- 측도론으로 정의되는 기대값
- 측도론으로 정의되는 특성 함수와 적률생성함수
- 측도론으로 정의되는 조인트 분포와 마지널 분포
- 측도론으로 정의되는 확률 변수의 조건부 기대값
- 측도론으로 정의되는 확률 변수의 조건부 확률
- 조건부 기대값의 성질들
- 조건부 단조 수렴 정리 증명
- 조건부 지배 수렴 정리 증명
- 조건부 확률의 성질들
- 조건부 기대값의 스무딩 성질들
- 측도론으로 정의되는 조건부 분산
- 조건부 옌센 부등식 증명
- 마틴게일의 정의
- 확률과정론에서의 정지 시간
- 정지 시간의 성질들
- 선택적 샘플링 정리 증명
- 마틴게일의 부등식들
- 둡의 최대 부등식 증명
- 확률과정론에서의 업크로싱
- 서브 마틴게일 수렴 정리 증명
- 레귤러 마틴게일과 클로저블 마틴게일
- 레귤러 마틴게일이면 균등적분가능 마틴게일이다
- 측도론으로 정의되는 확률 수렴
- 균등적분가능 마틴게일이면 L1 수렴 마틴게일이다
- L1 수렴 마틴게일이면 클로저블 마틴게일이다
- 확률론에서의 레비 정리 증명
- 확률론에서의 세퍼레이팅 클래스
- 두 확률 측도가 서로 같아지는 조건
- 타이트 확률 측도
- 폴란드 공간에서 정의되는 확률 측도는 타이트하다
- 확률과정론에서의 프로젝션 매핑
- 확률론의 혼성 정리 증명
- 측도론으로 정의되는 분포 수렴
- 프리컴팩트 확률 과정
- 타이트 확률 과정
- 돈스커의 정리
- 연속 사상 정리 증명
- 샤넌 정보: 확률론으로 정의되는 정보
- 샤넌 엔트로피: 확률변수로 정의되는 엔트로피
- 조인트 엔트로피
- 조건부 엔트로피
- 크로스 엔트로피
- 상대적 엔트로피, 쿨백-라이블러 발산
- 깁스 부등식
- 기하 브라운 운동
- 가우스 과정
- 확률과정의 자기유사성과 허스트 인덱스
- 프랙털 브라운 운동
- 브랜칭 프로세스
- 골턴-왓슨 프로세스
- 확률과정의 전이확률
- 연속 마코프 체인
- 콜모고로프 미분방정식 유도
- 길레스피 확률 시뮬레이션 알고리즘
- 미분소 행렬을 통한 푸아송 프로세스의 정의
- 측도론과 확률론 요약 정리
- 확률론에서 레비의 연속성 정리
- 브룩의 보조정리 증명
- 확률분포의 헬링거 거리