군의 기약표현
정의
군 $G$와 유한차원 벡터공간 $V$가 주어졌다고 하자. $\operatorname{GL}(V)$를 일반선형군이라 하자. 아래와 같은 준동형사상 $\rho$를 $V$위에서의 $G$의 표현representation of $G$ on $V$이라 한다.
$$ \rho : G \to \operatorname{GL}(V) $$
$\rho$-불변
$V$의 부분공간 $W$가 다음을 만족하면 $\rho$-불변invariant under $\rho$ 혹은 $G$-불변invariant under $G$이라고 한다.
$$ \rho (g) (W) \subset W, \qquad \forall g \in G $$
부분 표현
$\rho$-불변인 $W$에 대해서, 다음을 만족하는 $\sigma : G \to \operatorname{GL}(W)$는 자명하게도 $G$의 표현이다. 이러한 $\sigma$를 $\rho$의 부분 표현subrepresentation이라고 한다.
$$ \sigma (g) = \rho (g)|_{W}, \qquad \forall g \in G, $$
기약표현, 가약표현
$V$의 자명한 부분공간 $V$, $\varnothing$은 항상 불변이다. $V$가 자명하지 않은 불변 부분공간을 가지면, $V$를 약분가능reducible하다고 한다. 그렇지 않으면, 즉 자명하지 않은 불변 부분공간을 가지지 않으면 $V$를 기약(약분불가능)irreducible이라 한다.
설명
어째 선형대수학에서 배운 선형변환의 특성다항식이 불변공간위의 축소사상들의 특성다항식으로 나눌 수 있다는 것과 비슷해보인다. 실제로 같은 내용이라고 보면 된다. 유한차원 벡터공간 $V$ 위의 선형변화 $T : V \to V$에 대해서, $V$가 $T$-불변 부분공간 $W_{i}$들의 직합으로 나타난다고 하자.
$$ V = W_{1} \oplus W_{2} \oplus \cdots \oplus W_{k} $$
그러면 $T$의 행렬표현은 $T|_{W_{i}}$들의 행렬표현의 블록 대각행렬 꼴로 나타난다
$$ [T] = \begin{bmatrix} [T|_{W_{1}}] & O & \cdots & O \\ O & [T|_{W_{2}}] & \cdots & O \\ \vdots & \vdots & \ddots & \vdots \\ O & O & \cdots & [T|_{W_{k}}] \end{bmatrix} $$
이와 마찬가지로, 표현이 약분가능하다는 것은 블록대각행렬로 나타낼 수 있다는 것이다. 가령 $W_{1}, W_{2}$가 표현 $\rho : G \to \operatorname{GL}(n, \mathbb{R})$에 대해서 불변이고, $\mathbb{R}^{n} = W_{1} \oplus W_{2}$이면, $\rho(g)$는 다음과 같은 블록대각행렬로 나타낼 수 있다. (선형변환과 이의 행렬표현에 대해 같은 표기법을 사용하자)
$$ \rho(g) = \begin{bmatrix} \rho(g)|_{W_{1}} & O \\ O & \rho(g)|_{W_{2}} \end{bmatrix} $$
다시말해 표현 $\rho$를 두 표현 $\rho|_{W_{1}}$과 $\rho|_{W_{2}}$의 직합으로 나타낼 수 있다.
예시
전단 변환
정수의 덧셈군 $G = (\mathbb{Z}, +)$를 생각하고, 다음과 같이 $\mathbb{R}^{2}$ 위에서의 표현 $\rho : \mathbb{Z} \to \operatorname{GL}(2, \mathbb{R})$을 정의하자.
$$ \rho (n) = \begin{bmatrix} 1 & n \\ 0 & 1 \end{bmatrix} $$
이것이 표현임은 다음과 같이 확인된다. 두 정수 $m, n \in \mathbb{Z}$에 대해서
$$ \rho (m) \rho (n) = \begin{bmatrix} 1 & m \\ 0 & 1 \end{bmatrix} \begin{bmatrix} 1 & n \\ 0 & 1 \end{bmatrix} = \begin{bmatrix} 1 & m + n \\ 0 & 1 \end{bmatrix} = \rho (m + n) $$
이므로 $\rho$는 준동형사상이다. 이제 $x$축에 해당하는 부분공간
$$ W = \left\{ \begin{bmatrix} x \\ 0 \end{bmatrix} : x \in \mathbb{R} \right\} = \operatorname{span} \left\{ \begin{bmatrix} 1 \\ 0 \end{bmatrix} \right\} $$
을 생각하자. 임의의 $n \in \mathbb{Z}$와 $\begin{bmatrix} x & 0 \end{bmatrix}^{\mathsf{T}} \in W$에 대해서
$$ \rho (n) \begin{bmatrix} x \\ 0 \end{bmatrix} = \begin{bmatrix} 1 & n \\ 0 & 1 \end{bmatrix} \begin{bmatrix} x \\ 0 \end{bmatrix} = \begin{bmatrix} x \\ 0 \end{bmatrix} \in W $$
이므로 $\rho (n) (W) \subset W$가 모든 $n$에 대해 성립한다. 따라서 $W$는 $\rho$-불변인 자명하지 않은 부분공간이고, 이 표현은 약분가능하다.
반면 $y$축에 해당하는 부분공간 $W^{\prime} = \operatorname{span} \left\{ \begin{bmatrix} 0 & 1 \end{bmatrix}^{\mathsf{T}} \right\}$은 불변이 아니다. $n \neq 0$일 때
$$ \rho (n) \begin{bmatrix} 0 \\ 1 \end{bmatrix} = \begin{bmatrix} 1 & n \\ 0 & 1 \end{bmatrix} \begin{bmatrix} 0 \\ 1 \end{bmatrix} = \begin{bmatrix} n \\ 1 \end{bmatrix} \notin W^{\prime} $$
이기 때문이다. 실제로 이 표현에서 자명하지 않은 불변 부분공간은 $W$ 하나뿐이다. 따라서 $\mathbb{R}^{2}$를 두 불변 부분공간의 직합으로 쪼갤 수 없으므로, $\rho(n)$은 위에서 본 블록대각행렬 꼴로 나타낼 수 없다. 즉, 약분가능하다고 해서 항상 블록대각행렬로 분해되는 것은 아니다.
2차원 회전
이번에는 평면의 회전을 생각하자. 회전군 $G = \operatorname{SO}(2)$의 원소 $\theta$에 대해서 $\mathbb{R}^{2}$ 위의 표현 $\rho : \operatorname{SO}(2) \to \operatorname{GL}(2, \mathbb{R})$을 다음과 같이 정의한다.
$$ \rho (\theta) = \begin{bmatrix} \cos \theta & - \sin \theta \\ \sin \theta & \cos \theta \end{bmatrix} $$
회전의 합성이 각의 덧셈에 대응하므로 $\rho (\theta_{1}) \rho (\theta_{2}) = \rho (\theta_{1} + \theta_{2})$가 성립하여 $\rho$는 준동형사상이다.
이 표현은 앞의 예시와 달리 자명하지 않은 불변 부분공간을 가지지 않는다. $\mathbb{R}^{2}$의 자명하지 않은 부분공간은 모두 원점을 지나는 직선, 즉 어떤 $0$이 아닌 벡터 $\mathbf{v}$에 대한 $\operatorname{span} \{ \mathbf{v} \}$ 꼴이다. 이러한 직선이 불변이려면 $\rho (\theta) \mathbf{v} = \lambda \mathbf{v}$인 실수 $\lambda$가 존재해야 하므로, $\mathbf{v}$는 $\rho (\theta)$의 실수 고윳값에 대응하는 고유벡터여야 한다. 그런데 $\rho (\theta)$의 특성다항식은
$$ \det \left( \rho (\theta) - \lambda I \right) = (\cos \theta - \lambda)^{2} + \sin^{2} \theta = \lambda^{2} - 2 \lambda \cos \theta + 1 $$
이고, 그 판별식은 $4 \cos^{2} \theta - 4 = - 4 \sin^{2} \theta \le 0$이다. 따라서 $\theta \neq 0, \pi$인 회전에 대해서는 실수 고윳값이 존재하지 않아 불변인 직선도 존재하지 않는다.
결국 $\mathbb{R}^{2}$는 회전 표현 $\rho$에 대해 자명하지 않은 불변 부분공간을 가지지 않으므로, 이 표현은 기약이다. 같은 회전행렬이라도 복소 벡터공간 $\mathbb{C}^{2}$ 위에서는 고윳값 $e^{\pm i \theta}$에 대응하는 고유벡터로 분해되어 약분가능해지는데, 이는 기약 여부가 바탕이 되는 체field에 따라 달라질 수 있음을 보여준다.
3차원 회전
2차원 회전과 달리, 어떤 고정된 축을 중심으로 하는 3차원 회전은 자명하지 않은 불변 부분공간을 가진다. $z$축을 중심으로 하는 회전들의 군 $G = \{ R_{z} (\theta) : \theta \in \mathbb{R} \}$을 생각하고, $\mathbb{R}^{3}$ 위의 표현을 다음과 같이 정의하자.
$$ \rho (\theta) = \begin{bmatrix} \cos \theta & - \sin \theta & 0 \\ \sin \theta & \cos \theta & 0 \\ 0 & 0 & 1 \end{bmatrix} $$
회전축인 $z$축에 해당하는 부분공간 $W_{1} = \operatorname{span} \{ \mathbf{e}_{3} \}$은 모든 회전에 의해 고정되므로 불변이다.
$$ \rho (\theta) \begin{bmatrix} 0 \\ 0 \\ z \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \\ z \end{bmatrix} \in W_{1} $$
또한 회전축에 수직인 $xy$평면 $W_{2} = \operatorname{span} \{ \mathbf{e}_{1}, \mathbf{e}_{2} \}$도 회전에 의해 자기 자신으로 옮겨지므로 불변이다.
$$ \rho (\theta) \begin{bmatrix} x \\ y \\ 0 \end{bmatrix} = \begin{bmatrix} x \cos \theta - y \sin \theta \\ x \sin \theta + y \cos \theta \\ 0 \end{bmatrix} \in W_{2} $$
따라서 $\mathbb{R}^{3} = W_{1} \oplus W_{2}$는 두 불변 부분공간의 직합으로 분해되고, 이 표현은 약분가능하다. 실제로 $\rho (\theta)$는 $1$차원 자명표현(회전축)과 $2$차원 회전표현(수직 평면)의 블록대각행렬 꼴로 나타난다. $W_{2}$ 위로 제한한 표현은 앞에서 본 2차원 회전이므로 더 이상 (실수 위에서) 쪼개지지 않는다.
다만 이 약분가능성은 회전축을 하나로 고정했기 때문에 생긴 것임에 유의하자. 만약 모든 3차원 회전을 포함하는 군 $\operatorname{SO}(3)$ 전체를 생각하면, 모든 회전에 대해 동시에 불변인 직선이나 평면은 존재하지 않으므로 $\mathbb{R}^{3}$ 위의 이 표현은 기약이 된다.