n×nn \times nn×n 직교행렬들의 집합을 O(n)\mathrm{O}(n)O(n)이라 표기하고 nnn차원 직교군orthogonal group in dimension nnn이라 한다.
O(n):={A∈Mn×n(R):AAT=I} \mathrm{O}(n) := {\left\{ A \in M_{n \times n}(\mathbb{R}) : AA^{T} = I \right\}} O(n):={A∈Mn×n(R):AAT=I}
직교행렬들의 집합이므로, 가역행렬들만 존재한다. 따라서 행렬 곱셈에 대해서 군이 되며, 일반선형군 GL(n,R)\mathrm{GL}(n, \mathbb{R})GL(n,R)의 부분군이다.
미분가능한 구조를 갖기 때문에 리 군이다.