Axioms of Probability
Let $E \subset S$ be an event. Then we call the function $P : E \rightarrow \mathbb{R}$, following below conditions, the probability.
(1) $$0 \leq P(E) \leq 1$$
(2) $$P(S) = 1$$
(3) For any sequence of mutually exclusive events $E_1, E_2, ...$, $$P(\bigcup_{i=1}^{\infty} E_i) = \sum_{i=1}^{\infty} P(E_i)$$
통계적인 의미에서 확률은 relatvie frequency, 상대 빈도수의 관점에서 정의되었다. 즉, sample space가 $S$인 시행을 매번 정확히 같은 condition 하에 반복한다고 가정했을 때 $n(E)$를 $E$라는 사건이 일어난 횟수라고 한다면 $$P(E) = \lim_{n \rightarrow \infty} \frac{n(E)}{n}$$이다. 다시 말해 무한번 시행했을 때 $E$라는 사건이 일어난 비율이 $E$의 확률이다.
그러나 이러한 정의는 모든 사건에 대해서 위 극한이 존재하는지, 존재한다면 그 값을 어떻게 계산할 것인지에 대한 문제를 가지고 있다. 따라서 위 극한이 반드시 어떤 값으로 수렴한다는 사실을 공리로 택할 수도 있지만, 쉽게 납득될 만한 사실은 아니다. 때문에 위와 같은 직관적으로 납득할 만한 세 가지 공리를 정하고, 이로부터 확률을 정의한다. 그리고 큰 수의 법칙으로 인해 무한번 시행했을 때 공리적 확률과 극한으로 정의한 통계적 확률은 사실상 같은 값으로 수렴함을 알 수 있다.
Remark
Remark 1. $P(\emptyset) = 0$
$(\because)$ If we consider a sequence of mutually exclusive events $E_1, E_2, ...$, where $E_1 = S$ and $E_i = \emptyset$ for $i > 1$, then we have, from Axiom (3), $$P(S) = P(\bigcup_{i=1}^{\infty} E_i) = \sum_{i=1}^{\infty} E_i = P(S) + \sum_{i=2}^{\infty}$$ implying that $$P(\emptyset) = 0.$$
Remark 2. For any finite sequence of mutually exclusive events $E_1, ..., E_n$, $$P(\bigcup_{i=1}^n E_i) = \sum_{i=1}^n P(E_i)$$ $(\because)$ Define $E_i = \emptyset$ for $i > n$ from Axiom (3).