Bernoulli Distribution
Definition 1. Let $\{ X_i \}_{i=1}^n$ be a Bernoulli process with $X_1, ..., X_n \stackrel{iid}{\sim} Bernoulli(p)$. If we put $X = \sum_{i=1}^n X_i$, i.e., $X$ is the total number of successes, then a random variable $X$ that has a pmf of the form below is said to have a binomial distribution, denoted by $X \sim B(n, p)$.
Let $X \sim B(n, p)$.
(1) Pmf: $p(x) = \binom{n}{x} p^x (1-p)^{n-x}, x = 0, 1, ..., n$
(2) Expectation: $\mu = E(X) = np$
(3) Variation: $\sigma^2 = \text{Var}(X) = np(1-p)$
(4) Mgf: $M(t) = (pe^t + q)^n$, where $q = 1-p$.
위 정의와 같이, 이항 분포는 독립적으로 시행된 $n$번의 베르누이 시행의 합으로 정의된다. 이때 이항분포는 $n$번의 성공 중 얼마나 성공했는지, 즉 횟수에 관해서만 알려주고 그 순서는 고려하지 않는다. 때문에 pmf에서도 combination을 사용했음을 알 수 있다. 예컨대 $n=3$이고 $x = 2$인 경우 가능한 가짓수는 $1 1 0, 1 0 1, 0 1 1$로 세 가지가 존재하지만 이항분포는 모든 가짓수를 동등하게 취급하고 성공의 횟수만 카운트한다.
Weak Law of Large Numbers
Remark. Let $X \sim B(n, p)$. By Chebyshev's inequality, we have for all $\varepsilon > 0$, $$P \left( \left| \frac{X}{n} - p \right| \ge \varepsilon \right) \le \frac{\text{Var}\left(\frac{X}{n} \right)}{\varepsilon^2} = \frac{p(1-p)}{n \varepsilon^2} \\ \Longrightarrow \lim_{n \to \infty} P \left( \left| \frac{X}{n} - p \right| \ge \varepsilon \right) = 0 \\ \iff \lim_{n \to \infty} P \left( \left| \frac{X}{n} - p \right| < \varepsilon \right) = 1.$$ The ratio $\frac{X}{n}$ is called the relative frequency of success. This result is one form of the Weak Law of Large Numbers.