사건집합(Event Set)

사건집합(Event Set)은 가능한 모든 사건$(e)$들의 집합을 의미하며, $\Omega$(오메가)로 표현합니다. 예를 들어, 동전 던지기 게임을 한다고 가정하면, 가능한 모든 사건은 앞면이 나오는 경우와 뒷면이 나오는 경우 2가지가 존재합니다. 이는 가능한 모든 사건의 개수가 유한하기 때문에 이산(Discrete) 이라고 하며, 사건의 개수가 무한할 때는 연속(Continuous)라고 합니다.

• 사건집합 : \(\Omega = \{e_1, e_2, \cdots, e_D\}\)
• 이산 : $| \Omega | < \infty$
• 연속 : $| \Omega | = \infty$

Hypothesis Set

가설집합(Hypothesis Set)이란, 어떠한 문제가 주어졌을 때 문제를 해결하기 위한 알고리즘, 즉 모델 아키텍쳐를의미하며 문자 $\mathcal{H}$로 표현합니다. 모델 아키텍쳐는 Graph라고 부르기도 하며, 하이퍼 파라미터($\theta$)에 따라 무수히 많이 생성될 수 있습니다. 하이퍼 파라미터는 레이어의 개수, 각 레이어를 구성하는 노드의 개수, 최적화 방법, 배치 사이즈 등 많은 파라미터로 구성되어 있습니다. 아래 그림은 수많은 그래프들의 예시입니다.

알고리즘(Algorithm)은 어떠한 문제를 해결하기 위한 일련의 명령을 의미합니다. 머신러닝 기술이 적용되기 이전에는 1) 문제에 대한 자세한 설명이 주어지고 2) 해당 문제를 해결하기 위한 알고리즘을 설계하는 방식으로 진행되었습니다.