Chap02 - Joint,Marginal,Conditional Probability Distribution

1. CONDITIONAL PROBABILITY(조건부 확률)

1.1 정의

조건부 확률(conditional probability)는 두 사건(event, 실험이나 관측 등의 행위에 의해 생긴 결과)에 대한 확률이다. 하나의 확률 변수(random variable)가 주어졌을 때 다른 확률 변수에 대한 확률이다. 즉, 어떤 사건 ​가 발생했을 때 사건 ​가 일어날 확률을 의미하며, 수식으로는 다음과 같이 나타낸다.

1.2 예제

한 개의 주사위를 던져서 홀수의 눈이 나왔을 때, 그 눈이 3의 배수일 확률을 구해보면 다음과 같이 구할 수 있다.

• 한 개의 주사위를 던져서 홀수의 눈이 나오는 사건을 ​, 3의 배수가 나오는 사건을 ​라고 한다.

• ​ 는 한 개의 주사위를 던져 홀수의 눈이 나올 확률이므로 ​

• ​는 한 개의 주사위를 던져서 홀수이면서 3의 배수가 나올 확률이므로 ​

• 따라서, ​는 다음과 같다.

2. JOINT, MARGINAL, CONDITIONAL PROBABILITY DISTRIBUTION

Joint, Marginal, Conditional Probability Distribution에 대해 알아보기 전에 확률분포, 확률 질량/밀도 함수에 대해 살펴보자.

2.1 확률분포

확률분포(probability distribution)는 확률변수가 확률함수(probability function)에 의해 ​사이의 값으로 매핑될 때 확률변수의 모든 값과 그에 대응하는 확률들이 어떻게 분포하고 있는지를 말한다. 즉, 확률분포란 확률변수에 따라 확률이 어떻게 흩어져 있는지를 표현하는 함수이다.

확률분포는 확률변수의 종류에 따라 이산확률분포와 연속확률분포로 나뉜다.

• 이산확률분포(discrete probability distribution)는 동전의 앞면과 뒷면, 주사위의 눈 등과 같이 셀 수 있는(countable) (이산)확률변수가 가지는 확률분포를 의미한다.

• 연속확률분포(continuous probability distribution)는 돈(moneytary), 온도, 시간 등과 같이 셀 수 없는 (연속)확률변수가 가지는 확률분포를 의미한다.

2.2 확률질량함수와 확률밀도함수

2.2.1 확률질량함수

확률질량함수(probability mass function, PMF)는 이산확률변수의 확률분포를 나타내는 함수이다. 즉, 이산확률변수 ​ 각각에 대해서 확률 ​을 대응시켜주는 함수 ​를 말한다.

확률질량함수(PMF)의 성질은 다음과 같다.

• 모든 확률변수 ​에 대하여 ​

• ​

• ​

2.2.2 확률밀도함수

확률밀도함수(probability density function, PDF)는 연속확률변수의 확률분포를 나타내는 함수이다. 연속확률변수는 이산확률변수와 달리 셀 수 없기 때문에 특정 값에 대한 확률값을 구할 수 없으며, 따라서 확률의 구간을 구하여 확률을 계산하게 된다.

즉, 확률밀도함수 ​와 구간 ​에 대해서 확률변수 ​가 구간에 포함될 확률은 다음과 같이 나타낼 수 있다.

확률밀도함수(PDF)의 성질은 다음과 같다.

• 모든 확률변수 ​에 대하여 ​

• ​

• ​

2.3 결합확률분포

결합확률분포(Joint probability distribution)는 두 개 이상의 사건이 동시에 일어날 확률에 대한 분포를 말한다. 따라서 두 개 이상의 확률변수를 가진다. 예를 들어, 두 확률변수(또는 사건) ​와 ​에 대한 결합확률은 다음과 같이 나타낸다.

이와 같이 결합확률이 되기 위해서는 다음과 같은 조건이 필요하다.

• 두 사건 ​와 ​는 동시에 일어나야 한다.

  • ex. 두 개의 주사위를 동시에 던지는 경우

• 두 사건 ​와 ​는 반드시 서로 독립(independent)이어야 한다. 즉, ​와 ​는 독립사건이어야 한다.

• 위의 두 조건을 만족할 경우 다음과 같이 나타낼 수 있다.

만약 두 사건 ​와 ​가 서로 종속(dependent)일 경우에는 어떻게 될까?

예를 들어,

• 하늘에 구름이 있을 확률을 사건 ​

• 비가 올 확률을 사건 ​ ​

한다면, 비는 구름에서 부터 생성되기 때문에 사건 ​는 사건 ​에 영향을 주게된다. 따라서 두 사건 ​와 ​는 서로 독립 사건이 아니게 된다.

이러한 경우에는 결합확률을 사용할 수 없는데, 그 이유는 두 사건 ​와 ​가 동시에 일어나지 않기 때문이다. 그러므로 위와 같은 사건 ​와 ​에 대한 결합확률은 결국 ​ 이 된다.

2.3.1 결합확률질량함수

결합확률질량함수(Joint Probability Mass Function)은 이산확률변수가 두 개 이상인 확률질량함수를 말한다. 두 개의 이산확률변수 ​와 ​ 에 대한 결합확률질량함수는 다음과 같다.

그리고, 두 이산확률변수 ​에 대한 결합확률에 대한 합은 다음과 같이 나타낼 수 있다.

이를 이산확률변수가 ​개인 ​으로 일반화하면 다음과 같다.

2.3.2 결합확률밀도함수

결합확률밀도함수(Joint Probability Density Function)은 연속확률변수가 두 개 이상인 확률밀도함수를 말한다. 두 개의 연속확률변수 ​에 대해 결합확률밀도함수 ​는 다음과 같이 나타낼 수 있다. 아래의 식에서 ​는 두 확률변수 ​가 형성하는 특정 공간(집합)을 의미한다.

결합확률밀도함수 또한 (면적의) 총합은 1이면 다음의 식과 같다.

2.4 주변확률분포

주변확률분포는 결합확률분포를 전제로 하기 때문에, 주변확률(marginal probability)을 이해하기 위해서는 먼저 결합확률(joint probability)에 대해 알아야 한다. 두 개의 확률변수 ​의 결합확률분포 ​를 통해 하나의 확률변수에 대한 확률함수를 구할 수 있는데, 이를 주변확률분포로 구할 수 있다. 즉, ​ 두 개의 확률변수로 이루어진 결합확률분포를 ​ 또는 ​의 하나의 확률변수로 표현하는 것을 주변확률분포라고 한다.

그렇다면 왜 이러한 확률분포를 주변확률(marginal probablity)이라고 명명했을까?

marginal이란 단어의 사전적 의미는 '미미한, 중요하지 않은, 주변부의' 라는 의미를 가진다.

예를 들어, 두 확률변수 ​에 대한 결합확률분포 ​에서 ​에 대한 확률분포를 구하고자 한다면, 우리는 오로지 확률변수 ​에만 관심이 있고 확률변수 ​에 대해서는 관심을 가질 필요가 없게 된다. 따라서, 확률변수 ​를 중요하지 않은 변수로 취급(marginalize)하기 때문에 이러한 이름을 붙이지 않았나 추측된다.

2.4.1 주변확률질량함수

두 확률변수 ​ 가 이산확률변수일 때에는 주변확률질량함수를 다음과 같이 나타낼 수 있다.

• ​에 대한 주변확률질량함수(Marginal PMF)

• ​에 대한 주변확률질량함수(Marginal PMF)

2.4.2 주변확률밀도함수

두 확률변수 ​ 가 연속확률변수일 때에는 주변확률밀도함수를 다음과 같이 나타낼 수 있다.

• ​에 대한 주변확률밀도함수(Marginal PDF)

• ​에 대한 주변확률밀도함수

2.5 조건부확률분포

조건부확률분포(conditional probability distribution)는 두 개의 확률변수(또는 사건) ​에 대하여 결합확률분포와 주변확률분포를 이용해 다음과 같이 구할 수 있다.

2.5.1 조건부확률질량함수

두 확률변수 ​ 가 이산확률변수일 때에는 조건부확률질량함수를 다음과 같이 나타낼 수 있다.

• ​의 조건부확률분포를 구할 때 확률변수 ​는 특정한 값(사전에 알고 있는 값)으로 주어진다.

• 마찬가지로, ​의 조건부확률분포를 구할 때 확률변수 ​는 특정한 값(사전에 알고 있는 값)으로 주어진다.

2.5.2 조건부확률밀도함수

두 확률변수 ​ 가 연속확률변수이고 ​, ​ 라고 한다면, 조건부확률질량함수를 다음과 같이 나타낼 수 있다.

조건부확률밀도함수를 그래프로 살펴보면 아래와 같으며, 왼쪽의 그래프는 확률변수 ​가 ​로 주어질 때 ​에 대한 조건부확률밀도함수이며, 오른쪽 그래프는 ​의 조건부확률밀도함수의 그래프이다.

2.5.3 조건부 기대값 및 분산

조건부 확률분포에 대해 ​일 때의 ​의 조건부 기대값은 다음과 같이 구할 수 있다.

또한, ​ 일 때 ​의 조건부 분산은 다음과 같다.

2.6 주변확률분포와 조건부확률분포의 차이

주변확률분포와 조건부확률분포의 차이를 다음의 예제를 통해 알아보도록 하자.

두 개의 주사위를 던질 때 하나의 주사위에 대한 확률변수를 ​, 다른하나를 ​라고 한다면, 두 확률변수에 대한 결합확률 분포는 아래의 표와 같다.

각 확률변수에 대한 주변확률분포와 조건부확률분포는 다음의 그림과 같이 구할 수 있다.

위의 그림에서 알 수 있듯이 조건부확률분포(conditional probability distribution)는 결합확률분포에서 하나의 확률변수가 특정한 값을 가질 때에 대한 확률분포를 의미하며, 주변확률분포(marginal probability distribution)는 하나의 확률변수를 제외(?)한 확률분포임을 알 수 있다.

3. INDEPENDENT RANDOM VARIABLE

3.1 확률변수의 독립

위의 2번에서 살펴본 결합, 주변, 조건부확률분포를 토대로 확률변수에 대한 독립을 정의한다면 다음과 같이 정의할 수 있다.

두 확률변수 ​의 결합확률함수(pdf 또는 pmf)가 주변확률함수의 곱과 같을 때 독립(independent)라고 한다.

이를 조건부확률함수로 나타내면 다음과 같이 나타낼 수 있다.

위의 식은 두 확률변수 ​가 독립이면 ​의 조건부확률분포는 조건(주어지는)이 되는 확률변수 ​의 값에 영향을 받지 않는다. 즉, ​때와 ​일 때의 조건부 확률분포 ​과 ​가 ​로 같다는 것을 의미한다.

​개의 확률변수 ​이 서로 독립일 경우에는 다음의 식과 같다.

3.2 독립 확률변수의 기대값 및 분산

두 확률변수 ​가 서로 독립일 경우에 기대값과 분산은 다음과 같다.