[수학] 기댓값과 공분산

[기댓값과 공분산]

• 확률과 관련된 가장 중요한 계산 중 하나는 함숫값들의 가중 평균을 구하는 것이다.
• 확률 밀도 p(x) 하에서 어떤 함수 f(x) 의 평균값은 f(x)의 기댓값 ( expectation ) 이라 하며, $ E[f] $ 라 적는다.

 

• 이산 분포의 경우 기댓값은 아래와 같다.
  • $ E[f] = \Sigma_{x} p(x) f(x) $
  • 각 x 값에 대한 확률을 가중치로 사용한 가중 평균이다.
• 연속변수의 경우 해당 확률 밀도에 대해 적분을 시행해서 기댓값을 구할 수 있다.
  • $ E[f] = \int f(x)p(x) dx$
• 유한한 N개의 포인트를 확률 분포 또는 확률 밀도에서 추출했다면, 이산/연속 모든 경우에 각 포인트들의 유한한 합산으로 기댓값을 근사할 수 있다.
  • $ E[f] \simeq {{1 \over N} \Sigma_{n=1}^{N} f(x_{n}) } $
• 다변수 함수의 기댓값을 구할 경우 어떤 변수에 대해 평균을 내는지를 지정하여 계산할 수 있다.
  • $ E_{x} [f(x, y)] $
  • f(x, y) 의 평균값을 x의 분포에 대해 구하라는 의미다.
• 조건부 기댓값 ( conditional expectation )
  • $ E_{x}[f|y] = \Sigma_{x} p(x|y) f(x) $
    
• f(x)의 분산 ( variance ) 정의
  • $ var[f] = E[ ( f(x) - E[f(x)] )^{2} ] $
  • f(x)가 평균값 E[f(x)] 로 부터 전반적으로 얼마나 멀리 분포되어 있는지를 나타낸 값이다.
  • $ var[f] = E[f(x)^{2}] - E[f(x)]^{2} $ 으로 표기할 수 있다.
  • 변수 x자체의 분산
    • $ var[x] = E[x^{2}] - E[x]^{2} $
• 두 개의 확률 변수 x, y에 대한 공분산 (covariance)
  • $ cov[x,y] = E_{x,y} [{x - E[x]} {y-E[y] }] = E_{x,y} [xy] - E[x]E[y] $
  • x값과 y값이 얼마나 함께 같이 변동하는가에 대한 지표.
  • 만약 x와 y가 독립적일 경우 공분산값은 0으로 간다.