데이터 전처리 오답 개념 정리

• 변수의 분류 
  1. 종속 변수
     • 영향을 받는 변수 (반응 변수)
     • 실험에서 결과의 예측 변수
  2. 독립 변수
     • 영향을 주는 변수 (설명 변수)
     • 실험에서 연구자에 의해 조작이 되는 변수
  3. 외생 변수
     • 독립 변수와 종속 변수 간의 상관관계가 없는데 있는 것처럼 보이도록 만드는 변수
     • 통제를 통해서 가식적 관계 제거해야 함
  4. 억압 변수
     • 독립변수와 종속변수 간에 상관관계가 있는데 없는 것처럼 보이도록 만드는 변수
• 데이터 정제
  • 데이터 변환
    • 데이터의 형태를 변환하거나 분산이 용이한 형태로 변환
    • ETL(Extract, Transform, Load) 통해 동일한 형태로 변환
  • 데이터 교정
    • 결측치 변환, 이상치 제거, 노이즈 데이터 교정
    • 비정형 데이터 수집 시 반드시 수행
  • 데이터 통합
    • 기존 유사 데이터와 연계 또는 통합
    • Legacy System 데이터와 통합하는 경우 수행
• 이상값 검출 위해 사용하는 방법
  • Clustering : 데이터를 여러 클러스터로 구분한 후 작은 크기의 클러스터나 클러스터 사이의 거리를 계산하여 먼 경우 해당 클러스터에 속한 값을 이상치로 판별
  • Density
    • 측정값이 LOF(Local Outlier Factor)를 계산하여 값이 가장 큰 데이터를 이상값으로 측정
    • 밀도 있는 데이터 셋으로 부터 먼 데이터가 이상값
    • 데이터가 가지는 상대적인 밀도까지 고려한 이상치 탐지 기법
  • Likelihood : 베이즈 정리에 의해 데이터 셋이 가지는 두가지 Sample(정상, 이상)에 대한 발생확률로 이상값을 판별
  • Nearest-Neighbor : 모든 데이터 쌍의 거리를 계산하여 검출하는 방법
  • Variance : 정규 분포에서 97.5% 이상 또는 2.5% 이하에 포함되는 값
  • Box-plot : 상자 그림을 통한 이상치 판정 (Q1, Q3, IQR)
• 결측값 대체 방법
  • 맥락적 사정 및 평가 : 어떠한 집단의 특징과 관련된 조사에서 필요한 원래 변수의 현상이 가지고 있는 집단의 목적 및 유형을 종합적으로 고려하며 일반 지식 수준에서 평가
  • 보삽법
    • 시계열 자료의 누락된 데이터 보완이나 연구, 정부의 예산처럼 심한 변동을 나타내지 않는 변수의 추정 시 유용
    • 보삽법 ⊃ 맥락적 사정 및 평가
  • 평가치 추정법
    • 작은 오차만의 감수하면서 원래의 값을 추정
    • 맥락적 사정이나 행렬식의 자료를 고려하여 추정