내적 타당도 저해 요인 역사 효과 성숙 효과 등 8가지

내 연구 결과를 믿을 수 없게 만드는 8가지 함정! 인과 관계를 위협하는 내적 타당도 저해 요인(역사 효과, 성숙 효과 등)의 개념과 예시를 총정리했습니다.

 

연구나 프로그램을 평가할 때, 우리는 "이 프로그램이 정말 효과가 있었는가?"라는 질문을 던집니다. 즉, 우리가 의도한 개입(독립변수)이 정말로 결과(종속변수)의 변화를 가져왔는지, 아니면 그 변화가 사실 다른 요인 때문에 발생했는지 확인해야 합니다.

이때, 그 변화가 정말 우리의 개입 때문에 일어났다고 확신할 수 있는 정도를 '내적 타당도'라고 합니다. 내적 타당도가 높아야 "이 프로그램이 효과가 있다"고 자신 있게 말할 수 있습니다.

 

하지만 이 인과 관계를 의심하게 만드는 '방해꾼'들이 있습니다. 이를 '내적 타당도 저해 요인'이라고 부릅니다. 오늘은 이 방해꾼들, 즉 내적 타당도를 떨어뜨리는 8가지 주요 요인에 대해 알기 쉽게 알아보겠습니다.

내적 타당도 저해 요인이란?

내적 타당도 저해 요인이란, 독립변수 이외에 종속변수에 영향을 미칠 수 있는 모든 제3의 변수 또는 외부 요인을 의미합니다. 이 요인들이 통제되지 않으면, 연구 결과의 변화가 순수하게 독립변수 때문인지, 아니면 이들 저해 요인 때문인지 구분할 수 없게 됩니다.

내적 타당도를 위협하는 8가지 요인

1. 역사 효과 (History Effect)

'우발적 사건'이라고도 합니다. 이는 연구 기간 중에 발생한, 연구자의 의도와는 무관한 외부의 큰 사건이 결과에 영향을 미치는 경우입니다.

예를 들어, 청소년의 우울증 감소 프로그램을 진행하는 도중에, 사회적으로 큰 감동을 주는 긍정적인 이슈가 발생하여 청소년들의 기분이 전반적으로 좋아졌다면, 프로그램 종료 후 우울증이 감소한 것이 순전히 프로그램 효과인지, 아니면 그 외부 사건의 영향인지 알기 어렵습니다.

2. 성숙 효과 (Maturation Effect)

이는 시간의 경과에 따라 연구 대상자들이 자연스럽게 성장하거나 변화하여(더 성숙해지거나, 늙거나, 피로해지는 등) 결과에 영향을 미치는 경우입니다.

예를 들어, 아동의 읽기 능력 향상 프로그램을 1년간 진행했을 때, 프로그램이 효과가 없었더라도 아동은 1년 동안 자연스럽게 성장하며 읽기 능력이 발달합니다. 이 자연적인 변화를 '성숙 효과'라고 합니다.

3. 검사 효과 (Testing Effect)

'시험 효과' 또는 '주시험 효과'라고도 합니다. 사전 검사를 받은 경험 자체가 사후 검사 점수에 영향을 미치는 현상입니다.

예를 들어, 특정 지식에 대해 사전 검사를 치른 사람은, 사후 검사에서 비슷한 유형의 문제에 더 익숙해지거나 요령이 생겨 점수가 오를 수 있습니다. 이는 프로그램의 효과가 아니라 검사 경험 때문일 수 있습니다.

4. 도구 효과 (Instrumentation Effect)

측정 도구나 측정 방법, 혹은 측정자가 달라져서 결과에 영향을 미치는 경우입니다.

예를 들어, 사전 검사에서는 쉬운 난이도의 설문지를 사용하고, 사후 검사에서는 어려운 난이도의 설문지를 사용한다면, 프로그램의 효과와 상관없이 점수는 다르게 나올 것입니다. 또한, 관찰자가 사전에는 꼼꼼하게 측정하다가 사후에는 지쳐서 대충 측정하는 '관찰자 피로'도 도구 효과의 일종입니다.

5. 통계적 회귀 (Statistical Regression)

극단적인 점수를 가진 사람들을 대상으로 연구할 때, 이들의 점수가 다음 검사에서는 자연스럽게 평균에 가까워지는 현상을 말합니다.

예를 들어, 성적이 반에서 가장 낮은 하위 5% 학생들을 대상으로 특별 프로그램을 진행했을 때, 이 학생들은 다음 시험에서 '찍어서 맞히는' 운이 조금만 따라줘도 이전의 극단적인 최하위 점수보다는 점수가 오를 가능성이 큽니다. 이는 프로그램 효과라기보다 평균으로 회귀하려는 통계적 현상일 수 있습니다.

6. 선택 편의 (Selection Bias)

실험집단과 통제집단을 나눌 때, 두 집단이 처음부터 동질적이지 않고 이질적인 특성을 가져서 결과가 다르게 나타나는 경우입니다. 무작위 할당이 이루어지지 않았을 때 주로 발생합니다.

예를 들어, 프로그램 참여를 원하는 '자원자'를 실험집단으로, 비자원자를 통제집단으로 구성하면, 자원자들은 원래부터 동기부여가 높아 프로그램 효과가 더 잘 나타날 수 있습니다.

7. 대상 탈락 (Mortality)

연구가 진행되는 과정에서 일부 대상자들이 중도에 탈락하는 경우입니다. 이 탈락이 무작위적으로 일어나지 않고, 특정 성향의 사람들(예: 가장 효과가 없던 사람들, 혹은 가장 증상이 심했던 사람들)이 더 많이 탈락한다면, 남아있는 사람들의 평균 점수는 왜곡될 수 있습니다.

8. 실험 확산 또는 모방 (Diffusion or Imitation)

실험집단에게 제공된 개입이나 정보가, 어떠한 경로로든 통제집단에게 전달되어 통제집단이 이를 모방하는 경우입니다. 이 경우, 두 집단 간의 차이가 실제보다 적게 나타나 프로그램 효과가 없는 것처럼 보일 수 있습니다.

정리하며

이러한 내적 타당도 저해 요인들을 이해하는 것은 매우 중요합니다. 연구자는 이러한 요인들이 개입할 가능성을 미리 인지하고, 통제집단을 설정하거나 무작위 할당을 하는 등 정교한 연구 설계를 통해 이들의 영향을 최소화하려 노력해야 합니다.