준실험을 계획하는데 이해해야 하는 설계 3종류

실험이 주로 자연과학에서 사용되는 것이라면, 준실험과 비실험적인 연구는 주로 사회과학과 심리학에서 하는 부분이다. 간단하게 설명하자면 실험은 주로 원인을 밝혀내는데 사용된다. 반면에 준실험은 자연 상태에서의 연구와 "실험을 할 수 없는 것"을 실험하며, 최대한의 관계변수와 혼재변수를 줄이는 것을 목표로 하는 실험이다. 

마지막으로 비실험은 주로 "상관관계"(corrlation)을 지레짐작하는데 쓰이는 실험이다. 이 경우 실험하려면 비인간적인 절차를 거쳐야 하는 경우 사용한다. 대부분의 통계의 경우, 교수나 학풍, 그리고 관련 과에 따라 준실험과 비실험이 갈릴때가 있다. 이 두 실험은 비실험과 비실험에 준하는 것을 최대한 진실험에 가깝게 그렇기에 최대한 

먼저 개념을 알고보자. 

변수들의 종류를 알고오자[클릭]

준실험 (Quasi-experiment)의 종류들

준실험은 3가지 종류로 나뉜다. 

• (Person vs Treatment)/  측정변수, 비측정변수가 섞인 준실험을 말한다. 많은 분야가 있지만 
• 사전사후설계/Non equivalent groups pretest post-test design (복수집단 시계열 조사설계라고도 한다)
• 자연주의적 설계/ Naturalistic design - ex post Fact연구라고도 한다. 

Person VS Treatment 측정변수와 비측정변수가 섞여있거나, 대상 그룹이 하나인 경우

우선 person vs treatment는 저번 글[클릭] 에서 설명했던데로, 측정변수(True-IV)와 비측정변수(Quasi-Variable)이 섞인 실험이다. 예를들면 이런거다. 나는 동전 앞면과 뒷면으로 러스트와 미연시게임을 하는 부류를 나누었고,(이건 무작위로 분배된거니 측정변수가 맞다) 그리고 비측정변수인 나이에 근거해서 실험의 그룹을 나눴었다. 이게 바로 person vs treatment라고 볼 수 있다.

Person vs Treatment 설계는 One-Group Pretest-Posttest Design (단일 집단 시계열 조사)를 포함한다. 무작위 선택에 의해 비교집단을 설정하기 곤란한 경우에 조사대상 집단에 대하여 독립변수의 조작 전과 후에 일정한 시차적 관찰이 가능하도록 하여 전후조사로 인과관계를 확인하고자 하는 설계이다. 예를들면 한 그룹에 서로 다른 균을 주사한다던가, 여튼 서로 다른 그룹이 아닌, 첫번째는 물을 넣고, 두번째는 바이러스를 넣었을때 차이를 관찰한다던가 하는 실험을 말하기도 한다. 

우리가 먼저 Pretest를 하는 이유는 이 집단이 비슷한 집단이라는 것을 증명하기 위해서이고, post-test를 하는 이유는, 이 집단들이 서로 다른 처치 이후에 어떻게 달라졌냐를 이야기하기 위함이다. 

이 예는 좀 과한 예이면서 가면 틀린 예시기도 하지만, 연파랑고 1학년 3반의 경우, 반이 하나로 붙어있고 둘이 나뉠수가 없기 때문에, 나미리 선생님이 가르칠때 귀를 막을 수 없고, 조은비선생님이 가르칠때 귀를 막게 할수도 없다. 즉 둘다 들어야 되기 때문에 저런 그래프가 기말고사 후 설문조사 이후에 도출된다고 해도, 정말 조은비 선생님이 나미리 선생님보다 더 잘 가르칠지 신뢰할 수 없다.

그렇다고 연파랑고 1학년 3반을 조은비 선생님이 가르치는 학생 그룹과, 나미리 선생님이 가르치는 그룹의 학생으로 나누었을 땐 이것은 이미 단일 그룹이 아니게 된다. One group이 아니게 된다는 말이다. 자 그럼 두 그룹으로 나누어 보자.

 

복수집단 시계열 조사설계 Non equivalent Groups Pretest Posttest design 

• 이 설계에서는 Random assignment(무작위 배정) 로 정해진 True-IV가 존재하지 않는다. 또한 모든 것이 비측정 변수(Quasi-variable)로 이루어진 설계이다. 
  

그럼 연파랑고 1학년 2반을 투입해보자 1학년 2반을 조은비 선생님에게 1학년 3반을 나미리 선생님에게 주고 가르쳐 보았다. 

여기서 가정할 것은 교장이 반을 나눌때 무작위 추첨으로 반을 나누지 않았다고 가정했을 때이다. 서로 남녀비율도 같고 나이도 같다. 그리고 선생님의 성별도 같다. 추가로 남자 교생선생님도 붙여두었다고 가정했다. 그리고 중간고사에서 시험을 쳐서 연파랑고 1학년 2반이 3반보다 약간 평균이 낮은 것도 확인했지만 거의 비슷한 수준의 중간고사 성적을 보유한 집단이라는 것을 알았다. 

즉 반을 나눌때 무작위로 나지 않더라도, 최대한 남녀비율과 조건을 비슷하게 하고, 미리 이 두 집단의 성적의 차이가 별로 차이가 없다는 결론을 도출해 내었을 때(Pretest) ,

Posttest인 기말고사의 여부에 따라 양 선생님의 능력을 최대한 신뢰하게 할 수 있는 결과가 나오는 것이다. 이것이 바로 복수집단 시계열 조사설계이다. 다만 두 집단의 중간고사 성적이 달랐을 때는 selection difference가 발생할 수 있다. 즉 어느 방법을 선택할지는 여러분의 자유이다. 우리는 이러한 실험을 통해 나미리 선생님이 학생 성적에 영향을 채성아 선생님보다 못 끼친다고 어느정도 인과관계를 예상할 수 있는 것이다. 

자연주의적 설계 (Naturalistic Design)

자연주의적 설계는 조금 복잡하다.또한 이건 준실험과 비실험의 경계에 있는 실험인데, 비실험이라고 간주하는 학과는 Ex post fact연구라고 하기도 한다.  여기는 Haphazard Assignment가 들어간다. Haphazard가 무엇인지 모르는 사람들을 위해 예전에 정리해놓은적이 있다. 

잠깐! Random과 haphazard의 차이

사람들은 랜덤이라는 것을 아무거나 고르는 것으로 이해하는 경향이 있습니다. 그건 haphazard 라고 합니다. 직역하면 "무계획적인 것" 인데요. 랜덤이라는 것은 어떤 사람이 그것을 고르던지 그 확률이 같아야 합니다. 예를들면 각 부분의 넓이가 다른 다트판을 이용해 추첨하는 것은 haphazard입니다. 꽝이 전체 면적의 40%를 차지하고 나머지 10개 당첨품목이 각자 7-6%안팍이라면 이건 haphazard입니다. 만약 동등한 다트판을 이용했다면 Random이라 말할 수 있습니다. 

마찬가지로 무게가 같은 작대기가 들어있는 제비뽑기나, 주사위, 동전 토스 같은 경우라면 랜덤입니다. 동전의 경우 양 면이 무게가 같아야 합니다. 무게가 다르다면 haphazard입니다. 

이거보다 더 쉽게 설명하자면, "내가 마음에 드는 애 랜덤으로 하나 뽑을꺼야" 이건 사실 랜덤이 아니고 haphazard라는 것이다. 갑자기 떠오르는 한 사람을 지목하거나, "내가 빙글빙글 돌다가 내가 멈추는 방향에 있는 애 발표시킬꺼야." 하는 것도 무작위 또는 랜덤이 아니라 Haphazard(대책없는 것) 이라는 것이다. 한마디로 답이 없다는 것이다. 

즉 Haphazard는 요약하자면 랜덤 비스무레한 것

• 실험의 계획자, 실행자도 개입하지 않음
• 시험의 참여자도 개입하지 않음
• 그리고 서로 각 집단에 소속되게 될 확률이 다름 (이게 바로 Random이 아닌 이유이다) 

가장 좋은 예로 지진이 있다. 우선 지진으로 집이 부서진 여부를 생각해 보자.

자 우선 실험자인 내가 동전을 던져서 "음 뒷면이 나오면 니네집은 부서지고 앞면이 나오면 니네집은 안 부서질거야.." 라고 할수 있는가? 없다. 그렇다고 해서 사람들이 우리집이 부서질지 안 부서질지 선택할 수 있는가? 당연히 없다. 그렇다고 집이 부서질 확률이 같은가? 그렇지도 않다. 지진 근원지나, 아니면 집이 위치한 지반이 무른 지반인지, 단단한 지반인지 다르기 때문이다. 즉 지반이 무르고 진원지에 가까울수록 부서질수도 있다. 경제적 격차로 인한 집의 보수 여부와 내진설계가 되어있는 곳인지에 대한 부분도 영향을 준다. 

즉 이 연구에서 집이 부서진 그룹과, 집이 부서지지 않은 그룹이 있다면, 단단한 지반에 사는 사람이던, 지반이 무른곳에 사는 사람이던 어느 특정 그룹에 속할 확률이 특별하게 높은 집들이 존재한단 것이다. 이게 바로 "무작위" 또는 "랜덤"으로 지진에 의해 집이 무너지는 것이 아니라는 것이다. 이건 랜덤이 아니라 Haphazard이다 특정 집은 특정 그룹에 속할 확률이 그렇지 않을 확률보다 많기 때문이다. 

자연주의적 설계는 바로 이런 곳에 쓰이는 것이다. 첫번째로는 부서진 사람들중에서 최대한 심리학 연구에 방해를 주는 혼재변수인 나이와, 정신건강의 영향을 끼치는 남자 여자를 나누어서 조사하고, 최대한 혼재변수를 줄여 조사하는 것을 말한다.