22일 한국조사협회(KORA)가 '정치선거 전화여론조사기준'을 발표했다. 전화면접조사에 대한 자체 규정을 마련해 선언하는 식으로 공개했다. 그런데 일부 언론에서 마치 정부가 ARS 조사를 선거 여론조사에서 배제하는 방향으로 새롭게 규제한다는 것처럼 오인할 수 있는 제목의 보도가 나와 약간의 혼선이 있었다. 필자에게도 문의가 여럿 와 설명하는 데만 하루 넘게 걸린 것 같다.

그래서 전화면접 여론조사와 ARS 조사의 다른 점 등 여론조사에 관심이 있는 독자가 있을 듯해 정리해보고자 한다.

한국조사협회 전화면접 여론조사 자율 규정 내용
 

큰사진보기
▲  한국조사협회가 23일 발표한 '정치선거 전화여론조사기준 제정' 관련 자료.
ⓒ 한국조사협회	관련사진보기

 
먼저, 문제의 발단이 된 한국조사협회의 결정 내용을 살펴보자. 미리 강조하지만, 30여 개 협회 회원사 대상으로 품질이 좋은 전화면접 여론조사를 하자는 자율적인 규정으로 이해해야 한다. 구체적인 내용은 다음과 같다. 
 

▲수치 표기:  소수점 이하 반올림한 정수로 표기
▲조사 기간: 2일 이상
▲문항 규모: 응답자 피로도 고려 13문항 이하 권장
▲표본오차 해석: 전체와 지역·연령 등 하위 변수까지 표본오차 고려
▲통화 시도: 전화를 안 받을 때 최소 3차례 이상 시도
▲응답률(가상번호): 전국 단위 조사 시 통신 3사 휴대전화 가상 번호 최소 10% 이상
▲응답률(임의걸기): 컴퓨터로 번호를 임의로 만드는 RDD 조사 최소 7% 이상
▲ARS 배제: 전화면접조사만 시행, ARS(자동응답조사)는 배제, 혼용도 배제

필자는 위 같은 한국조사협회의 자율적인 노력을 크게 환영한다. 여러 가지로 여론조사 불신의 근거가 될 수 있는 소지를 없애고자 하는 기준인데, 선언으로만 그칠 게 아니라 실질적 성과로 나타나길 바란다. 또 ARS 조사를 주로 하는 한국정치조사협회에서도 이같은 품질 제고의 노력을 해주길 바라는 마음이 있다(필자가 소속된 회사는 두 협회 어디에도 가입돼 있지 않다).

내용 중 필자와 같이 여론조사를 업으로 삼는 연구원들은 조사 기간이나 문항 규모에 대한 규정에 크게 공감할 것으로 보인다. 충분한 기간 동안 안정적 조사를 하고, 지나치게 긴 문항이 유발하는 응답 저항을 최소화해 보다 신뢰도 높은 조사를 할 수 있다는 장점이 있다. 수치 표기 방식도 소수점 이하를 반올림해 단순하면서도 정확하게 수치를 제시할 수 있다는 점도 좋다.

한 조사의 전체 표본 수에 따른 표본오차뿐 아니라 하위 집단의 표본 수를 고려한 표본오차도 준수하자는 대목에서는 필자도 조금 찔린다. 평소 방송에 나가서 "오차범위 내의 미세한 변동"이라는 식으로 설명한 적이 있는데, 이 같은 설명도 사실 오차범위를 정확하게 반영한 게 아니기 때문이다.

나머지 통화 시도 횟수와 응답률, 그리고 ARS 배제라는 두 부분은 사회적으로 파장이 있는 내용이라 따로 살펴보자.

'응답률'이라는 품질 지표
 

큰사진보기
▲  한 사람이 조사 결과 차트를 보고 있다(자료사진).
ⓒ pexels	관련사진보기

 
국내 공직선거법은 선거 관련 여론조사를 공표할 때 응답률을 공개하게 한다. 응답률은 쉽게 말해 연결에 성공해 응답을 요청한 대상자 중에서 얼마나 응답을 했는지의 지표다. 이게 왜 여론조사의 품질에 영향을 주냐면, 응답하기 어려운 사람을 설득해서 응답을 받아야 신뢰할 수 있는 조사 결과를 얻을 수 있기 때문이라고 한다.

만일 여론조사에 응답하기 주저하는 사람을 설득하지 않는다면, 여론조사에 응답할 여유가 있거나 묻는 현안에 매우 고관여된 사람들에게만 기회가 돌아가게 되기 때문에 국민 전체를 대표하는 조사 결과를 만들 수 없게 된다.

가령, 어떤 현안에 대해 잘 모르거나 관여되지 않은 사람들이 다수인 조사를 하면 연락이 닿았는데도 응답을 회피하는 사람이 많아져 응답률은 낮아진다. 표본 대표성을 위해서는 응답을 회피하려는 대상자에게 공익에 부합하는 조사이니 참여해 달라고 독려해 응답을 어떻게든 받는 게 좋다. 그러면 해당 현안에 대해 잘 모른다는 응답자가 다수라는 결과를 얻게 된다. 그리고 알고 있다는 응답자가 적지만, 그 중 찬반은 이러저러하다고 할 수 있다. 이렇게 응답해달라고 요청하는 과정에서 전화면접 여론조사는 같은 대상자에게 몇 번 전화를 더 걸어서 혹시 시간이 가능하시면 응답해달라고 해야 한다. 

그런데, ARS 조사에서는 상황이 다를 수 있다. 일단 서버에 녹음된 음성으로 설문하면서 성의있게 응답 독려를 할 방법이 없어서, 전화를 받지 않은 대상자에게 다시 접촉을 한다고 해도 응답이 되지 않는다. 그러니 보통 ARS 조사는 전화면접조사 대비 응답률이 낮다. 그래서 ARS 조사는 정치 고관여자 중심으로 표본이 추출돼 전체 국민 대표성이 좋지 않다고들 말한다. 

그렇지만 이에 대한 반론 혹은 항변으로 ARS 업계에선 응답 대상자에게 수차례 전화를 거는 것 자체가 매우 큰 저항감을 주기 때문에 여론조사 자체에 대한 혐오감을 키우는 원인이 된다고 본다. 그리고 나아가 고관여자 중심으로 조사를 하면 선거 조사의 경우 개표 결과와 더 비슷한 조사 결과를 보여줄 수 있어 예측력이 향상된다고 한다.

요악하면 전화면접 여론조사의 경우 국민의 여론을 얼마나 잘 반영하느냐에 관심이 많은 것이고, ARS 조사는 선거 결과와 얼마나 가까운 조사 결과를 내느냐에 관심이 크다고 봐야 할 것 같다. 그래서 ARS 조사의 주요 소비자들은 응답률을 별로 중요하게 생각하지 않는 것 같다. 응답률이 낮더라도 개표 결과를 비슷하게 예측할 수 있는 자료를 주면 그 가치를 한다고 생각하는 것이다.

ARS 조사의 예측력은 정말 좋은 것일까

그런데, 예측력이 더 좋다면 상대적으로 저렴한 ARS 조사를 한국조사협회는 왜 채택하지 않는 걸까? 오히려 이번 기준처럼 회원사 대상으로 '절대 해서는 안 되는 방법'으로 규정하고 있다.

두 가지를 생각하면 되겠다. 여론조사는 그 시점의 국민 여론 분포를 얼마나 잘 대표하느냐 하는 대표성이 생명인데, 사실 조사하는 시점의 여론이 선거의 개표 결과와는 다르다는 게 정설이다. 유권자의 투표 행동에 영향을 주는 요인이 워낙 많으니, 조사 시점의 여론이 어쩌다 개표 결과와 일치한다고 해도 그건 우연일 수 있어서 개표 결과와 다르다는 이유로 여론조사의 품질이 나쁘다고 단정하긴 어렵다는 견해다.

또 다른 하나는 ARS 조사가 예측력이 좋다고 하기엔 ARS 조사마다 결과가 너무 다르다는 점이다. 최근에도 ARS 조사마다 정당 지지도가 달라 논란이 되기도 했다. 만일 예측력이 아주 좋다면, 사실 여러 업체들이 내놓는 ARS 조사 결과가 큰 차이가 없이 안정적이어야 하는데, 업체마다 너무나 다른 결과를 내놓고 있는 실정이다. 결과가 다른 이유는 아마 문항 순서효과 때문인 것으로 보이는데, 어쨌든 이렇게 업체마다 다른 결과를 보여주니 ARS라는 방법 자체를 의심하기도 한다.

결국 선거가 다가오면서 관여도가 높아지면, 평소 고관여자들이 다수 추출되는 ARS 조사 결과와 개표 결과는 비슷해진다는 주장은 일견 타당하다. 하지만 항상 그렇지는 않다는 점을 고려해야 한다. 고관여자들이 두 진영으로 나뉘어 대립하고 있는 상황에서, 관여도가 떨어지는 여론조사 미응답자들이 투표일에 임박해 두 진영 고관여자의 규모와 똑 같이 의견 분포가 갈린다면, 고관여자 대상 ARS 조사는 예측력이 높아질 것이다. 

또는 어느 한 진영의 잘못이 국민 다수에게 인정돼 지탄의 대상이 되는 경우에는 말할 것도 없이 다른 진영의 분노한 고관여자들 의견이 중도 성향자나 여론조사 미응답자들의 여론을 이끌 가능성이 커서 예측력을 인정받을 수도 있다. 2021년 서울시장과 부산시장 보궐선거 그리고 이번 서울 강서구청장 보궐선거를 이 경우로 분류할 수 있겠다.

이같은 정세 의존성 때문에 ARS 조사는 조사 전문가들에게 예측력을 인정받기가 쉽지 않아 보인다. 다만 정치권의 분석가들에게 ARS는 때때로 좋은 자료로 활용된다.
 

큰사진보기
▲  정세 의존성 때문에 ARS 조사는 조사 전문가들에게 예측력을 인정받기가 쉽지 않아 보인다. 다만 정치권의 분석가들에게 ARS는 때때로 좋은 자료로 활용된다.
ⓒ 오마이뉴스	관련사진보기

 
중소업체를 퇴출하려는 대형업체의 논리?

일각에선 이번 조사협회의 기준 발표가 작은 ARS 업체를 선거 시기에 퇴출하려는 대형 조사업체들의 논리라는 식으로 해석한다. 그러나 필자는 전혀 다르게 본다. 중소업체도 얼마든지 전화면접조사나 온라인조사, 모바일 웹 조사 등 ARS 외의 조사 방법으로 영업활동을 할 수 있다. 방법을 몰라서 못한다면 그건 그 업체의 문제라고 봐야 한다.

ARS 조사가 한두 명의 인력으로 진행 가능해 중소업체가 독점하는 방법이라고 생각하면 그것은 시장을 이해하지 못한 것이다. 정량 조사 방법뿐 아니라 정성 조사 방법도 중소업체라고 해서 못할 이유도 없고, 누군가 장벽을 쳐놓은 것도 아니다.

더군다나 중앙선거여론조사심의위원회에 등록된 업체, 즉 선거여론조사를 공표할 수 있는 기관의 다수가 ARS를 조사 방법으로 활용하는 회사이니 퇴출될 수도 없다. 필자가 보기에 이번 조사협회의 발표는 회원사에 대한 자율적 규제라고 볼 수 있고, 여론조사 품질 제고를 도모하겠다는 의지의 표현 같다.

ARS로만 할 수 있는 조사도 있다

필자는 정당에서 대규모로 진행하는 조사의 경우, ARS가 더 효율적일 수 있다는 점에 공감한다. 내년 총선을 앞두고 지역구 전체를 대상으로 짧은 기간에 판세를 읽어야 하는 조사를 전화면접조사로 진행하는 건 불가능에 가깝다. 가격이 3배 정도가 되는 전화면접조사로는 예산을 감당할 수가 없고, 조사기간도 너무 길다.

전화면접조사 업체 20여 개가 한꺼번에 진행해야 겨우 가능한 수준이 되는데, 그것도 효율적이진 않다. 예전에 어느 당에선 전화면접 업체 20개를 선정해 4개 업체씩 하나의 조로 묶어서 조사를 통제한 적이 있었다. 그러고는 20개 중 10개를 다시 선정하는 방식으로 업체를 골라서 선거를 준비했다. 이 과정에 참여했던 필자는 다수 업체의 전화면접 시스템이 기능 마비에 처하는 등 운용 능력의 한계를 드러내는 것을 목격했다. 

결국, 각 정당은 대형 선거를 앞두고, 정당 자체적인 분석 방법에 잘 따라 올 수 있는 ARS 업체를 물색할 수밖에 없다. 주요 정당의 ARS 운용 능력은 생각보다 탄탄하다. 일부 조사 업체들은 ARS 조사도 제대로 운용하지 못하지만, 오랜 기간 ARS 방법을 연구해온 정당의 전략 부문 담당자들의 역량은 놀라울 정도다. 그런 정당의 실무자에게 전화면접 여론조사만 발주하라고 주장하는 건 불가능하다.

조사협회의 선언만 지키면 되나 

필자는 서두에 조사협회의 자율적 규제 선언의 내용 중 여러 가지를 환영하고, 품질 제고의 노력에 협회 회원사가 아니더라도 동참하는 게 좋겠다는 취지로 서술했다. 여기에 몇 가지 여론조사 업계의 현안을 더 추가하면 좋겠다는 생각이다.

먼저, 문항 문구에 따른 편향에 민감해야 한다. 여론조사 연구원들이 가장 강화해야 하는 역량은 단연 '설문 문항을 제대로 만드는 능력'이다. 만일 일부 여론조사 업체가 조사 결과에 영향을 미칠 목적으로 혹은 미필적 고의로 문구를 편향되게 만든다면, 전문가가 아닌 이상 감별하기 어려운 경우가 많다. 이따금 한심한 문항도 가끔 발견되기도 하지만 지능적으로 문구를 만들어 응답을 유도하기도 한다. 필자는 이 점을 조사협회에도 제기한 바 있다.

둘째, 문항 순서 효과를 더 살펴봐야 한다. 정당 지지도가 조사에 따라 달리 나오는  가장 큰 이유가 대통령 국정평가 문항과의 순서 때문이다. 상당히 큰 영향을 받는다. 전화면접이나 ARS 모두 조사에 따라 국정 평가가 먼저 나오기도 하고 지지하는 정당이 먼저 나오기도 한다. 그에 따라 최근에는 민주당 지지도가 크게 앞서기도 하고 국민의힘과 비슷하게 나오기도 한다.

셋째, 전화면접 조사가 국민 여론 대표성에 관심을 두고, ARS 조사가 고관여자 의견 분포에 관심을 둔다는 점에서 두 방법은 완전히 다르니 언론이 용어를 정확히 쓰면 좋겠다는 점이다. 두 조사 모두를 '여론조사'라고 하면 독자는 혼동에 빠진다. 그러니 하나는 '여론조사'로, 다른 하나는 'ARS 조사'로 분리해 서술하는 게 좋다고 생각한다.

분명한 사실은 ARS 업체이거나 조사협회 회원사거나 모두 고의적 또는 미필적 고의로 저품질 조사 결과를 내놓을 수 있다는 점이다. 이번에 조사협회가 나름의 원칙을 갖고 품질 제고에 나섰다는 점은 매우 고무적이고, 이번 선언을 계기로 여론조사 업계가 부끄럽지 않은 조사 결과를 내놓기 위해 노력하는 풍토가 자리잡길 기대한다.
 

큰사진보기
▲  지난 12일 경기도 수원시 영통구 수원컨벤션센터에서 경기도선거관리위원회 관계자들이 깨끗한 선거 분위기 조성을 위한 홍보 퍼포먼스를 하고 있다.
ⓒ 연합뉴스	관련사진보기