연구설계서(개정 6판)를 줄거리 순서로 다시 쓴 것입니다 · 2026-08-29
파란 점선 밑줄이 그어진 용어는 누르면 설명이 뜹니다. 그리스 문자의 읽는 법도 함께 나옵니다.
○○시 보건소 건강증진과 김 주무관은 월요일 아침에 표 하나를 받았습니다. 지역사회건강조사 결과입니다.
우울감 경험률 6.2% — 전국 250개 시군구 중 193위
(작년 6.8%, 205위 → 12계단 상승)
과장님이 묻습니다. "작년보다 나아진 거네? 뭐가 효과가 있었나?"
김 주무관은 답을 해야 합니다. 그런데 정말 나아진 걸까요? 12계단이 오른 게 사업의 성과일까요, 아니면 그냥 우연일까요?
이 연구는 김 주무관의 이 질문에서 시작합니다.
지역사회건강조사(Community Health Survey, 줄여서 CHS)는 2008년부터 매년 시행되는 전국 조사입니다. 질병관리청이 주관하고, 전국 보건소가 실제로 수행합니다.
| 항목 | 내용 |
|---|---|
| 대상 | 만 19세 이상 성인 |
| 규모 | 매년 약 23만 명 (2022년 231,785명 … 2025년 231,615명) |
| 단위 | 250개 시군구 · 시군구당 약 900명 |
| 시기 | 매년 8~10월 |
| 방식 | 조사원이 가구를 방문해 1:1 면접 (컴퓨터 입력) |
| 수행 | 보건소가 조사기관에 용역 발주 — 지자체마다 기관이 다릅니다 |
이 표에서 앞으로 계속 나올 두 가지를 미리 짚어 둡니다.
250개 시군구에서 각각 900명을 뽑는데, 제비뽑기처럼 아무나 뽑지 않습니다. 세 가지 장치가 겹쳐 있습니다. 이것을 복합표본설계라 합니다.
| 장치 | 무엇인가 | 왜 하는가 / 무슨 결과가 따르는가 |
|---|---|---|
| 층화 kstrata | 시군구를 동·읍·면으로 나눠 각 구역에서 따로 뽑습니다 | 어느 한 구역에 몰리는 사고를 막습니다. 정밀도가 올라갑니다 |
| 집락 spot_no | 조사구(아파트 한 동, 마을 한 곳) 단위로 묶어 뽑고, 그 안에서 여러 가구를 조사합니다 | 조사원이 한 동네에서 여러 집을 방문하니 비용이 절감됩니다. 그런데 같은 동네 사람들은 서로 닮아 있어 정보가 겹칩니다 — 정밀도가 떨어집니다 |
| 가중치 wt_p | 뽑힐 확률이 낮았던 사람에게 더 큰 무게를 줍니다. 무응답과 인구 구성도 보정합니다 | 표본을 실제 인구 구조에 맞춥니다 |
여기서 매우 중요한 결과가 하나 나옵니다.
집락 때문에 900명을 조사해도 실제 정밀도는 900명어치가 안 됩니다. 같은 동네 사람들의 답이 겹치기 때문입니다. 그 손실 배율을 설계효과(deff)라 하고, 실제 쓸 수 있는 인원을 유효표본크기(n_eff)라 합니다.
이 자료에서 재어 보니 deff는 1.26~1.64였습니다. 즉 927명을 조사했지만 정밀도로는 620~760명인 셈입니다. 이걸 빼먹으면 정확도를 25~62% 부풀려 계산하게 됩니다.
CHS에는 특이한 구조가 하나 있습니다. 매년 같은 문항을 묻지 않습니다.
"지역사회건강조사는 2010년부터 4년을 하나의 조사주기로 설정하고 지표의 중요도와 활용성, 표본의 크기 등을 고려하여 각각의 조사항목을 1년, 2년, 4년 주기로 구분하여 조사하고 있으며, 순환주기는 총 4년으로 구성됩니다."
— 지역사회건강조사 2025년 원시자료 이용지침서
즉 어떤 문항은 매년 묻고, 어떤 문항은 2년에 한 번, 어떤 문항은 4년에 한 번만 묻습니다. 조사 부담을 줄이기 위한 합리적 설계입니다.
그런데 이것이 나중에 큰 문제가 됩니다. 실제로 세어 보니 이랬습니다.
| 4개년 중 조사된 횟수 | 변수 수 | 분석에서의 처지 |
|---|---|---|
| 4번 (매년) | 122개 | 온전히 분석 가능 |
| 3번 | 23개 | 가능하지만 불확실 |
| 2번 | 53개 | 해석에 단서를 달아야 함 |
| 1번 | 102개 | 분석 불가 |
전체 300개 변수 중 4개년 모두 있는 것은 122개뿐입니다. 그리고 하필 정신건강의 핵심 지표인 자살생각은 2022년과 2024년 두 번만 조사되었습니다.
김 주무관에게 이것이 뜻하는 바. 성과지표로 쓰고 있는 어떤 지표는 애초에 매년 조사되지 않습니다. 그런데 조사되지 않은 해의 값이 표에 안 나오니, 담당자는 그냥 "작년 자료가 없네" 하고 넘어갑니다. '전년 대비 증감'이라는 개념 자체가 성립하지 않는데도 그걸 성과로 보고하는 일이 벌어집니다.
CHS는 300개 가까운 변수를 담고 있습니다. 그런데 성격이 제각각입니다. 크게 셋으로 나뉩니다.
"최근 1년 동안 연속적으로 2주 이상 슬프거나 절망감 등을 느낀 적이 있습니까?"
① 예 ② 아니오
이 한 문항이 우울감 경험률의 전부입니다. 주관적건강("귀하의 건강은 어떻습니까?" 5점 척도), 흡연, 걷기, 음주도 마찬가지입니다. CHS 주요 지표의 대부분이 여기 속합니다.
PHQ-9 — 우울 증상을 재는 국제 표준 척도. 아홉 문항입니다.
"일 또는 여가 활동을 하는 데 흥미나 즐거움을 느끼지 못한다"
"기분이 가라앉거나, 우울하거나, 희망이 없다"
… (총 9문항)
각 문항 ① 전혀 아니다 ② 여러 날 동안 ③ 일주일 이상 ④ 거의 매일
→ 0~27점으로 합산, 10점 이상이면 우울증상 있음
EQ-5D-5L(삶의 질 5문항)도 여기 속합니다.
"최근 2년 동안 건강검진을 받으셨습니까?" 같은 문항입니다. 기억의 문제는 있어도 답하는 기준이 사람마다 다르지는 않습니다.
★ 이 구성이 왜 문제인가 — 교과서 방법이 막힙니다
보통 '설문 신뢰도'를 잰다고 하면 크론바흐 α(알파)를 계산합니다. 여러 문항이 서로 비슷하게 움직이는지를 보는 방법입니다.
그런데 ①에는 쓸 수 없습니다. 비교할 다른 문항이 없으니까요. 문항이 하나면 α는 계산 자체가 성립하지 않습니다. ②에는 쓸 수 있지만 CHS에서 다문항 척도는 PHQ-9과 EQ-5D뿐입니다. 게다가 EQ-5D는 다섯 문항이 서로 다른 영역(이동·자기관리·통증…)을 재므로 α를 쓰면 오적용입니다.
결국 CHS 전체에 크론바흐 α를 적용하는 것은 도구를 잘못 고른 것이고, 실제로 쓸 수 있는 곳은 PHQ-9 하나입니다.
신뢰도를 재는 또 하나의 정석은 재검사 신뢰도(κ, 카파)입니다. 같은 사람에게 2주 뒤 같은 문항을 다시 묻고 답이 일치하는지 보는 것이죠.
CHS에는 이 자료가 아예 없습니다. 재조사 절차가 설계에 없기 때문입니다.
혼동하기 쉬운 것 하나. 지자체 조사용역에는 '재조사'라는 말이 나옵니다. 그런데 그것은 "조사원이 실제로 그 집에 갔는가"를 확인하는 절차(검증 재확인)이지, "같은 사람이 같은 문항에 일관되게 답하는가"를 보는 것(측정 재검사)이 아닙니다.
즉 현행 품질관리는 "조사를 했는가"는 확인하되 "제대로 쟀는가"는 확인하지 않습니다. 이 구분이 이 연구가 정책 제언으로 남긴 항목 중 하나입니다.
CHS는 패널 조사가 아닙니다. 작년에 답한 사람과 올해 답한 사람이 다릅니다. 그래서 개인의 변화를 따라갈 수 없습니다.
정리하면 이렇습니다. 설문 신뢰도를 재는 교과서 방법 세 가지가 모두 막혀 있습니다.
① 크론바흐 α — 단일문항이라 대부분 불가
② 재검사 신뢰도 — 자료가 없어 원천 불가
③ 개인 추적 — 매년 새 표본이라 불가
그렇다면 이 조사의 신뢰도는 어떻게 재야 할까요? 이것이 이 연구가 풀어야 했던 첫 번째 문제입니다.
이 트랙은 갑자기 시작된 것이 아닙니다. 「시군구 건강격차의 사회적 결정요인 분석」이라는 논문을 쓰는 과정에서 남은 찜찜함에서 나왔습니다.
그 논문은 CHS 응답 약 69.5만 건을 250개 시군구로 집계해, "어떤 사회적 조건이 지역의 건강 수준을 설명하는가"를 분석했습니다. 그런데 결과에 이상한 대목이 있었습니다.
신체 건강 지표들은 사회경제적 조건으로 꽤 설명되었습니다. 그런데 정신·정서 지표는 유독 설명력이 낮았습니다. 조율 R²(설명된 비율)이 0.11 정도, 우울과 자살생각은 0.07 미만이었습니다.
이걸 어떻게 읽어야 할까요? 두 가지 정반대 해석이 가능합니다.
㈎ 정신건강에는 진짜로 지역 차이가 없다 — 그럼 지역 단위 정신건강 정책은 의미가 약합니다.
㈏ 지역 차이는 있는데 잡음에 묻혀 안 보인다 — 그럼 측정을 개선해야 합니다.
이 둘을 구분할 방법이 없었습니다.
주관적건강("귀하의 건강은 어떻습니까?")을 지역 간에 비교했습니다. 그런데 70대 어르신과 20대 청년이 '보통'이라고 답할 때 같은 뜻일까요? 아닐 가능성이 큽니다. 각자 다른 기준으로 답하니까요.
농촌은 고령자가 많고 도시는 젊은 층이 많습니다. 그럼 도농 간 주관적건강 차이의 일부는 건강 차이가 아니라 기준 차이일 수 있습니다. 논문은 이것을 검정 없이 가정했습니다.
CHS는 지자체마다 다른 기관이 수행합니다. 조사원 교육 수준, 면접 방식, 조사 기간이 지역마다 다릅니다.
그렇다면 "A시가 B시보다 우울률이 높다"는 결과가 정말 A시 주민이 더 우울해서인지, 아니면 A시 조사원이 그 문항을 더 꼼꼼히 물어서인지 구분이 안 됩니다. 논문은 이것을 한계로만 적었습니다.
위 셋은 학술적 찜찜함입니다. 그런데 더 급한 것이 하나 있었습니다. 프롤로그의 김 주무관입니다.
지자체 대시보드에 지표를 공표할 때, 순위가 실제 차이인지 표본오차인지 구분해 주지 않으면 담당자가 잡음을 두고 정책 경쟁을 하게 됩니다.
193위에서 181위로 올랐다고 표창을 받고, 그 반대면 개선 계획을 세웁니다. 그런데 그 12계단이 그냥 우연이라면요? 예산과 인력이 존재하지 않는 문제를 쫓게 됩니다.
| 번호 | 물음 | 어디로 가는가 |
|---|---|---|
| RQ0 | 애초에 어느 문항을 몇 번이나, 같은 측정으로, 같은 지역 단위에서 비교할 수 있는가 | 1편 (준비 단계) |
| RQ1 | 각 문항의 시군구 값은 순위 비교가 가능할 만큼 믿을 만한가 | 1편 (핵심) |
| RQ2 | 그 신뢰도를 확보하려면 지역당 표본이 얼마나 필요한가 | 1편 |
| RQ3 | 누가 조사했는가가 지역 간 차이에 섞여 드는가 | 2편 |
| RQ4 | 지역·연령·성별 집단 간에 같은 척도로 측정되는가 | 3편 |
RQ0이 왜 따로 있는가. 처음에는 없었습니다. RQ1부터 시작하려 했는데, 자료를 열어 보니 그 전에 확인할 것이 산더미였습니다. 그 경과가 5막입니다. 그리고 이 RQ0이 결국 이 연구에서 가장 실무적으로 유용한 부분이 되었습니다.
2막에서 교과서 방법 세 가지가 다 막혔습니다. 그런데 막힌 이유를 들여다보니 공통점이 있었습니다. 세 방법 모두 '사람 한 명'을 재는 대상으로 삼습니다.
그런데 김 주무관이 보는 숫자는 사람의 점수가 아닙니다. 900명에게 물어 만든 지역별 비율입니다.
발상의 전환은 여기서 일어났습니다.
신뢰도 공식은 언제나 같습니다 — 진짜 차이 ÷ (진짜 차이 + 흔들림). 달라지는 것은 "무엇을 하나의 대상으로 보는가"뿐입니다.
그렇다면 시군구를 하나의 대상으로 놓으면 어떨까요? 그러면 저울은 설문지 하나가 아니라 "CHS 설문 + 900명 표본추출 + 가중치 계산"이라는 과정 전체가 됩니다. 그 저울에 시군구를 올려 "6.2%"라는 눈금을 읽는 것입니다.
| 보통의 설문 신뢰도 | 이 연구 | |
|---|---|---|
| 하나의 대상 | 사람 한 명 | 시군구 한 곳 |
| 한 번 잰다는 것 | 그 사람에게 문항을 묻는다 | 900명을 뽑아 물어 비율을 만든다 |
| 저울 | 설문지 | 설문지 + 표본추출 + 가중치 계산 |
| 알고 싶은 것 | 이 사람의 참점수 | 이 지역의 진짜 수준 |
고전검사이론은 오차를 하나로 뭉뚱그립니다. "참점수 + 오차", 끝입니다. 그런데 우리에게는 그것으로 부족했습니다.
지역 값이 흔들리는 데는 성격이 다른 원인이 섞여 있기 때문입니다. 일반화가능도 이론(G-theory)은 바로 이럴 때 쓰는 틀입니다. 오차의 원천을 여러 갈래(국면)로 쪼개 각각의 크기를 따로 잽니다.
이 연구에서는 국면을 지역 × 연도로 잡았습니다. 그러면 흔들림이 셋으로 갈립니다.
| 성분 | 정체 | 표본을 늘리면? | |
|---|---|---|---|
| ① | τ²지역 (타우 제곱) | 그 지역이 해마다 일관되게 갖는 차이 — 우리가 알고 싶은 것 | 그대로 (신호니까) |
| ② | τ²지역×연도 | 그 지역의 그 해만의 흔들림 | 줄지 않습니다 |
| ③ | σ²/neff (시그마 제곱) | 어떤 900명이 뽑혔는가에 따른 표본오차 | 줄어듭니다 |
이 λ가 지역 신뢰도입니다. 0에서 1 사이이고, 0.7 이상이면 순위를 매겨도 된다는 것이 관행적 기준입니다.
이 개념은 어디서 왔나. 병원 성과평가 문헌에 rankability(순위가능성)라는 개념이 있습니다. 여러 병원의 사망률을 줄 세울 때 그 순위가 실력 차이인지 우연인지를 재는 지표인데, λ와 수학적으로 같은 양입니다. 이 연구는 그 개념을 병원에서 시군구로 옮겨 온 것입니다.
TSE(총조사오차)는 조사에서 생길 수 있는 오차를 발생 지점별로 지도처럼 정리한 틀입니다. 문항이 개념을 제대로 담았는가, 응답자가 제대로 답했는가, 자료 처리에서 뭉개지지 않았는가, 표본이 모집단을 대표하는가, 무응답이 치우쳐 있지 않은가…
이 연구에서의 쓸모. 숙제 ③(누가 조사했는가)이 TSE에서는 면접원 효과라는 이름으로 이미 정리되어 있습니다. 그리고 나중에 보게 되겠지만, 무응답이 지역별로 치우친 문제도 이 지도 위에 있습니다.
COSMIN은 보건 분야 측정도구 평가의 국제 합의 기준입니다. 빠뜨린 항목이 없는지 확인하는 체크리스트로 씁니다.
다만 그대로 쓸 수는 없습니다. COSMIN은 전부 개인 수준 도구를 전제하기 때문입니다. 지역 수준 신뢰도라는 축은 COSMIN 바깥에 따로 있고, 이 확장 자체가 이 연구의 방법론적 기여점이 됩니다.
MAUP는 공간을 어떻게 구획하느냐에 따라 통계 결과가 달라지는 문제입니다. 같은 자료를 시군구로 묶느냐 읍면동으로 묶느냐에 따라 분산도 상관도 달라집니다.
따라서 이 연구의 모든 결론은 "시군구 단위에서는"이라는 단서가 붙습니다. 이것을 잊으면 "지역 차이가 없다"는 과잉 일반화를 하게 됩니다.
| 세운 가설 | |
|---|---|
| H1 | λ는 건강행태 문항에서 높고(0.7 이상), 정신·정서 문항에서 낮을 것이다(0.4 미만) |
| H2 | 정신·정서 문항이 λ=0.7에 도달하려면 현행의 2배 이상 표본이 필요할 것이다 |
| H3 | 조사기관 수준 분산이 0이 아니며, 기관이 바뀐 시군구에서 지표 불연속이 관측될 것이다 |
| H4 | 주관적건강은 연령대·도농 간 DIF를 보일 것이다 |
이 가설들이 실제로 어떻게 되었는지는 6막에서 답합니다. 세 군데에서 예상이 빗나갔고, 그 빗나감이 오히려 더 중요한 결과가 되었습니다.
그런데 자료를 열자마자 첫 번째 벽을 만났습니다. 그리고 그 뒤로 다섯 번 더 만났습니다.
여섯 번 모두 공통점이 있습니다 — 겉으로는 아무 문제 없어 보였다는 점입니다.
상황. 같은 연도 자료가 세 가지 형태로 있었습니다. 질병관리청 원본 텍스트, 267개 변수로 정리한 통합 CSV, 16개 변수만 뽑은 추출 CSV.
왜 확인했나. 선행 프로젝트에서 흡연 지표의 연도 간 상관(ρ)이 0.13으로 이상하게 낮게 나온 적이 있었습니다. 추적해 보니 자료 처리 오류였고, 고치니 0.73으로 회복됐습니다. 입력이 오염되면 결과가 조용히 틀린다는 경험이 있었던 것입니다.
발견. 267개 변수 통합 CSV에서 31개 변수의 값이 통째로 비어 있었습니다. 교육수준, 혼인상태, EQ-5D, 행복감지수 — 매년 조사되는 항목들입니다. 고정 템플릿으로 뽑는 과정에서 누락된 것입니다.
결정. 원본만 쓴다. 왜 중요한가 — 빠진 자료로 분석하면 그 결측이 "그 해에 조사 안 함"으로 읽혀 ②(그 해의 흔들림)가 부풀려집니다. 결과는 나오는데 틀린 결과가 나옵니다.
왜 확인했나. "4개년 자료가 있다"를 무심코 "모든 문항이 4번 조사됐다"로 읽고 있었습니다. 확인한 적이 없는 가정이었습니다.
발견. 1막에서 본 그 표입니다 — 300개 중 4개년 모두 있는 것은 122개뿐. 자살생각은 2번. 그리고 더 고약한 것 하나 — 변수가 '존재'하는데 값이 전부 비어 있는 경우가 있었습니다.
교훈. 변수 목록을 보지 말고 실제 값을 세어라. 목록에 이름이 있다고 자료가 있는 게 아닙니다.
왜 확인했나. 선행 프로젝트에서 "2023년 흡연 문항 스킵 구조가 바뀐 것을 놓쳐 2개 연도가 과대 산출된" 전례가 있었습니다. 그런데 정확히 무엇이 바뀐 것인지는 아무도 몰랐습니다. "주의 사항"으로만 적혀 있었습니다.
어떻게. 2022~2025년 이용지침서 네 권을 펴 놓고 문항 문장과 응답 보기를 글자 단위로 대조했습니다. 공식 산출식(SAS 코드)도 비교했습니다.
발견 — 정체를 찾았습니다. 2023년에 도입문항이 하나 신설되었습니다.
smf_01z1 "지금까지 살아오는 동안 담배 제품을 사용하신 경험이 있습니까?"
→ ② 없다 라고 답하면 흡연 영역 전체를 건너뜁니다
서울 자료로 실측해 보니 이랬습니다.
| 연도 | "피운 적 없다" 응답 | 비해당 처리 | 현재흡연율 |
|---|---|---|---|
| 2022 | 15,062명 | — | 14.09% |
| 2023 | 49명 | 14,556명 | 15.19% |
| 2024 | 81명 | 14,614명 | 13.92% |
2022년에 15,062명이 답하던 자리가 2023년에 49명이 되었습니다. 문항에 답하는 사람들 자체가 바뀐 것입니다. 이걸 모르고 2022년과 2023년 흡연율을 나란히 놓으면 없는 변화를 있다고 하게 됩니다.
추가 발견 둘. 2025년에 PHQ-9 보기에 일수가 붙었고(① 전혀 아니다 (0-1일) …), 걷기 지표의 공식 계산식에서 결측 처리 분기가 사라졌습니다. 측정은 같은데 계산 규칙이 달라진 것입니다.
왜 확인했나. 2024년에 행정구역 개편이 세 건이나 겹쳤습니다. 강원특별자치도, 전북특별자치도, 군위군 대구 편입. 게다가 부천시가 일반구를 다시 만들었습니다.
왜 이게 치명적인가. G-theory에서 '지역'은 4개년 내내 같은 단위여야 합니다. 코드가 바뀌면 같은 지역이 두 개의 다른 지역으로 쪼개져, ①이 부풀고 ②는 정의되지 않습니다.
발견 — 그리고 오래된 수수께끼가 풀렸습니다.
착수 문서에 "선행 프로젝트에서 표준화 종속변수 33건 결측의 원인"이라는 메모가 있었는데, 33이라는 숫자가 어디서 왔는지 아무도 몰랐습니다.
강원 18곳 (42xxx → 51xxx) + 전북 15곳 (45xxx → 52xxx) = 33곳
정확히 일치했습니다. 코드 변경을 반영하지 않은 채 외부 자료와 결합해 33곳이 매칭에 실패한 것이었습니다.
그리고 더 고약한 것. 파일 안에서 시도코드와 시군구코드가 서로 다른 시점에 갱신됩니다. 강원은 시군구코드만 51xxx로 바뀌고 시도코드는 42로 남았습니다. 군위는 반대로 시도코드가 먼저(2023년) 바뀌고 시군구코드는 나중(2024년)에 바뀌었습니다. 어느 한쪽만 믿으면 반드시 어딘가에서 틀립니다.
왜 확인했나. 이건 원래 계획에 없었습니다. 앞의 넷을 하고 나니 "자료는 정리했는데, 그 자료를 만든 조사 자체는 지역마다 같았을까?"라는 의문이 남았습니다.
어떻게. 응답 품질을 다섯 가지로 재어 시군구 × 연도 표로 만들었습니다. 항목무응답률, '모름' 선택률, 스킵 위반율, 직선응답 비율, 신장·체중 무응답률.
발견. 넷은 깨끗했습니다. 그런데 다섯 번째가 이상했습니다.
| 확인한 것 | 결과 | 뜻 |
|---|---|---|
| 전국 무응답률 | 0.3~0.5% | 전체로는 문제없음 |
| 시군구별 최댓값 | 15.9% | 어떤 보건소는 6명 중 1명이 답을 안 함 |
| 연도 간 상관 | 0.83 | 매년 같은 지역이 높음 — 우연이 아님 |
| 고령화율과의 상관 | 0.38 | 고령화로 설명 안 됨 |
| 고령화 상위 8곳의 무응답률 | 0~2.4% | 오히려 낮음 |
고령자가 많아서가 아니라면 남는 설명은 하나입니다 — 보건소마다 조사하는 방식이 다릅니다. 어떤 곳은 키·몸무게를 꼭 받아 내고, 어떤 곳은 그냥 넘어갑니다.
왜 이게 심각한가. 이 차이가 매년 반복되므로 ①(진짜 지역 차이)로 계산됩니다. 조사 방식의 차이가 지역의 건강 차이로 둔갑하는 것입니다. 즉 λ가 실제보다 높게 나옵니다.
왜 확인했나. 이것도 계획에 없었습니다. 파이프라인이 멈추면서 시작됐습니다. 2024년 시도별 파일 17개를 합치는데 전북 파일 하나가 변수 수가 달라 결합에 실패했습니다.
부끄러운 대목. 검증 1에서 "연도 내 파일들의 변수 구성이 같다"고 결론냈었습니다. 그런데 그때 17개 중 6개만 대조했습니다. 17번째에서 그 결론이 깨진 것입니다.
발견. 연구자께서 질병관리청 인증을 거쳐 재다운로드하니 209개 변수가 나왔습니다. 전북 파일과 같았습니다. 즉 전북만 최신판이었고 나머지 16개가 구버전이었습니다.
교훈. 표본으로 대조하면 표본만큼만 압니다. 파일 수가 두 자리인 대조는 전수로 해야 합니다.
2022·2023년도 교체했고, 신·구 자료를 응답자 한 명 단위까지 전수 대조했습니다. 결과는 추정치가 하나도 바뀌지 않았습니다. 다만 2023년에서 군위군의 시도코드 869건이 소급 수정된 것을 발견했고, 그것이 검증 4의 결론을 강화했습니다.
여섯 검증이 남긴 것
여섯 번 모두 겉으로는 문제없어 보였습니다. 파일은 열렸고, 변수는 있었고, 변수명은 같았고, 코드는 숫자였고, 응답은 채워져 있었고, 파일은 최신처럼 보였습니다.
확인하지 않았다면 여섯 오류가 모두 조용히 ① 또는 ②로 흡수되어, "지역 지표는 해마다 흔들린다" 또는 "이 지표는 지역 변별력이 높다"는 그럴듯한 결론으로 이어졌을 것입니다. 그리고 그것이 틀렸다는 것을 아무도 몰랐을 것입니다.
λ는 이 연구 전체를 지탱하는 숫자입니다. 그래서 계산 방법 자체를 세 가지로 검증했습니다.
| 검증 | 방법 | 결과 |
|---|---|---|
| 가짜 자료 시험 | 참값을 아는 가짜 자료 300세트를 만들어 λ를 회수시켜 봄 | 편향 −0.003 ~ +0.002 사실상 없음 |
| 다른 방법과 대조 | REML과 적률법(더 단순한 대안) 결과 비교 | 전 지표 2% 이내 일치 |
| 산수 검산 | 추정된 성분으로 원래 관측값의 흩어짐이 재현되는지 | 대부분 2% 이내 재현 |
| 지표 | ① 진짜 지역차 | ② 그 해 흔들림 | ③ 표본오차 | λ |
|---|---|---|---|---|
| 주관적건강 나쁨률 | 91% | 3% | 6% | 0.908 |
| 걷기실천율 | 79% | 18% | 3% | 0.788 |
| 현재흡연율 | 73% | 3% | 24% | 0.725 |
| 비만율 | 70% | 5% | 25% | 0.700 |
| 고위험음주율 | 63% | 11% | 26% | 0.627 |
| 자살생각률 | 53% | 31% | 16% | 0.532 |
| 미충족의료율 | 52% | 37% | 11% | 0.524 |
| 우울감 경험률 | 47% | 34% | 19% | 0.473 |
| 우울증상유병률(PHQ-9) | 43% | 32% | 25% | 0.428 |
읽는 법. 지표를 가르는 것은 ③(표본오차)이 아니라 ②(그 해의 흔들림)입니다. 정신건강 지표들은 ②가 30~37%를 차지합니다.
우울감 경험률에서 표본을 늘려 봅니다. ③만 줄어듭니다.
| 현재 891명 | 4배 | 100배 | 무한대 | |
|---|---|---|---|---|
| ① 진짜 지역 차이 | 2.26 | 2.26 | 2.26 | 2.26 |
| ② 그 해의 흔들림 | 1.60 | 1.60 | 1.60 | 1.60 |
| ③ 표본오차 | 0.91 | 0.23 | 0.01 | 0 |
| λ | 0.473 | 0.552 | 0.584 | 0.585 |
H2가 기각되었습니다 — 예상보다 강한 방향으로. "2배가 필요할 것이다"라고 예상했는데, 실제로는 몇 배가 되어도 안 됩니다. 물통 바닥에 막을 수 없는 구멍이 이미 크게 뚫려 있기 때문입니다.
네 지표의 천장값 — 자살생각 0.633 · 미충족의료 0.589 · 우울감 0.585 · PHQ-9 0.569.
그런데 방법이 있습니다. 4개년을 묶으면 ②도 함께 줄어듭니다. 해마다의 흔들림은 방향이 제각각이라 평균 내면 상쇄되기 때문입니다.
| 지표 | 단년 | 4개년 묶으면 |
|---|---|---|
| 우울감 경험률 | 0.473 | 0.782 |
| 우울증상유병률(PHQ-9) | 0.428 | 0.749 |
| 미충족의료율 | 0.524 | 0.815 |
예산이 한 푼도 들지 않습니다. 대가는 "작년보다 나아졌는가"를 볼 수 없다는 것입니다.
이것은 사전에 세운 어떤 가설에도 없던 발견입니다.
λ는 250개 전체를 놓고 신호와 잡음을 비교합니다. 그런데 순위는 바로 옆 지역과 비교해 정해집니다. 그리고 250개 시군구는 가운데에 몰려 있습니다.
| 비만율 순위 구간 | 지역 수 | 값이 퍼진 폭 |
|---|---|---|
| 1위 ~ 10위 | 10곳 | 3.86%p |
| 120위 ~ 130위 | 11곳 | 0.28%p |
| 240위 ~ 250위 | 11곳 | 5.00%p |
비만율의 표준오차는 1.76%p입니다. 그런데 120~130위 11곳은 0.28%p 안에 몰려 있습니다.
저울의 흔들림이 그 11곳이 퍼진 폭의 6배입니다. 눈금 하나 안에 11개 지역이 다 들어가 있으니 순서를 매길 수 없습니다.
| 표에 적히는 순위 | 주관적건강 (λ=0.91) | 비만율 (λ=0.70) | PHQ-9 (λ=0.43) |
|---|---|---|---|
| 1위 | 1~20위 | 1~63위 | 1~212위 |
| 125위 | 75~196위 | 22~225위 | 11~242위 |
| 250위 | 230~250위 | 234~250위 | 89~250위 |
구조가 보입니다. λ가 높은 지표는 양 끝만 식별됩니다. λ가 중간이면 극단도 흔들립니다. λ가 낮으면 아무것도 식별되지 않습니다.
| 예상 | 실제 | |
|---|---|---|
| ① | 주관적건강은 보고기준 차이 때문에 중간 등급일 것 | λ 0.908로 1위. 사람마다 '보통'의 기준이 달라도 지역 평균으로 묶으면 상쇄되고 지역 차이가 살아남았습니다. 개인 수준 걱정이 지역 수준 결론으로 그대로 이어지지 않는다는 실증입니다 |
| ② | 정신건강은 λ 0.4 미만(🔴)일 것 | 0.43~0.47로 0.4를 살짝 넘었습니다. H1은 부분적으로만 지지되었습니다. 그런데 결론은 오히려 강해졌습니다 — "λ가 낮다"보다 "λ를 올릴 방법이 없다"가 더 센 진술이기 때문입니다 |
| ③ | 키·몸무게 무응답이면 비만율이 영향받을 것 | 비만율은 멀쩡했습니다(상관 0.016). 대신 주관적건강(0.42)과 걷기(−0.39)가 걸렸습니다. 무응답률은 "키·몸무게를 안 받았다"기보다 그 보건소의 전반적 꼼꼼함을 나타내는 신호였던 것입니다. 통제하니 τ²지역이 각각 18.6%, 15.8% 줄었습니다 |
③이 특히 중요합니다. 하필 λ가 가장 높은 두 지표가 조사 품질과 얽혀 있었습니다. 논문에서 "가장 믿을 만한 지표"로 내세울 후보들이므로, 반드시 통제 결과를 함께 실어야 합니다. 사전에 지목한 비만율만 검증하고 끝냈다면 이것을 놓쳤을 것입니다.
답 — 우울감 경험률 193위 → 181위의 12계단은 성과로 볼 수 없습니다.
이 지표의 λ는 0.473입니다. 중위권 지역의 순위 95% 구간은 250개 중 226계단입니다. 즉 이 지역의 '진짜 순위'는 어디든 될 수 있습니다. 12계단은 그 안에서 벌어진 요동이고, 사업 성과와 구분되지 않습니다.
대신 이렇게 보십시오. 4개년 평균값(6.5%)과 전국 평균(6.9%)의 차이. 그리고 그 값이 4년에 걸쳐 어느 방향으로 움직였는지. 순위가 아니라 값과 추세입니다.
이 연구의 최종 산출물입니다. 두 가지 원칙을 적용했습니다. 둘 다 결과를 보고 나서 정한 것이며, 두 번째는 원래 계획을 뒤집은 것입니다.
원칙 ① 등급은 λ의 '오차 아래쪽 끝'으로 매긴다
λ 자체도 추정치라 오차가 있습니다. 비만율은 λ=0.700인데 진짜 값은 0.652~0.742 사이입니다.
시험으로 치면 — 합격선 70점에 정확히 70.0점을 받았는데 그 시험의 측정오차가 ±5점입니다. 65점으로 보고 판정합니다. 왜냐하면 🟢를 붙이면 담당자가 "이 지표는 써도 된다"고 읽고 예산을 쓰기 때문입니다. 반대로 🟡을 붙였는데 사실 괜찮았다면 손해는 "좀 더 조심했다"에 그칩니다. 두 실수의 대가가 다릅니다.
처음에 세운 두 번째 원칙은 이것이었습니다 — "순위는 상·하위 극단에서만 말한다." 결과 ③에서 본 대로 양 끝은 순위를 말할 수 있고 가운데는 없으니, 자료가 허락하는 만큼만 말하자는 뜻이었습니다.
그런데 "허락하는 만큼"이 정확히 얼마인지를 세어보니 이야기가 달라졌습니다.
혹시 사분위(상위 25%·중상·중하·하위 25%) 정도로 뭉뚱그리면 될까 싶어 다시 세었습니다.
가장 좋은 지표조차 250곳 중 215곳은 "어느 칸인지 모른다"였습니다. 극단만 표시하는 규칙을 쓰면 화면이 거의 빈 채로 남습니다. 원칙 ②는 실무적으로 성립하지 않았습니다.
세어봤습니다.
| 지표 | λ | 사분위 확정 | 전국 평균과 유의차 |
|---|---|---|---|
| 주관적건강 나쁨률 | 0.908 | 35곳 | 174곳 |
| 걷기실천율 | 0.788 | 8곳 | 101곳 |
| 현재흡연율 | 0.725 | 7곳 | 91곳 |
| 비만율(자가보고) | 0.700 | 6곳 | 76곳 |
| 고위험음주율 | 0.627 | 1곳 | 64곳 |
| 연간 자살생각률 | 0.532 | 0곳 | 24곳 |
| 연간 미충족의료율 | 0.524 | 0곳 | 42곳 |
| 우울감 경험률 | 0.473 | 0곳 | 39곳 |
| 우울증상유병률(PHQ-9) | 0.428 | 0곳 | 30곳 |
사분위 확정이 0곳인 PHQ-9에서도 30곳은 "전국과 다르다"고 말할 수 있습니다. 같은 자료, 같은 오차입니다. 달라진 것은 질문뿐입니다.
전국 평균선을 긋고, 그 위아래로 "이 정도 흔들림은 우연일 수 있다"는 띠를 두릅니다 (관리한계). 표본이 작은 지역은 우연히 크게 튈 수 있으니 띠가 넓고, 표본이 큰 지역은 좁습니다 — 그래서 옆으로 누운 깔때기 모양이 됩니다.
판정은 세 갈래뿐입니다.
| 표시 | 뜻 | 담당자가 할 일 |
|---|---|---|
| 유의하게 높음 | 전국 평균보다 확실히 나쁨 | 개입 검토 |
| 주의 관찰 | 다를 가능성이 있으나 확실하지 않음 | 추이 관찰 |
| 차이 있다고 말할 수 없음 | 판단할 근거 부족 | 지역 여건으로 따로 판단 |
| 유의하게 낮음 | 전국 평균보다 확실히 좋음 | 유지 |
선은 두 겹을 긋습니다. 바깥쪽(99.8%)이 빨간불, 안쪽(95%)이 노란불입니다. 왜 95%만 쓰지 않느냐면 — 250곳을 한꺼번에 비교하면 실제로 아무 차이가 없어도 12~13곳은 우연히 걸리기 때문입니다. 빨간불이 예산과 평가로 이어지는 화면에서 그 정도 오탐은 감당할 수 없습니다.
정리하면 — 원칙 ②는 이렇게 바뀌었습니다.
바뀌기 전: 순위는 상·하위 극단에서만 말한다
바뀐 뒤: 순위·분위를 어떤 형태로도 표시하지 않는다. 대신 전국 평균과 견준다
그리고 이건 후퇴가 아닙니다. 말할 수 있는 지역이 0~35곳에서 24~174곳으로 늘었습니다. 포기한 것은 "몇 등인가"이고, 얻은 것은 "개입이 필요한가"입니다. 담당자가 실제로 알아야 하는 것은 후자입니다.
순위를 폐기했으니 등급(🟢🟡🔴)은 이제 "순위 써도 된다는 허가증"이 아닙니다. 대신 어느 시간 단위까지 말해도 되는지를 정합니다.
| 등급 | 말해도 되는 것 | 말하면 안 되는 것 |
|---|---|---|
| 🟢 | 해마다의 평균 대비 위치 + 작년보다 나아졌는지 | 순위·분위 |
| 🟡 | 해마다의 평균 대비 위치 | 순위·분위, 작년 대비 변화 |
| 🔴 | 4개년을 묶은 값의 평균 대비 위치 | 순위·분위, 단년 값, 변화 |
| 지표 | λ | 등급 | 현장에서 쓰는 법 |
|---|---|---|---|
| 주관적건강 나쁨률 | 0.908 | 🟢 | 전국 평균 대비 3구분 + 연도 간 변화 언급 가능. 250곳 중 174곳이 판정 가능 |
| 걷기실천율 | 0.788 | 🟢 | 동일. 단 해마다 흔들림이 큰 편(18%)이니 단년 변화는 신중히 |
| 현재흡연율 | 0.725 | 🟡 | 평균 대비 3구분만. 2022년과 2023년 이후는 비교 불가(조사표 개정) |
| 비만율(자가보고) | 0.700 | 🟡 | 평균 대비 3구분만. 연도 간 변화 언급 금지 |
| 고위험음주율 | 0.627 | 🟡 | 동일. 표본을 1.6배로 늘리면 개선됩니다 — 유일하게 증원이 효과 있는 지표 |
| 자살생각률 | 0.532 | 🟡 | 2022·2024년만 조사. 전년 대비 증감이라는 개념 자체가 없습니다 |
| 미충족의료율 | 0.524 | 🟡 | 평균 대비 3구분만. 4개년 평균 사용 시 λ 0.815로 개선 |
| 우울감 경험률 | 0.473 | 🟡 | 평균 대비 3구분만. 4개년 평균 사용 시 0.782 |
| 우울증상유병률(PHQ-9) | 0.428 | 🔴 | 4개년을 묶은 값으로만 평균 대비 3구분. 단년 값 표시 금지 |
이 방식에는 반드시 함께 띄워야 하는 안내문이 있습니다. PHQ-9은 250곳 중 220곳이 "차이 없음" 또는 "주의"로 분류되는데, 안내가 없으면 담당자가 "우리는 아무것도 안 해도 되는구나"로 읽어 버리기 때문입니다.
"'차이 있다고 말할 수 없음'은 '문제가 없음'이 아닙니다. 이 조사의 표본 규모로는 우리 지역이 전국 평균과 다른지 판단할 근거가 부족하다는 뜻입니다. 지역 여건에 따른 사업 필요성은 별도로 판단하십시오."
4개년을 묶으면 정신건강 지표의 λ가 0.43 → 0.75로 오릅니다. 추가 예산이 전혀 들지 않습니다.
단, 대가를 명시해야 합니다 — 4개년 평균이므로 연간 변화를 볼 수 없습니다. 이것은 "연간 성과 평가를 포기하고 지역 비교를 얻는" 맞바꿈입니다. 그 선택을 담당자가 알고 해야 합니다.
이것이 D-study의 실무적 값어치입니다.
표본을 늘려 효과가 있는 지표는 고위험음주(1.6배)뿐입니다.
정신건강 지표는 보완조사로 해결되지 않으므로 예산을 쓰지 않습니다.
"정확도가 낮으니 조사를 늘리자"는 자연스러운 판단이 이 경우에는 헛돈이라는 것을 숫자로 보일 수 있습니다.
모두 추가 조사 부담이 없고, 이미 내부에 있거나 계산 가능한 정보를 정리해 공개하는 것만으로 충족됩니다.
| 제안 | 근거가 된 경험 | |
|---|---|---|
| ① | 성과지표로 지정된 항목은 매년 조사하거나, 격년임을 공표 자료에 명시 | 자살생각이 격년인데 지자체는 연간 변화를 성과로 보고합니다 |
| ② | 조사표 변경 이력표를 원시자료와 함께 배포 | 2023년 흡연 도입문항 신설을 찾는 데 지침서 네 권을 글자 단위로 대조해야 했습니다 |
| ③ | 행정구역 코드 대응표 동봉. 시도코드와 시군구코드의 갱신 시점이 다르다는 점도 명시 | 33곳 결측의 원인이 이것이었고, 원시자료 어디에도 표기가 없었습니다 |
| ④ | 배포본 버전 관리 — 파일에 버전·배포일 표기, 재배포 시 변경 내역 공지 | 17개 파일 중 16개가 구버전인 것을 결합이 실패하고 나서야 알았습니다 |
| ⑤ | 응답 품질 지표(무응답률·스킵 위반율 등)를 시군구별로 공표 | 원시자료에서 계산 가능한데 공표되지 않아, 이용자가 지역 차이를 해석할 방법이 없습니다 |
여기까지 오고 나서 당연히 들어야 할 질문이 하나 남았습니다.
"이걸 정말 아무도 안 해봤을까?"
연구에서 이 질문을 미루면 위험합니다. 논문을 다 써서 투고한 뒤에 심사자가 "이미 나온 얘기 아닌가요"라고 물으면, 그때는 손쓸 방법이 없습니다. 그래서 KCI·Google Scholar·PubMed·ScienceON을 뒤졌습니다.
있었습니다. 두 편이나.
2010년 예방의학회지에 실린 논문입니다. 제목은 「지역 간 건강수준 비교를 위한 표준화율 적용의 적절성 평가」. 자료는 지역사회건강조사 2008년, 우리와 같은 조사입니다.
그들이 던진 질문은 우리와 조금 달랐습니다. 지역 간 건강수준을 비교할 때는 연령 구성이 다른 것을 보정해야 합니다. 노인이 많은 군은 당연히 유병률이 높게 나오니까요. 이 보정에는 직접표준화와 간접표준화 두 가지 방법이 있는데 — 어느 쪽을 쓰느냐에 따라 결과가 달라지지 않을까? 그것이 그들의 질문이었습니다.
31개 지표에 대해 두 방법을 다 돌려 비교했습니다. 결과는 겉보기에는 안심되는 것이었습니다 — 31개 중 29개 지표에서 두 방법의 상관이 0.9 이상. 거의 같은 답이 나온 셈입니다.
그런데 그들은 한 걸음 더 들어갔습니다. "사분순위가 바뀌는 지역이 몇 개인가"를 세어본 것입니다.
전체적으로는 거의 같은데, 개별 지역의 등급은 계산 방법 하나만 바꿔도 30~40곳이 뒤바뀌었습니다.
결론은 이랬습니다 — "순위가 아닌, 범주화되고 대략적인 비교"를 하라.
이것을 처음 읽었을 때의 감정을 정직하게 적어 둡니다.
반가움 반, 낭패 반이었습니다. 우리가 지금 도달한 결론을 16년 전에 누군가 이미 냈습니다.
그것도 같은 조사, 같은 학술지 급, 같은 정책 대상에 대해서.
낭패감이 가라앉고 나서 든 생각은 이것이었습니다.
답은 그 논문을 다시 읽으면 보입니다. 그들의 권고는 "범주화되고 대략적인 비교를 하라"였습니다. 옳은 말입니다. 그런데 —
아무것도 정해져 있지 않습니다. 담당자가 월요일 아침에 따를 수 있는 규칙이 없습니다. 그래서 경고는 논문에 남고, 순위표는 현장에 남았습니다.
여기서 이 연구의 자리가 정해집니다.
우리는 새로운 문제를 발견한 것이 아닙니다. 알려진 문제에
지표별 숫자와 실행 가능한 규칙을 붙이는 것입니다.
그리고 실제로 우리 자료는 한 걸음 더 나갑니다 —
권근용 등이 권고한 사분위 범주조차, 우리 실측으로는
250개 시군구 중 0~35곳만 확정됩니다(정신건강 4개 지표는 0곳).
범주화만으로는 부족합니다. 비교 기준점 자체를 249곳에서
전국 평균 하나로 바꾸어야 합니다. 그것이 깔때기 도표입니다.
두 번째 논문은 성격이 전혀 다릅니다. Epidemiology and Health 2015년, 「Test-retest reliability of health behavior items in the Community Health Survey」.
기억하실 것입니다. 「기초적 설명_분기」에서 '사람 단위' 갈래로 들어가면 나오던 이야기 — 같은 사람에게 두 번 물어 κ(카파)를 재는 재검사 신뢰도. 그것을 실제로 한 사람들이 있었습니다.
159명을 모아 14~21일 간격으로 같은 문항을 다시 물었습니다. 건강행태 28개 문항 — 흡연 5, 음주 4, 안전 2, 신체활동 5, 식생활·체중 4, 정신건강 8개.
습관을 묻는 문항이 생각을 묻는 문항보다 안정적이었습니다. 당연해 보이지만, 숫자로 확인된 것과 그렇지 않은 것은 다릅니다.
다만 이 논문에는 두 가지 한계가 있고, 그 한계가 정확히 우리 자리입니다.
| Kim 등 (2015) | 우리 |
|---|---|
| 159명, 한 지역 편의표본 | 250개 시군구 전수, 4개년 |
| 사람이 두 번 같게 답하는가 | 지역 평균이 지역끼리 구별되는가 |
| κ — 개인 수준 | λ — 지역 수준 |
| 두 축은 서로를 대체하지 않습니다. κ가 높아도 지역 평균은 구별이 안 될 수 있고, 그 반대도 가능합니다. 「기초적 설명_분기」에서 두 갈래를 다 본 뒤 나타나던 "두 갈래가 만나는 곳"이 바로 이 표입니다. | |
| 이미 있던 것 | 없던 것 = 우리 자리 | |
|---|---|---|
| 지역 축 | 권근용 등 (2010) — 표준화 방법 선택이 순위를 흔든다. "대략적으로 비교하라" | 표본오차와 연도 변동이 얼마나 흔드는지 지표별 수치. 그리고 "대략적"을 실행 규칙으로 번역 |
| 개인 축 | Kim 등 (2015) — 159명 재검사 κ 0.44~0.93 | 전국 규모 · 3편이 이어받을 자리 |
| 방법 | — | 일반화가능도이론을 국내 소지역 건강지표에 적용한 사례는 찾지 못했습니다. 복합표본 설계기반 오차를 알려진 값으로 넣고 τ²를 REML 추정한 국내 연구도 없었습니다 |
표현을 바꾸기로 했습니다.
설계서 5판까지는 "국내 최초"라는 취지로 써 두었습니다. 그건 이제 사실이 아닙니다.
정확한 표현은 이것입니다 — "선행이 없는 것이 아니라, 선행이 닿지 않은 축이 있다."
김 주무관은 이제 과장님께 이렇게 답할 수 있습니다.
"12계단은 성과로 보기 어렵습니다. 이 지표는 순위 자체가 오차 범위 안에서 크게 움직입니다.
애초에 순위표를 보지 않는 편이 낫습니다 — 250곳 중 사분위 소속조차 확정되는 곳이 한 곳도 없는 지표입니다.
대신 이렇게 보고드리겠습니다. 4개년 평균으로 우리 시는 8.6%, 전국 평균은 6.9%입니다.
차이가 오차보다 큽니다 — '주의 관찰' 구간입니다. 우연이라고 넘기기는 어렵습니다.
그리고 이 지표는 조사 인원을 늘려도 정확해지지 않습니다. 4개년 평균을 공식 지표로 쓰는 편이 낫습니다."
이 답을 할 수 있게 되는 것 — 그것이 이 연구의 목적이었습니다.
한 줄로 요약하면
지금은 "조사를 했는가"만 확인하고 "제대로 쟀는가"는 확인하지 않습니다.
그리고 그 확인 없이 만들어진 순위로 예산이 움직입니다. 이 연구는 그 순위 옆에 "여기까지만 믿으십시오"라는 선을 긋는 일입니다.
이 문서와 「기초적 설명_분기」에 나오는 용어 전체입니다. 각 항목을 누르면 읽는 법 · 통계에서의 뜻 · 이 연구에서의 쓰임이 뜹니다.
| 기호 | 읽는 법 | 이 연구에서 |
|---|---|---|
| λ | 람다 · lambda | 지역 신뢰도. 이 연구의 주인공 |
| τ² | 타우 제곱 · tau squared | 지역 분산성분 |
| σ² | 시그마 제곱 · sigma squared | 표본오차 분산 |
| μ | 뮤 · mu | 그 해의 전국 평균 |
| α | 알파 · alpha | 크론바흐 알파 (내적 일관성) |
| ω | 오메가 · omega | 맥도날드 오메가 (α의 개선판) |
| κ | 카파 · kappa | 재검사 일치도 |
| ρ | 로 · rho | 상관계수 |
| Δ | 델타 · delta | 차이 (ΔCFI = CFI의 변화량) |
| Σ | 시그마(대문자) · sigma | "모두 더하라". σ²와 전혀 다른 기호입니다 |
| p̂ | 피 햇 · p-hat | 자료에서 추정한 비율 (참값이 아님) |
| x̄ | 엑스 바 · x-bar | 표본 평균 |
막히는 막(幕)이 있으면 번호만 알려 주십시오. 그 대목을 더 잘게 나눠 다시 쓰겠습니다.