여러 장수 연구를 모은 논문에는 점들이 삼각형 안에 흩어진 그림이 실리기도 합니다. 한쪽이 비어 보이면 “불리한 결과가 숨겨졌다”고 생각하기 쉽습니다. 깔때기그림은 그런 가능성을 살펴보는 단서가 되지만, 빈 공간이 곧 미발표 연구의 존재를 증명하지는 않습니다. 점의 뜻과 축부터 읽어야 합니다.
점 하나는 사람 한 명이 아니라 연구의 효과 추정치다
일반적인 깔때기그림은 가로축에 효과 추정치를, 세로축에 표준오차처럼 정밀도와 관련된 값을 놓습니다. 표준오차 축이라면 보통 정밀한 연구가 위쪽에, 덜 정밀한 연구가 아래쪽에 표시됩니다. 하지만 축 구성은 다를 수 있으므로 그림 설명을 먼저 확인합니다. 삼각형의 중심선 역시 반드시 “효과 없음”을 뜻하지는 않습니다. [S1]
예를 들어 가로축에 평균 차이가 있으면 0의 위치가 중요하고, 위험비처럼 비율을 쓰면 1의 위치가 중요합니다. 중심선이 합산 효과인지 무효과선인지, 점의 좌우 중 어느 쪽이 유리한지도 알아야 합니다. 논문을 읽는 사람이 임의로 “오른쪽에 점이 많으니 좋은 결과”라고 정할 수는 없습니다.
같은 모양을 만들 수 있는 서로 다른 사정
Cochrane은 비대칭을 작은 연구의 효과 추정치가 큰 연구와 다른 ‘소규모 연구 효과’의 표현으로 설명합니다. 선택적인 미보고 외에도 연구 수행상의 편향, 실제 대상과 개입의 차이, 우연 등이 원인이 될 수 있습니다. 그림만으로 한 원인을 확정하지 않는 것이 해석의 출발점입니다. [S1]
| 가능한 상황 | 추가로 볼 자료 | 성급한 결론 |
|---|---|---|
| 작은 연구의 불리한 결과가 공개되지 않음 | 등록 연구와 결과 보고의 대응 | 빈자리 수만큼 논문이 숨겨졌다고 계산 |
| 작은 연구에 더 집중적인 프로그램을 제공 | 개입 강도·참가자·기관 특성 | 연구 크기만이 차이의 원인이라고 판단 |
| 몇 개 연구가 우연히 한쪽에 모임 | 연구 수와 정밀도 범위 | 그림의 인상만으로 조작을 주장 |
📂 “제목만 봐도 "어? 이거 나 몰랐는데?" 싶은 글들” 😳
이 표의 세 상황은 실제 특정 연구에 대한 의혹이 아닙니다. 그림을 본 뒤 어떤 질문을 해야 하는지 설명하려고 만든 예시입니다. 특히 논문 제목에 “체계적 문헌고찰”이 있다고 해서 수집 과정에서 놓친 자료가 없다고 보증되는 것은 아닙니다. 검색한 자료원과 검색 마감일을 함께 확인해야 대조할 대상을 알 수 있습니다.
점이 몇 개 없을 때 검정 결과도 약해진다
비대칭 검정은 통상 연구가 적어도 10개일 때 고려하라는 경험적 권고가 있습니다. 적은 수에서는 검정력이 낮고, 연구들의 표준오차가 비슷할 때도 해석에 문제가 생깁니다. 10개는 신뢰성을 자동으로 부여하는 합격선이 아닙니다. 비대칭 검정이 유의하지 않더라도 선택적 미보고가 없다는 증명은 되지 않습니다. [S1]
가상의 메타분석 A에는 연구 6개가 있고 B에는 18개가 있다고 해 보겠습니다. A의 그림이 대칭처럼 보인다는 이유만으로 B보다 안전한 근거라고 순위를 매기기는 어렵습니다. B의 연구 수가 더 많아도 대상이나 결과 정의가 서로 크게 다르면 단순한 그림 한 장으로 상황을 요약하기 어렵습니다. 연구 수는 다른 정보와 함께 읽는 항목입니다.
🌿 “화장실에서 읽다가 다리에 쥐나는 글 🚽” 🌿
빈 공간의 위치를 말로 옮겨 보기
그림을 설명할 때 “왼쪽이 비었다”만 적지 말고 “표준오차가 큰 아래쪽에서, 효과가 덜 유리한 방향의 점이 적다”처럼 축의 뜻을 넣어 보세요. 가로축의 유리한 방향이 반대인 그림이라면 문장도 달라져야 합니다. 색이나 도형이 연구 종류를 나누는 범례인지도 확인해야 한 집단의 점을 전체 연구로 오해하지 않습니다.
가상의 검토 메모에 그림은 있지만 검색 마감일과 연구 등록 정보가 없다면, 비대칭의 이유는 미확인으로 남깁니다. 이후 등록 자료를 찾았다고 해도 제목이 비슷하다는 이유만으로 같은 시험이라고 짝짓지 않습니다. 참여자·개입·기관·등록 번호가 연결되는지 확인할 자료가 필요합니다. 그림은 다음 조사의 방향을 잡는 출발점입니다.
두 리뷰의 깔때기 모양을 비교할 때도 먼저 같은 결과 지표와 같은 포함 기준인지 살핍니다. 하나는 생존기간을, 다른 하나는 기능 점수를 모았다면 겉모양만 비교해 어느 쪽이 더 정직한 연구 분야라고 말할 수 없습니다. 비교 대상을 일치시키고 미확인 항목을 남기는 것이, 빈 공간에 그럴듯한 설명을 채워 넣는 것보다 유용합니다.
그림 옆에 남기는 다섯 칸 메모
- 가로축: 어떤 효과 단위이며 유리한 방향은 어디인가.
- 세로축: 표준오차인가, 다른 정밀도 지표인가.
- 점: 몇 개 연구의 어떤 결과를 나타내는가.
- 선: 합산 효과선과 무효과선을 구분할 수 있는가.
- 해설: 저자가 비대칭의 대안 원인과 자료 누락을 어떻게 검토했는가.
이 메모를 쓰면 그래프 이미지만 공유됐을 때 무엇이 빠졌는지도 분명해집니다. 축 이름이 잘린 캡처라면 결론을 내리기보다 원문 그림 설명을 찾아야 합니다. 연구 목록에 같은 시험의 여러 보고서가 별도 연구처럼 중복 처리됐는지 의문이 생기면 문헌 선정표를 보완해서 읽을 수 있습니다.
독자용 요약에는 “깔때기그림에 비대칭이 관찰됐고, 선택적 미보고를 포함한 여러 원인이 검토 대상이다”처럼 관찰과 해석을 나누어 적습니다. 반대로 대칭이었다면 그 사실까지만 쓰고 “모든 편향이 제거됐다”라고 확장하지 않습니다. 도형을 합격 도장처럼 쓰기보다, 근거 수집 과정으로 돌아가게 하는 안내표로 읽는 편이 유용합니다.