인용된 논문 따라가기 — 한 편에서 스무 편으로

선행연구를 조사하다 보면 대개 이런 상태가 됩니다. 검색창에 키워드를 넣고, 결과 스무 개를 훑고, 쓸 만한 논문 한 편을 겨우 건집니다. 그리고 다시 검색창으로 돌아가 단어를 조금 바꿔 넣습니다. 나오는 것은 아까 봤던 논문들입니다. 두 시간이 지나도 손에 남은 것은 여전히 서너 편뿐입니다.

문제는 검색어가 아니라 방법입니다. 쓸 만한 논문을 한 편 찾은 순간부터는 검색을 멈추고 그 논문을 출발점으로 삼아야 합니다. 논문 한 편에는 뒤로 이어지는 길(참고문헌)과 앞으로 이어지는 길(피인용)이 이미 붙어 있습니다. 이 두 길을 따라가는 것을 인용 추적이라고 합니다.

검색보다 따라가기가 빠른 이유

검색은 단어가 맞아야 걸립니다. 같은 현상을 어떤 저자는 "학업 스트레스"라고 쓰고 어떤 저자는 "학업 소진"이라고 씁니다. 내가 쓴 단어를 안 쓴 논문은 아무리 관련이 깊어도 검색 결과에 나오지 않습니다. 검색어를 열 번 바꿔도 못 만나는 논문이 생기는 이유입니다.

인용 추적은 단어가 아니라 관계를 따라갑니다. 어떤 저자가 자기 논문에서 다른 논문을 인용했다는 것은, 그 분야를 잘 아는 사람이 "이 둘은 관련이 있다"고 직접 판단해 연결해 둔 것입니다. 사람이 붙여 놓은 연결이라 검색 알고리즘보다 정확합니다. 용어가 달라도, 분야가 조금 달라도 이어집니다.

시작점은 아무 논문이나 되지 않습니다. 가장 좋은 출발점은 리뷰 논문입니다. 참고문헌이 수십 편씩 달려 있어 한 번에 여러 갈래가 열립니다. 리뷰를 어떻게 알아보고 어디부터 읽는지는 리뷰 논문부터 읽어야 하는 이유에 정리했습니다. 리뷰가 없다면 내 주제와 대상·변수가 가장 비슷한 원저 논문 한 편으로 시작해도 됩니다.

뒤로 가기 — 참고문헌 목록에서 고르는 기준

논문 맨 뒤 참고문헌 목록에는 보통 30~80편이 들어 있습니다. 전부 볼 수는 없고, 볼 필요도 없습니다. 아래 네 기준에 걸리는 것만 뽑으면 대개 다섯 편 안팎으로 줄어듭니다.

여기서 중요한 것은 본문에서 그 인용이 어떤 문장에 붙어 있었는지를 함께 적어 두는 것입니다. 목록만 보면 제목이 비슷비슷해서 나중에 왜 뽑았는지 기억나지 않습니다. 이렇게 한 줄로 남기면 충분합니다.

Kim(2021) — 이 논문 서론에서 "청소년의 수면 시간이 지속적으로 감소했다"의 근거로 인용됨. 나도 서론 배경 문장에 쓸 수 있음.

뒤로 가기는 과거로 가는 길이라 개념의 정의, 표준 측정 절차, 고전적 근거가 나옵니다. 반대로 현재 이 주제가 어디까지 왔는지는 알 수 없습니다. 그건 앞으로 가기에서 얻습니다.

앞으로 가기 — 피인용을 클릭한다

앞으로 가기는 "이 논문을 나중에 인용한 논문들"을 보는 것입니다. 원 논문이 나온 뒤에 나온 연구라서, 방법이 개선됐거나 결과가 뒤집혔거나 다른 집단에서 다시 해본 것들이 여기 모여 있습니다. 세 곳에서 됩니다.

Google Scholar — 검색 결과 각 항목 아래에 링크가 한 줄 붙습니다. 한국어 화면에서는 저장 · 인용 · N회 인용 · 관련 학술자료 · 전체 N개의 버전 순서로 보이고, 영어 화면에서는 같은 자리가 Cited by N입니다. 이 N회 인용을 누르면 그 논문을 인용한 논문 목록이 뜹니다. 목록 안에서 다시 검색할 수 있는 상자가 위에 나오는데, 이게 실제로 가장 쓸모 있습니다. 인용 논문이 300편이어도 거기서 "고등학생"이나 "adolescent"로 한 번 더 거르면 열 편 안으로 줄어듭니다.

Semantic Scholar — 논문 페이지에 References 탭과 Citations 탭이 나란히 있습니다. References가 뒤로, Citations가 앞으로입니다. 이쪽의 장점은 인용을 성격별로 갈라 준다는 점입니다. 배경으로 인용했는지(Background), 방법을 가져다 썼는지(Methods), 결과를 두고 논쟁했는지(Results)가 구분돼 있어서, 내가 방법을 찾고 있다면 Methods 인용만 보면 됩니다.

KCI — 국내 학술지 논문이라면 논문 상세 화면에 피인용 횟수가 표시됩니다. 다만 KCI의 피인용 집계는 국내 등재지 범위에서, 2004년 이후 논문을 대상으로 잡습니다. 국내 논문이 국제 학술지에 인용된 것까지는 잡히지 않으니, 한국어 논문이라도 Google Scholar에서 한 번 더 확인하는 편이 안전합니다.

세 곳의 숫자는 서로 다릅니다. 집계 범위가 다르기 때문이지 어느 한쪽이 틀린 것이 아닙니다. 숫자를 맞추려 하지 말고, 목록에 새로 나오는 논문만 챙기면 됩니다.

두 방향을 한 표에 쌓기

뒤로 다섯 편, 앞으로 다섯 편이면 금방 스무 편이 됩니다. 이때 폴더에 PDF만 쌓아 두면 일주일 뒤에 무엇이 무엇인지 알 수 없게 됩니다. 찾는 즉시 한 줄로 등록하는 습관이 인용 추적의 절반입니다.

표에는 서지 정보 옆에 어디서 왔는지를 한 칸 더 만듭니다.

'경로' 칸이 있으면 두 가지가 편해집니다. 첫째, 같은 논문이 여러 갈래에서 겹쳐 나오는 것이 눈에 보입니다. 둘째, 나중에 "이 측정 도구를 어디서 봤더라" 할 때 거슬러 올라갈 수 있습니다. 저자·연도·제목은 내 레퍼런스 목록에 그대로 저장해 두면 5단계에서 인용 목록을 만들 때 다시 입력하지 않아도 됩니다.

읽은 논문의 내용을 대상·조건·측정·결과 칸으로 나란히 놓는 종합표는 2단계: 선행연구 조사에 형식이 있습니다. 인용 추적으로 모은 논문은 그 표의 행으로 그대로 들어갑니다.

언제 멈추나

인용 추적은 끝이 없습니다. 스스로 멈춰야 하는데, 기준은 편수가 아니라 반복입니다.

• 같은 논문이 계속 나온다. 새로 연 목록 다섯 개 중 세 개가 이미 표에 있는 논문이면, 그 주제의 중심부는 거의 다 본 것입니다. 연구자들은 이 상태를 포화라고 부릅니다.
• 새로 나오는 논문이 내 질문에서 멀어진다. 세 다리쯤 건너가면 주제가 슬금슬금 옮겨 갑니다. 제목만 봐도 내 변수가 없다면 그 갈래는 닫습니다.
• 표에 대상·조건·측정이 서로 다른 행이 열 개쯤 모였다. 갭을 찾기에는 충분한 양입니다.

반대로 멈추면 안 되는 신호도 있습니다. 결론이 서로 엇갈리는 논문 두 편을 발견했는데 왜 다른지 모르겠다면, 그 두 편의 피인용을 각각 열어 보세요. 나중 연구자가 그 차이를 설명해 둔 경우가 많고, 그 설명 자체가 좋은 연구질문이 됩니다.

전문이 안 열려 목록에서 멈추게 될 때는 논문 전문에 무료로 접근하는 합법적 경로를 먼저 보고, 그래도 안 되면 그 논문은 초록만 표에 넣고 넘어갑니다.

함정 — 인용 수는 질이 아니다

피인용을 따라가다 보면 숫자가 큰 논문에 자꾸 눈이 갑니다. 여기서 조심할 것이 몇 가지 있습니다.

• 오래된 논문일수록 숫자가 큽니다. 20년간 쌓인 300회와 2년간 쌓인 20회는 같은 잣대로 비교할 수 없습니다.
• 분야마다 규모가 다릅니다. 연구자 수가 많은 분야는 전체 인용 수가 몇 배 큽니다. 다른 분야 논문끼리 숫자를 비교하는 것은 의미가 없습니다.
• 비판받아서 많이 인용되기도 합니다. 결과가 재현되지 않아 반박 대상이 된 논문은 인용이 오히려 늘어납니다. Semantic Scholar에서 인용 성격이 나뉘어 보이는 것이 이럴 때 도움이 됩니다.
• 인용이 0회라고 나쁜 논문은 아닙니다. 나온 지 얼마 안 됐거나, 좁은 주제이거나, 국내 학술지라 국제 집계에 안 잡힌 것일 수 있습니다.

결국 인용 수는 "많이 읽힌 논문"의 표시일 뿐 "믿을 수 있는 논문"의 표시가 아닙니다. 동료심사 여부, 학술지의 성격, 출판 연도로 출처의 무게를 재는 기준은 2단계: 선행연구 조사의 표에 정리해 두었으니 그 기준으로 판단하세요. 인용 수는 읽는 순서를 정할 때만 쓰고, 인용할지 말지는 다른 기준으로 정합니다.

오늘 30분으로 해보기

• 지금까지 찾은 논문 중 내 질문에 가장 가까운 한 편을 고릅니다.
• 그 논문의 참고문헌 목록에서 앞의 네 기준에 걸리는 것 다섯 편을 표시합니다.
• Google Scholar에서 그 논문 제목을 검색해 N회 인용(영문 화면은 Cited by N)을 누릅니다.
• 인용 목록 안에서 내 대상(예: 고등학생, adolescent)으로 한 번 더 검색해 다섯 편으로 줄입니다.
• 열 편을 표에 등록하면서 '경로' 칸을 반드시 채웁니다.
• 이미 표에 있던 논문이 몇 편 겹쳤는지 셉니다. 절반 이상이면 다음 갈래로 넘어가지 않아도 됩니다.

여기까지 하면 검색창을 한 번도 새로 열지 않고 열 편이 늘어납니다. 연구를 진행하는 몇 달 사이에 새로 나오는 논문까지 자동으로 받으려면 Google Scholar 알림으로 후속 논문 놓치지 않기로 이어서 설정해 두세요. 모은 영어 논문을 실제로 읽는 순서는 영어 논문, 처음부터 끝까지 읽지 않는 법에 있습니다.