| Home | E-Submission | Sitemap | Contact Us |  
top_img
J Korean Gerontol Nurs > Volume 18(3):2016 > Article
노인을 위한 비언어적 통증사정도구에 관한 문헌 고찰

Abstract

Purpose

The aim of this study was to review studies on nonverbal pain measurement for elderly people.

Methods

Through a literature search of the databases including RISS, Medline, and the Cumulative Index to Nursing and Allied Health Literature, a total of 41 studies published between January 2000 and June 2016 were identified. A comprehensive review was performed guided by a framework developed by the researchers.

Results

Nine nonverbal pain measurement scales that were mentioned more than twice in the selected studies were identified. Facial expression, verbalization and vocalization, and body movements were categories presented in all of the scales. The Pain Assessment In Advanced Dementia Scale (PAINAD) was most frequently reported in studies and the Pain Assessment Checklist for Seniors with Limited Ability to Communicate (PACSLAC) showed the highest internal consistency (Cronbach's ⍺=.73~.92) while the Doloplus-2 showed the highest inter-rater reliability (r=.77~.97) and the PAINAD and the highest concurrent validity (r=.65~.95).

Conclusion

The PAINAD, PACSLAC, and Doloplus-2 are useful scales for use with elders. However, it is difficult to conclude which scale is the most appropriate because of insufficient evidence. More methodological studies are necessary to examine reliability, validity and clinical utility of the measures identified above.

서 론

1. 연구의 필요성

전 세계적으로 65세 이상 노인인구가 증가하고 있어 인구 중 65세 이상 비율은 2015년 8.2%에서 2060년 17.6%로 증가할 전망이다. 더구나 우리나라의 고령화는 급속도로 진행되고 있어, 2015년 고령인구의 비중은 13.1%로 1960년에 비해 4.5배 증가한 수준이며, 2030년에는 24.3%로 2060년에는 40.1%로 증가할 것으로 보고되고 있다[1]. 이렇게 급속도로 고령화 사회에 접어들고 평균 수명의 증가에 따라 노년기의 건강관리 및 삶의 질에 대한 관심 또한 증가하고 있다[2].
통증이란 실제로 일어나거나 혹은 아직은 잠재적인 조직 손상과 관련되어 나타나는 불쾌한 감각적 및 정서적 경험을 말한다[3]. 이러한 통증은 주관적이고 개인적인 것으로, 기억 · 감정 · 문화 등에도 연관되는 복합적 현상이다. 통증은 급성통증과 만성통증으로 분류되며, 만성통증은 3개월 이상 지속되는 통증을 의미한다[4]. 전체 노인인구의 약 89.2%는 한 가지 이상의 만성질환을 앓고 있는 것으로 조사되었는데[5], 노인들이 가지고 있는 만성질환과 노화로 인한 신체변화로 노인의 89%정도가 통증을 경험하는 것으로 보고되고 있다. 지역사회 거주 노인들의 35~45%가 일상적인 통증을 겪고 있으며, 노인요양시설 거주 노인의 45~85%가 만성통증을 겪는 것으로 나타났다[6]. 노인의 만성통증은 우울, 불안, 낙상, 영양 불균형, 인지능력 저하, 수면 부족, 일상생활과 사회적 활동 능력 저하, 의료비 증가, 삶의 질 감소 등을 유발한다[6]. 이렇게 노인의 만성통증은 신체적인 문제 뿐 아니라 심리적, 사회적인 기능장애를 초래하므로 지속적이고 체계적인 만성통증관리의 필요성이 부각되고 있다[7].
정확한 통증 사정은 통증을 체계적으로 관리하고 치료하기 위해 필수적이다. 하지만 대부분의 노인이 만성통증을 겪고 있음에도 노인의 통증사정은 어려운 부분이다[8]. 노인의 정확한 통증 사정을 가로막는 문제는 노인 환자 측면, 의료진 측면, 구조적 측면에서 존재한다[9]. 노인 환자의 측면에서 가장 큰 문제는 인지장애이며, 이 외에도 성인을 위한 통증사정도구 사용의 어려움이 보고되었다. 의료진의 문제는 노인의 통증을 정상적인 노화과정 또는 망상이나 치매로만 간주하는 것이며, 또한, 구조적인 문제로 노인의 적절한 통증사정 및 조절에 대한 논의가 제대로 이루어지지 않는 것으로 제시되었다. 이러한 다양한 문제로 인한 부정확한 통증사정은 결과적으로 노인이 겪고 있는 만성통증에 대한 적절한 처치가 이루어지지 않게 한다[6]. 따라서 간호사는 노인의 통증을 정확하게 사정하고 이를 적절하게 관리하여 노인의 삶의 질을 높이도록 도와주어야 한다[10].
통증은 주관적이고 개인적인 것으로, 기억 · 감정 · 문화 등에도 연관되는 복합적 현상이다[11]. 따라서 대상자의 통증에 대한 자가보고가 통증사정에 가장 정확하고 중요한 자료이다[8,11]. 일반적인 성인 대상자에게 사용하는 자가 보고식 통증사정도구로는 숫자척도도구(Numeric Rating Scale, NRS), 언어적서술형척도(Verbal Descriptive Scale, VDS), 얼굴표정척도(Face Pain Scale, FPS) 등이 있다. 하지만 이러한 자가보고식 통증사정도구들은 노인에게 적용하는 데에 많은 어려움이 있는데, 이는 인지능력의 저하, 의사소통의 어려움 등을 가진 노인에게 정확한 통증을 언어로 전달하는 것은 어렵기 때문이다[12]. 그런 이유로 인지능력의 저하로 인해 통증사정도구에 대한 이해도가 낮아지고 의사소통이 불가능한 노인에게 자가보고식 통증사정도구는 신뢰도가 떨어져 사용이 추천되지 않고 있다[13].
이러한 문제를 해결하기 위해 1990년대 중반 이후부터 세계적으로 다양한 비언어적 통증사정도구가 개발되어왔다. 비언어적 통증사정도구는 행동 변화의 관찰을 기본으로 하고 있다. 이러한 행동과 기능의 변화를 관찰하는 것은 수면, 식욕, 신체활동, 얼굴표정 및 몸짓언어 등을 포함한다[14]. 미국노인병학회에서는 비언어적 통증 사정 시 얼굴표정, 구두/발성, 신체움직임, 상호작용 변화, 일상생활 패턴 변화, 정신상태 변화의 6가지 행동지표영역(Table 1)을 포함할 것을 권유하고 있다[15]. 이 중 구두/발성은 통증이 있음을 언어로 적절하게 표현하기 보다는 통증과 관련된 행동의 일부로 한숨쉬기, 신음소리내기, 거친 숨소리, 단순하고 반복적인 중얼거림, 누군가를 지속적으로 부르기, 욕하기 등의 의미 없는 음성(예: 등)을 내는 경우를 의미하는 것으로 언어적 표현이 제한된 노인환자에서 주의 깊게 관찰해야 할 통증 관련 행동으로 제시되어 있다. 심각한 인지 장애를 겪고 있는 노인 환자에게는 비언어적 통증사정 도구를 통한 통증 사정이 효과적인 것으로 나타났다[16].
이렇게 개발된 다양한 도구들은 여러 나라의 언어로 번역되어 사용되어지고도 있다[14]. 하지만 우리나라에서 비언어적 통증사정도구에 관한 연구는 한국어판 Pain Assessment Checklist for Seniors with Limited Ability to Communicate (PACSLAC)에 대한 논문이 한편 있을 뿐[13], 비언어적 통증사정도구에 관한 논문을 체계적으로 살펴본 연구는 없으며 비언어적 통증사정도구를 적용함에 있어 발전적 방향을 제시하는 연구는 아직까지 부족한 편이다. 이러한 제한점을 보완하기 위해 국내 · 외의 선행연구들을 분석하고 검토하는 것이 필요하다.
이에 본 연구는 노인을 위한 비언어적 통증사정도구에 관련된 국내 · 외 연구를 분석하고 검토하여, 향후 우리나라 노인을 위한 비언어적 통증사정도구의 개발 및 연구가 이루어질 수 있도록 하기 위한 기초자료를 제공하기 위하여 실시되었다.

2. 연구목적

본 연구는 2000년에서 2016년까지 국내 · 외 전문 학술지에 개제된 노인을 위한 비언어적 통증사정도구에 관한 문헌들을 고찰하고 이를 바탕으로 향후 연구방향을 제시하고자 하였으며, 구체적인 목적은 다음과 같다.
• 비언어적 통증사정도구에 관한 연구들의 일반적인 특성을 파악한다.
• 분석 대상 문헌들이 채택한 비언어적 통증사정도구를 비교 검토한다.

연구방법

1. 연구설계

본 연구는 노인을 위한 비언어적 통증사정도구에 대한 선행연구들을 비교 · 분석하는 서술적 조사연구이다.

2. 연구대상 및 자료수집

본 연구는 문헌고찰 연구로 생명윤리심의위원회의 심의 면제 대상 연구이다. 본 연구의 대상 논문의 선정기준은 2000년 1월부터 2016년 6월까지 국내 · 외 학술지에 개제된 논문들로, 문헌검색은 한국교육학술정보원(RISS), Medline, Cumulative Index to Nursing and Allied Health Literature (CINAHL)의 데이터베이스를 이용하여 이루어졌다.
자료수집기간은 2016년 7월부터 8월까지였다. 자료수집을 위해 문헌을 검색할 때 사용한 검색어는 ‘aged’, ‘pain measurement’를 주요개념으로 하였다. 또한, 자료의 누락 방지를 위해 ‘old’, ‘elderly’, ‘senior’, ‘older people’과 ‘pain scale’, 'pain assessment’를 추가 검색어로 사용하였다. 이렇게 검색된 문헌 내에서 ‘nonverbal’, ‘observational’, ‘behavioral’등을 포함하는 문헌을 검색하였다.
1차적으로 RISS에서 3편, Medline에서 1073편, CINAHL에서 574편의 논문이 검색되었다. 이 중 제목을 통해 포함기준에 부합하지 않는 논문 1166편을 제외하였다. 이 후 RISS에서 1편, Medline에서 338편, CINAHL에서 145편의 논문이 선정되었다. 다음으로 중복되는 127편의 논문이 제외되었으며, 추가적으로 제목과 초록 고찰을 통해 본 연구의 주제와 관련이 없다고 판단되는 논문을 제외하였다. 최종적으로 총 54편의 논문이 분석대상으로 선정되었으나, 분석 과정 중 결과에 혼돈을 줄 수 있는 문헌고찰 연구 13편을 제외하였다. 최종적으로 41편의 연구가 선정되었다. 자료수집 절차의 흐름도는 Figure 1과 같다.

3. 연구의 분석틀 및 자료분석

본 연구의 분석틀은 선행연구[14,17,18]들을 참조하고 본 연구의 목적에 맞게 수정하여 작성하였다. 분석틀은 크게 4가지의 요소로 구성되어 있으며 구체적인 내용은 다음과 같다.
첫째, 선정 된 연구들의 일반적인 특성을 분석하기 위한 변수로 발표년도, 출판국가, 연구설계, 표본 수, 연구에 사용 된 도구들을 포함하였다.
둘째, 문헌고찰 연구는 분석 과정 중 결과에 혼돈을 줄 수 있다고 판단되어 최종적으로 제외되었다. 그 이유는 문헌고찰 연구의 경우 언급되어지는 통증사정도구가 많아 본 연구의 주제와 일치하지 않는 도구들이 포함되었으며, 도구들의 신뢰도 및 타당도에 대한 보고가 연구자의 분석기준에 따라 변형되어 있어 본 연구의 결과에 혼돈을 줄 수 있기 때문이다.
셋째, 비언어적 통증사정도구는 분석한 연구들 내에서 적어도 2회 이상 언급된 도구들로 선정되었다. 이는 노인에게 주로 사용되어 연구가 많이 진행된 도구들을 위주로 분석하기 위한 연구자의 의도에 의한 것이었으며, 따라서, 1회만 언급된 도구들은 분석 대상에서 제외되었다.
넷째, 비언어적 통증사정도구의 비교 분석을 위해 도구의 개발자 및 개발년도, 항목 수, 점수 범위, 타당도 및 신뢰도 등을 포함하였다. 또한, 미국노인병학회에서 비언어적 통증 사정 시 포함하도록 권고하는 6가지의 행동지표영역[15]의 포함 여부를 추가하였다. 도구의 타당도와 신뢰도는 분석한 논문들의 결과의 범위로 포함하였으며, 각각의 도구의 특성, 유용성과 제한점 등에 대해 분석하였다.

연구결과

1. 분석 대상 문헌들의 일반적인 특성

분석에 포함 된 연구들의 일반적인 특성을 파악하기 위하여 발표년도, 저자명, 출판국가, 연구설계, 표본대상자 및 표본수, 연구에 포함 된 도구들로 분류하였고 그 결과는 Table 2와 같다.
발표년도를 살펴 본 결과 2007년이 8편(19.5%)으로 가장 많이 발표되었다. 2000년부터 2005년 사이에 6편(14.6%), 2006년부터 2010년 사이 23편(56%)의 연구가 발표되었다. 2011년부터 현재까지 12편(29.2%)이 발표되었다.
출판 국가를 보면 총 41편 중 미국이 10편(24.3%)으로 가장 많았으며, 다음으로 노르웨이 5편(12.1%), 캐나다와 네덜란드가 4편(9.7%)를 차지하였다. 유럽의 다양한 나라에서 많은 연구가 진행되었으며 총 15편(36.5%)를 차지하였다. 반면, 아시아에서 진행된 연구는 일본 3편, 중국 2편, 싱가포르와 말레이시아, 한국에서 각 1편으로 총 8편(19.5%)에 불과하였다. 오세아니아 역시 연구가 많이 진행되지 않았는데, 호주 3편(7.3%), 뉴질랜드 1편(2.4%)에 불과하였다.
연구설계는 도구개발 연구가 10편(24.3%)으로 가장 많았고, 도구의 신뢰도와 타당도를 검증하는 방법론적 연구가 8편(19.5%)을 차지하였다. 표본 대상자는 치매노인이 27편(65.8%)으로 가장 많았으며, 다음으로 인지장애를 가진 노인이 12편(29.2%)을 차지하였다. 그 외에 언어능력이 손상된 노인을 대상으로 한 연구 1편(2.4%)과 수술을 받은 노인 환자를 대상으로 한 연구 1편(2.4%)이 있었다. 표본수는 최소 19명에서 최대 600명 까지 다양하였고(평균 136.6명), 이 중 30명 미만을 대상으로 한 연구가 4편(9.7%)이었다.

2. 비언어적 통증사정도구의 특성

분석대상 연구들에서 언급된 비언어적 통증사정도구는 총 14개였다. 이 중 2회 이상 언급된 도구를 선정하여 분석하였다. 1회씩만 언급 된 도구는 총 5개로 분석대상에서 제외되었다. 따라서, 분석에 포함 된 비언어적 통증사정도구는 총 9개였으며, 이 도구들의 특성을 파악하기 위해 도구의 이름, 항목수와 점수 범위, 미국노인병학회가 권고하는 행동지표 6가지 영역, 신뢰도 및 타당도, 유용성 및 제한점 등으로 분류하였고 그 결과는 Table 3과 같다.
분석대상 연구들에서 비언어적 통증사정도구의 용어는 행동 관련 통증 척도(behavioral pain scales), 관찰 통증 척도(observational pain scales), 통증 행동 관찰 도구(pain behavior observational tools) 등으로 각각 다르게 표현되었다. 가장 많이 언급된 도구는 Warden 등(2002)이 개발한 Pain Assessment In Advanced Dementia Scale (PAINAD)로 총 14편(34.1%)에 등장하였다. 다음으로는 Fuchs-Lacelle과 Hadjistavropoulos (2002)의 Pain Assessment Checklist for Seniors with Limited Ability to Communicate (PACSLAC)가 10편(24.3%) 언급되었다. 그 외에도 Doloplus-2 (6편, 14.6%), Abbey (4편, 9.7%), The Checklist of Nonverbal Pain Indicators (CNPI)(4편, 9.7%), The Non-Communicative Patient's Pain Assessment Instrument (NOPPAIN)(3편, 7.3%), Mobilization-Observation-Behavior-Intensity-Dementia Pain Scale (MOBID-2)(3편. 7.3%), Pain Assessment in Dementing Elderly (PADE)(2편, 4.8%), Certified Nurse Assistant Pain Assessment Tool (CPAT)(2편, 4.8%)의 도구들이 연구되었다.
분석 된 비언어적 통증사정도구들의 항목 수는 5개부터 60개까지 다양하였으며, 이 중 PACSLAC가 60개로 가장 많은 항목 수를 가진 도구로 나타났다. 미국 노인병학회에서 권고하는 6가지 행동지표영역을 포함하는지 여부와 관련하여서는 비언어적 통증사정도구들이 최소 3가지 영역은 모두 포함하였으며, 가장 많은 영역을 포함하는 도구는 PACSLAC와 Abbey로 상기 6가지 영역을 모두 포함하는 것으로 나타났다. 분석된 도구들은 모두 얼굴표정, 구두/발성, 신체 움직임의 세 영역을 포함하고 있었다.
분석대상 문헌들은 대부분 도구들의 신뢰도와 타당도를 검증하여 제시하고 있다. 41편의 연구에서 11편을 제외한 연구에서 신뢰도와 타당도를 제시하였다. 신뢰도는 내적일관성, 평가자 간 신뢰도, 평가자 내 신뢰도가 검증되었으며, 타당도는 동시타당도와 변별타당도로 검증되었다. 각 연구에서 검증 된 모든 신뢰도와 타당도는 최솟값과 최댓값의 범위로 제시하였다. 총 9개의 도구들의 내적일관성 신뢰도는 .06부터 .97, 평가자간 신뢰도는 .25~.97로 다양하게 나타났다. 동시 타당도는 .22부터 .95로 나타났다. 각 도구의 내적일관성 신뢰도는 PACSLAC (.73~.92), PAINAD (.55~.90) 순으로 높게 나타났으며, 평가자 간 신뢰도는 Doloplus-2 (.77~.97), PACSLAC (.63~.96) 순으로 높게 나타났다. 동시 타당도의 경우 PAINAD (.65~.95)와 CNPI (.33~.95)가 높은 것으로 나타났다.
문헌들에서는 각 도구들의 유용성 및 제한점을 제시하고 있었다. 도구를 이용하여 통증을 측정하는 데 걸리는 시간은 5분에서 10분으로 나타났으며, Abbey와 CPAT가 1분으로 가장 적은 시간이 걸렸다. 반면에 PADE는 10분으로 가장 많은 시간이 걸리는 것으로 나타났다. 특히, MOBID-2와 PADE는 점수를 측정하는 과정이 복잡하고 어려워 훈련이 필요한 것으로 보고되었다. 측정된 점수에 대한 해석은 Abbey, CNPI, CPAT만이 가진 것으로 나타났으며, Doloplus-2의 경우는 통증 여부를 판별하는 Cut-off score만을 가지고 있었다. 도구들은 대부분 간호사를 위해 개발 된 것이었으며, NOPPAIN과 CPAT의 경우 간호조무사를 위해 개발 된 도구였다.
총 9개의 비언어적 통증사정도구 중 문헌에서의 언급횟수, 신뢰도 및 타당도, 유용성 및 제한점을 조합해보면, PAINAD, PACSLAC, Doloplus-2의 세 도구가 전 세계적으로 연구가 많이 진행되며 유용한 것으로 확인되었다.

논 의

본 연구는 2000년부터 최근까지 노인을 대상으로 한 비언어적 통증사정도구에 대한 선행연구를 고찰하고, 연구들에서 언급 되어진 비언어적 통증사정도구의 특성에 대해 분석하였다. 본 분석을 통하여 최근까지의 노인을 위한 비언어적 통증사정도구에 대한 전 세계적 연구동향을 파악할 수 있었으며, 향후 노인대상자의 비언어적 통증사정을 위해 진행되어야 할 연구를 위한 기초자료를 제공하고자 하였다.
본 연구의 분석대상 문헌 41편 중 2006년부터 2010년 사이에 발표 된 연구가 23편(56%)으로 절반을 차지하였다. 이것은 2000년대 초반에는 도구의 개발이 시작되는 시기라 많은 연구가 진행되지 않았으나, 여러 도구들이 개발 된 2006년부터 후속연구가 진행된 것을 알 수 있었다. 이것은 2000년대에 노인을 위한 비언어적 통증사정도구들이 개발되었음에도 실무에서의 사용은 많이 이루어지지 않아 다양한 후속 연구가 진행되고 있는 것으로 보인다[6]. 전 세계적으로 노인인구의 증가와 더불어 통증관리에 대한 관심이 늘어나고 있어, 이러한 비언어적 통증사정도구에 대한 요구는 지속적으로 증가할 것으로 보인다[19]. 하지만 전 세계적으로 꾸준히 연구가 이루어지는 것에 비해 국내에서 이루어진 연구는 단 1편에 불과해 국내에서의 추가적 연구가 필요하다는 것을 보여준다.
총 9개의 비언어적 통증사정도구들을 비교 · 분석한 결과 문헌에 가장 많이 언급된 도구는 PAINAD, PACSLAC, Doloplus-2의 순이었으며, 내적일관성 신뢰도는 PACSLAC, PAINAD 순으로 높게 나타났으며, 평가자간 신뢰도는 Doloplus-2, PACSLAC 순으로 높았다. 이것으로 현재까지 많은 연구가 진행되고 사용이 유용한 도구는 PAINAD, PACSLAC, Doloplus-2로 볼 수 있었으며, 이것은 다수의 선행연구[14,18,20-23]의 결과와 일부 일치하였다.
PAINAD는 여러 연구에서 임상적으로 유용하며, 신뢰도와 타당도가 높게 나타났다[18,21]. PAINAD는 5가지 항목(호흡, 부정적 음성화, 얼굴표정, 몸짓언어, 달램)을 각각 0,1,2점을 매겨 통증 점수를 내는 도구이다. PAINAD는 사용이 간단하여 2시간 정도의 훈련만이 필요하며, 점수 측정에 5분 내외로 걸리는 것으로 나타났다[18]. 본 연구에서 분석한 결과 가장 많은 문헌에 언급되었으며, 높은 신뢰도와 타당도를 보여줬다. 하지만 점수 측정 시 통증이 없는 것을 의미하는 ‘0’점으로 나타나는 경우가 많았으며, 점수에 대한 자세한 해석이 없어 추가적인 연구가 필요하다[14,18]. 또한 통증이 있다고 판단하고 중재를 할 수 있는 cut-off score가 없는 것이 아쉬우며[18] 추가적인 연구가 진행되어야 할 필요가 있겠다.
PACSLAC는 여전히 개발단계에 있음에도 다양한 연구에서 실무 유용성이 높은 것으로 밝혀졌다. 특히 PACSLAC는 미세한 행동 변화를 발견하는 부분에서 가장 정확한 것으로 나타났다[24]. PACSLAC는 네 가지 영역 총 60개의 문항으로 이루어져 있다. 얼굴표정(13문항), 활동/신체움직임(20문항), 사회성/인격/기분(12문항), 생리적 변화/식욕과 수면변화/음성표현(15문항)으로 구성되어있다. 항목이 많지만 측정이 간단하여 5분 정도로 소요되며, 실제 임상에서 사용한 연구에서도 높은 신뢰도를 보였다[13,25]. 또한 기존 형태의 축소판인 PACSLAC-II도 개발되었으며 원본과 동질성이 입증되고 통증과 관련이 없는 항목들이 삭제되어 사용이 더 용이해졌다[26]. 하지만 PACSLAC의 점수가 증가하는 것이 통증의 증가를 의미하지만, 점수에 대한 보다 정확한 해석이 없어 이 부분에 대한 추가적인 연구가 필요하다[14]. 또한 PAINAD와 마찬가지로 cut-off score가 없는 것이 제한점이며[18] 추가적인 연구가 필요한 것으로 사료된다.
Doloplus-2 역시 신뢰도와 타당도 및 임상적 유용성이 모두 높은 것으로 보고되었다[14,23]. Doloplus-2는 통증을 유발할 수 있는 10가지 상황을 관찰하고 통증 점수를 내는 것으로 신체적 반응, 정신운동성 반응, 정신사회적 반응의 세 가지 영역으로 분류된다. 각 항목들을 0점에서 3점까지 점수를 매기는 것이며, cut-off score는 5점으로 그 이상부터 통증이 있다고 판단하였다. 하지만 이 cut-off score와 관련된 정확한 근거가 부족하며, 점수에 대한 자세한 해석이 없어 이 부분에 대한 추가적인 연구가 필요한 것으로 제시되었다[14]. 또한 도구의 세 가지 영역 중 정신사회적 반응은 판단하기 어려운 부분으로 재평가가 필요하다[23].
하지만 많은 연구가 진행되고 도구가 개발되고 있음에도 불구하고 여전히 특정한 도구가 가장 유용하다고 할 수 있는 확실한 증거가 부족하며[27], 그 어떤 도구도 가장 좋은 기준이 된다고 주장하기 어렵다[23]. 본 연구에서 PAINAD, PACSLAC, Doloplus-2를 유용한 도구라고 결론을 내렸지만, 이것이 모든 국가와 모든 대상자에게 적절한 것은 아니다. 통증은 개인적이며 문화적인 요소에도 영향을 받는 부분이기 때문에 각 나라에 알맞은 통증사정도구도 다를 수 있다. 통증사정도구의 선택은 임상적 환경, 통증사정과정, 사용자 등을 모두 고려해서 결정해야 한다[24].
PAINAD는 간단하게 측정이 가능하고 통증과 관련된 행동에 초점을 맞추기 때문에 즉각적인 중재가 필요한 임상적 환경에서 적용이 용이하다[21]. PASCLAC는 포괄적인 행동을 관찰하는 도구로써 지속적으로 통증을 관찰하는 환경에서 적합하며, 통증에 대해 기준으로 삼거나 월별 또는 분기별로 측정 시에 사용하는 것이 좋다[21]. Doloplus-2는 대상자의 특성에 대해 잘 알고 있어야 사용이 가능하므로 노인요양시설 또는 요양병원과 같은 환경에서 적용이 용이하다[28]. 하지만 이에 대한 근거를 제시하는 후속 연구들이 더 필요할 것으로 사료된다.

결 론

본 연구는 2000년부터 2016년까지 노인을 대상으로 한 비언어적 통증사정도구에 대한 선행연구들을 분석하여 연구동향을 파악하고 향후 노인을 위한 비언어적 통증사정도구에 대한 연구 및 임상활용에 대한 기초자료를 제공하고자 실시되었다. 본 연구를 통해, 2006년 이후 노인을 위한 비언어적 통증사정도구와 관련된 연구가 많이 진행된 것을 알 수 있었으며 요구도의 증가에 따라 지속적인 연구가 필요 한 것으로 확인되었다. 또한 노인의 통증관리에 대한 관심이 증가함에도 불구하고 국내에서 이루어진 연구는 단 1편에 불과하여, 국내에서 노인의 비언어적 통증사정도구에 관련된 연구는 미흡한 실정이었다. 국외의 다양한 연구결과를 토대로 국내에서도 우리나라 노인의 특성 및 임상현장의 특성을 반영하여 적용이 용이할 수 있도록 많은 후속 연구가 진행되어야 할 필요가 있겠다. 특히, 본 연구에서 비언어적 통증사정도구를 분석한 결과 PAINAD, PACSLAC, Doloplus-2가 현 시점에서 유용한 도구로 판단되어지지만, 여전히 확실한 증거가 부족하며 어떤 도구가 가장 적절한지에 대한 결론을 내리기 어렵다. 따라서 향후 우리나라 노인을 대상으로 이 세 가지 도구에 대한 번안, 신뢰도 및 타당도 평가, 및 임상유용성 등에 대한 연구가 우선시 되어야 할 것으로 사료된다.
본 연구는 국내 · 외 노인을 위한 비언어적 통증사정도구를 종합적으로 고찰함에 있어 다음의 제한점이 있으며, 이는 본 논문의 결과를 해석할 때 고려되어야 할 것이다. 첫째, 검색어와 검색 데이터베이스의 제한으로 주제에 맞지만 분석대상에서 누락된 문헌이 있을 수 있다. 둘째, 논문을 선정하는 과정에서 제외된 문헌들(예: 문헌고찰 연구)이 있어 이와 함께 누락된 도구들도 있었다. 셋째, 선정된 문헌 내에 포함된 도구이지만 본 연구에서는 적어도 2회 이상 언급된 도구들만을 분석하였기 때문에 누락된 유용한 도구가 있을 수 있다. 넷째, 영어로 작성된 논문만을 포함하였기 때문에 다른 언어로 작성된 논문들과 함께 누락된 도구들도 있었다.
위와 같은 제한점에도 불구하고 본 연구는 노인을 위한 비언어적 통증사정도구에 대해 체계적으로 분석했다는 점에서 큰 의의가 있다고 사료되며, 본 연구결과를 토대로 다음과 같이 제언하고자 한다.
첫째, 의사소통이 불가능한 노인을 위한 통증사정 및 관리에 대한 추가적인 연구와 국내 · 외 선행연구들에 대한 문헌고찰이 더 필요하다.
둘째, 국내 노인에게 적절하다고 생각되는 비언어적 통증사정도구를 선택 · 번안하여 신뢰도 및 타당도를 검증하는 연구가 우선시 되어야 할 것이다.
셋째, 현재 우리나라 임상현장에서 노인을 위한 비언어적 통증사정도구가 따로 사용되지 않기 때문에 이를 보급화하고 적절한 사용이 필요하다. 또한, 임상에서 사용 후 필요한 부분을 보완, 개선하여 발전시켜야 할 것이다.
넷째, 노인의 통증과 비언어적 통증사정도구에 대한 간호사의 인식개선이 필요하다. 비언어적 통증사정도구가 적절히 사용되기 위해서는 간호사의 도구에 대한 인지도와 수행도에 관한 연구가 필요할 것이다.

REFERENCES

1. Statistics Korea. 2015 world and Korea population prospects [Internet]. Daejeon: 2015 Jul 8 [updated 2015 Jul 8;cited 2016 Aug 21]. Available from: http://kostat.go.kr/portal/korea/kor_nw/2/1/index.board?bmode=read&aSeq=347102.

2. Cha BK, Park CS. A comparison of pain, pain interference and fatigue according to the level of physical activity in the elderly with chronic pain. Journal of Korean Academy Community Health Nursing. 2011;22(2):162-72 http://dx.doi.org/10.12799/jkachn.2011.22.2.162.
crossref
3. International Association for the Study of Pain. IASP Taxonomy [Internet]. Seattle: IASP Press; 1994 Dec 31 [Updated 2012 May 22; cited 2016 Sep 3]. Available from: http://www.iasp-pain.org/Taxonomy#Pain.

4. Kaye AD, Baluch A, Scott JT. Pain management in the elderly population: a review. The Ochsner Journal. 2010;10(3):179-87.
pmid pmc
5. Ministry of Health and Welfare. 2014 Investigation of elderly and its reality [Internet]. Sejong: Korea Institute for Health and Social Affairs; 2015 Oct 14 [Updated 2015 Oct 14; cited 2016 Sep 3]. Available from: http://meta.narastat.kr/metasvc/index.do?confmNo=117071&inputYear=2014.

6. Herr K. Pain assessment strategies in older patients. The Journal of Pain. 2011;12(3):S3-S13 http://dx.doi.org/10.1016/j.jpain.2010.11.011.
crossref pmid
7. Kim GM, Lee YM, Chang SO. Factors influencing fatigue in elderly people with chronic pain. Journal of Korean Academy of Psychiatric and Mental Health Nursing. 2011;20(1):61-70 http://dx.doi.org/10.12934/jkpmhn.2011.20.1.61.
crossref
8. Hadjistavropoulos T, Herr K, Turk DC, Fine PG, Dworkin RH, Helme R, et al. An interdisciplinary expert consensus statement on assessment of pain in older persons. The Clinical Journal of Pain. 2007;23(1):S1-S43 http://dx.doi.org/10.1097/AJP.0b013e31802be869.
crossref pmid
9. Egan M, Cornally N. Identifying barriers to pain management in long-term care: Mary Egan and Nicola Cornally discuss to what extent patient, organisational and caregiver factors hamper the delivery of best practice. Nursing Older People. 2013;25(7):25-31 http://dx.doi.org/10.7748/nop2013.09.25.7.25.e455.
crossref
10. Kim EK, Park MH. Nurses' awareness and performance about evidence-based pain management in older adults. Korean Journal of Adult Nursing. 2012;24(1):20-30 http://dx.doi.org/10.7475/kjan.2012.24.1.20.
crossref pdf
11. Herr K, Coyne PJ, McCaffery M, Manworren R, Merkel S. Pain assessment in the patient unable to self-report: position statement with clinical practice recommendations. Pain Management Nursing. 2011;12(4):230-50 http://dx.doi.org/10.1016/j.pmn.2011.10.002.
crossref pmid
12. Booker SQ, Haedtke C. Assessing pain in nonverbal older adults. Nursing 2016. 2016;46(5):66-9 http://dx.doi.org/10.1097/01.NURSE.0000480619.08039.50.
crossref
13. Kim EK, Kim SY, Eom MR, Kim HS, Lee E. Validity and reliability of the Korean version of the pain assessment checklist for seniors with limited ability to communicate. Journal of Korean Academy of Nursing. 2014;44(4):398-406 http://dx.doi.org/10.4040/jkan.2014.44.4.398.
crossref pmid
14. Zwakhalen SM, Hamers JP, Abu-Saad HH, Berger MP. Pain in elderly people with severe dementia: a systematic review of behavioural pain assessment tools. BioMed Central Geriatrics. 2006;6(1):1-15 http://dx.doi.org/10.1186/1471-2318-6-3.
crossref pmid pmc pdf
15. American Geriatrics Society Panel on Persistent Pain in Older Persons. The management of persistent pain in older persons. Journal of the American Geriatrics Society. 2002;50(6):205-24 http://dx.doi.org/10.1046/j.1532-5415.50.6s.1.x.

16. MacSorley R, White J, Conerly VH, Walker JT, Lofton S, Ragland G, et al. Pain assessment and management strategies for elderly patients. Home Healthcare Now. 2014;32(5):272-85 http://dx.doi.org/10.1097/NHH.0000000000000065.
crossref
17. Herr K, Bjoro K, Decker S. Tools for assessment of pain in nonverbal older adults with dementia: a state-of-the-science review. Journal of Pain and Symptom Management. 2006;31(2):170-92 http://dx.doi.org/10.1016/j.jpainsymman.2005.07.001.
crossref pmid
18. Van Herk R, Van Dijk M, Baar FP, Tibboel D, De Wit R. Observation scales for pain assessment in older adults with cognitive impairments or communication difficulties. Nursing Research. 2007;56(1):34-43 http://dx.doi.org/10.1097/00006199-200701000-00005.
crossref pmid
19. Lukas A, Barber JB, Johnson P, Gibson SJ. Observer-rated pain assessment instruments improve both the detection of pain and the evaluation of pain intensity in people with dementia. European Journal of Pain. 2013;17(10):1558-68 http://dx.doi.org/10.1002/j.1532-2149.2013.00336.x.
crossref pmid
20. Zwakhalen SM, Hamers JP, Berger MP. The psychometric quality and clinical usefulness of three pain assessment tools for elderly people with dementia. Pain. 2006;126(1):210-20 http://dx.doi.org/10.1016/j.pain.2006.06.029.
crossref pmid
21. Herr K, Bursch H, Ersek M, Miller LL, Swafford K. Use of pain-behavioral assessment tools in the nursing home: expert consensus recommendations for practice. Journal of Gerontological Nursing. 2012;36(3):18-29 http://dx.doi.org/10.3928/00989134-20100108-04.
crossref
22. Lints-Martindale AC, Hadjistavropoulos T, Lix LM, Thorpe L. A comparative investigation of observational pain assessment tools for older adults with dementia. The Clinical Journal of Pain. 2012;28(3):226-37 http://dx.doi.org/10.1097/AJP.0b013e3182290d90.
crossref
23. Thuathail AN, Welford C. Pain assessment tools for older people with cognitive impairment. Nursing Standard. 2011;26(6):39-46 http://dx.doi.org/10.7748/ns2011.10.26.6.39.c8756.
crossref
24. While C, Jocelyn A. Observational pain assessment scales for people with dementia: a review. British Journal of Community Nursing. 2009;14(10):438-42 http://dx.doi.org/10.12968/bjcn.2009.14.10.44496.
crossref pmid
25. Zwakhalen SM, Hof CE, Hamers JP. Systematic pain assessment using an observational scale in nursing home residents with dementia: exploring feasibility and applied interventions. Journal of Clinical Nursing. 2012;21(21-22):3009-17 http://dx.doi.org/10.1111/j.1365-2702.2012.04313.x.
crossref pmid
26. Chan S, Hadjistavropoulos T, Williams J, Lints-Martindale A. Evidence-based development and initial validation of the pain assessment checklist for seniors with limited ability to communicate-II(PACSLAC-II). The Clinical Journal of Pain. 2014;30(9):816-24 http://dx.doi.org/10.1097/AJP.0000000000000039.
crossref pmid
27. Lichtner V, Dowding D, Esterhuizen P, Closs SJ, Long AF, Corbett A, Briggs M. Pain assessment for people with dementia: a systematic review of systematic reviews of pain assessment tools. BioMed Central Geriatrics. 2014;14(1):138-76 http://dx.doi.org/10.1186/1471-2318-14-138.
crossref pmid pmc pdf
28. Hølen JC, Saltvedt I, Fayers PM, Hjermstad MJ, Loge JH, Kaasa S. Doloplus-2, a valid tool for behavioural pain assessment? BioMed Central Geriatrics. 2007;7(1):1-9 http://dx.doi.org/10.1186/1471-2318-7-29.
crossref pmid pmc pdf

Figure 1.
Flow chart of the literature selection.
jkgn-18-3-147f1.gif
Table 1.
Pain Behavior and Indicators
Facial expressions Slight frown, sad, frightened face, grimacing, wrinkled forehead, closed or tightened eyes, any distorted expression, rapid blinking
Verbalizations, vocalizations Sighing, moaning, groaning, grunting, chanting, calling out, noisy breathing, asking for help, verbally abusive
Body movements Rigid, tense posture, guarding fidgeting, increased pacing, rocking, restricted movement, gait or mobility changes
Change in interpersonal interactions Aggressive, combative, resisting care, decreased social interactions, socially inappropriate, disruptive, withdrawn
Change in activity patterns or routines Refusing food, appetite change, increase in rest periods or sleep, changes in rest patterns, sudden cessation of common routines, increased wandering
Mental status changes Crying or tears, increased confusion, irritability or distress

Source: American Geriatrics Society Panel on Persistent Pain in Older Persons. Journal of the American Geriatrics Society. 2002.

Table 2.
General Characteristics of the Selected Literature (N=41)
Year Author Nation Method Sample (size) Tools
2000 Feldt USA Prospective comparative study B (83) CNPI
2003 Warden et al. USA Instrument development study A (19) PAINAD
Villanueva et al. USA Instrument development study A (25 & 40)* PADE
2004 Abbey et al. Australia Instrument development study A (52 & 61)* Abbey
Fuchs-Lacelle & Hadjistavropoulos Canada Instrument development study A (28 & 80 & 80)* PACSLAC
2005 Hølen et al. Norway Methodological study A (59) Doloplus-2
2006 Cohen-Mansfield USA Instrument development study A (80) PAINE
Hutchison et al. USA Randomized controlled trial B (80) PAINAD
Zwakhalen et al. Netherlands Observational study A (128) PAINAD, PACSLAC, Doloplus-2
Leong et al. Singapore Validation study A (88) PAINAD
2007 Morello et al. France Randomized controlled trial B (340) EPCA-2
Horgas et al. USA Validation study B (40) NOPPAIN
Hølen et al. Norway Methodological study B (73) Doloplus-2
Zwakhalen et al. Netherlands Observational study A (128) PACSLAC
Husebo et al. Norway Instrument development study A (26) MOBID
Pautex et al. Switzerland Prospective clinical study A (180) Doloplus-2
Cervo et al. USA Instrument development study A (182) CPAT
Costardi et al. Italy Methodological study A (20) PAINAD
2008 DeWaters et al. USA Validation study B (25) PAINAD
Choeng & choi New Zealand Observational study A (50) PACSLAC
Mahoney & Peters Australia Randomized controlled trial A (112) MPS
2009 Zwakhalen et al. Netherlands Observational study A (117) PACSLAC
Cervo et al. USA Instrument development study A (145) CPAT
2010 Takai et al. Japan Methodological study A (171) Abbey
Pickering et al. France Multicentre study C (342) Doloplus-2
Lin et al. China Methodological study A (156) PAINAD
Ersek et al. USA Randomized controlled trial B (60) CNPI, PAINAD
Husebo et al. Norway Instrument development study A (770 MOBID-2
Ando & Hishinuma Japan Methodological study A (21 & 31)* Doloplus-2
2011 Jordan et al. UK Observational study A (79) PAINAD
2012 Lints-Martindale et al. Canada Randomized controlled trial A (124) ADD, CNPI, PADE, PACSLAC, PAINAD, NOPPAIN
Mosele et al. Italy Prospective study B (600) PAINAD
Zwakhalen et al. Netherlands Observational study A (22) PACSLAC
2013 Kaasalainen et al. Canada Observational study A (338) PACSLAC, PACI
Lukas et al. Australia Randomized controlled trial B (125) Abbey, PAINAD, NOPPAIN
2014 Guo et al. China Prospective study D (93) PAINAD, CNPI
Chan et al. Canada Instrument development study B (124) PACSLAC, PACSLAC-II
Takai et al. Japan Methodological study B (88) Abbey
Husebo et al. Norway Randomized controlled trial A (352) MOBID-2
Kim et al. Korea Methodological study A (307) PACSLAC
2015 Ngu et al. Malaysia Observational study B (152) PAINAND

CNPI=Checklist of nonverbal pain indicators; PAINAD=Pain assessment in advanced dementia scale; PADE=Pain assessment for the dementing elderly; Abbey=The abbey pain scale; PACSLAC=Pain assessment checklist for seniors with limited ability to communicate; PAINE=Pain assessment in noncommunicative elderly persons; EPCA=The elderly pain caring assessment; NOPPAIN=Non-communicative patient's pain assessment instrument; MOBID=Mobilization-observation-behavior-intensity-dementia pain scale; CPAT=The certified nursing assistant pain assessment tool; MPS=The mahoney pain scale; A=Elderly with dementia; B=Elderly with cognitive impairment;

* More than two separate studies.

Table 3.
Nonverbal Pain Assessment Tools (N=41)
Name of the tool, development author (year, nation) Dimensions & Items/ total score range AGS guidelines Paper reviewed in the present study
Clinical usefulness/ Limitations n (%)
Author (year) Reliability (Cronbach's α) Validity
PAINAD (Pain Assessment In Advanced Dementia Scale),Warden, Hurley and Voliver. (2002, USA) 5 items / 0~10 1,2,3 Warden et al. (2003), Hutchison et al. (2006) Zwakhalen et al. (2006), Leong et al. (2006), Costardi et al. (2007), DeWaters et al. (2008), Lin et al. (2010), Ersek et al. (2010), Jordan et al. (2011), Lints-Martindale et al. (2012), Mosele et al. (2012), Lukas et al. (2013), Guo et al. (2014), Ngu et al. (2015) Internal consistency (n=8): .55~.90 Concurrent validity (n=7): r=.65~.95, p<.001~.01 Easy to use afterminimal training, takes less than 5 minutes to complete, English version available 14 (34.1)
Inter-rater (n=4): .70~.87 Discriminant validity (n=2): p<.001 / Often clustered around “0” (reflecting absence of pain), Score interpretation not available
Intra-rater (n=3): .71~.89 Not found (n=6)
Not found (n=5)
PACSLAC (Pain Assessment Checklist for Seniors with Limited Ability to Communicate), Fuchs-Lacelle & Hadjistavropoulos (2002, Canada) 60 items, 4 dimensions / 0~60 1,2,3,4,5,6 Fuchs-Lacelle & Hadjistavropoulos (2004), Zwakhalen et al. (2006), Zwakhalen et al. (2007), Choeng & Choi (2008), Zwakhalen et al. (2009), Lints-Martindale et al. (2012), Zwakhalen et al. (2012), Kaasalainen et al. (2013), Chan et al. (2013), Kim et al. (2014) Internal consistency (n=6): .73~.92 Concurrent validity (n=5): r=.39~.89, p<.001~.05 Comprehensive, significant, long but simple list, feasible for all nurses, takes 5 minutes to complete, English version available 10 (24.3)
Inter-rater (n=6): .63~.96 Discriminant validity (n=2): p<.001 / Score interpretation not available
Intra-rater (n=2): .86~.95 Not found (n=4)
Not found (n=2)
Doloplus-2, Wary et al (1992, Frnace) 10 items, 3 dimensions / 0~30 1,2,34,5 Hølen et al. (2005), Zwakhalen et al. (2006), Hølen et al. (2007), Pautex et al. (2007), Pickering et al. (2010), Ando & Hishinuma (2010) Internal consistency (n=2): .70~.74 Concurrent validity (n=2): r=.36, p<.01 French, English version available, takes a few minutes to complete, cut-off score given (≥5 indicates pain), reflects progression of pain 6 (14.6)
Inter-rater (n=3): .77~.97 Not found (n=4) / English version needs more testing, Some items seem difficult to interpret, cut-off score is too low
Intra-rater (n=1): .95~.99
Not found (n=1)
Abbey (The Abbey Pain Scale), Abbey et al. (2004, Australia) 6 items / 0~18 1,2,3,4,5,6 Abbey et al. (2004), Takai et al. (2010), Lukas et al (2013), Takai et al. (2014) Internal consistency (n=3): .64~.76 Concurrent validity (n=2): r=.49~.58, p<.001~.01 For people with end-stage dementia, English version available, Score interpretation available (<3 no pain, 3~7 mild pain, 8~13 moderate pain, >14 severe pain), takes only 1minute 4 (9.7)
Inter-rater (n=1): .82 Not found (n=2) / Lacks conceptual clarity, scoring instruction not available, item definitions are lacking,
Intra-rater (n=1): .65
Not found (n=1)
CNPI (The Checklist of Nonverbal Pain Indicators), Feldt (2000, USA) 6 items (rest vs. movement) / 0~6 1,2,3 Feldt (2000), Ersek et al. (2010), Lints-Martindale et al. (2012), Guo et al. (2014) Internal consistency (n=4): .06~.97 (rest), .60~.90 (movement) Concurrent validity (n=4): r=.33~.95, p<.001~.01 Designed to measure chronic pain, English version available, score interpretation available (1~2 mild pain, 3~4 moderate pain, 5~6 severe pain), Easy to use 4 (9.7)
Inter-rater (n=2): .25~.70 / Pain at rest correlated poorly, poor psychometric qualities, needs more testing, score range is too narrow
NOPPAIN (The Non-Communicative Patient's Pain Assessment Instrument), Snow et al. (2004, USA) 4 sections, 17 items / 0~30 1,2,3 Horgas et al. (2007), Lints-Martindale et al. (2012), Lukas et al. (2013) Internal consistency (n=1): .41~.48 Concurrent validity (n=2): r=.39~.70, p<.001~.01 Easy to use and understanding, English version available for use by nursing assistants, Takes 30 seconds to score after 5 minutes for observation 3 (7.3)
Inter-rater (n=2): .73~.91 Not found (n=1) / Interpretation not available, unclear scoring procedures,
Not found (n=1)
MOBID-2 (Mobilization-Observation-Behavior-Int ensity-Dementia Pain Scale), Husebo et al. (2007, Norway) 2 sections, 10 items / 0~10 1,2,3 Husebo et al. (2007), Husebo et al. (2010), Husebo et al. (2014) Internal consistency (n=2): .82~.89 Concurrent validity (n=2): r=.38~.64, p<.005 Takes 5 minutes to complete, English version available, Including pain location 3 (7.3)
Inter-rater (n=2): .86~.94 Not found (n=1) / Scoring Interpretation not available, difficult scoring procedures
Intra-rater (n=1): .72~.92
PADE (Pain Assessment in Dementing Elderly), Villanueva et al. (2003, USA) 3 parts, 24 items / 0~96 1,2,3,4,5 Villanueva et al. (2003), Lints-Martindale et al. (2012) Internal consistency (n=2): .13~.88 Concurrent validity (n=2): r=.29~.71, p<.001~.01 Takes 10 minutes to score, English version available, 2 (4.8)
Inter-rater (n=2): .54~.91 / Difficult format due to different scoring methods, long list, scoring interpretation not available,
CPAT (Certified Nurse Assistant Pain Assessment Too)l, Cervo et al. (2007, USA) 5 items / 0~5 1,2,3,5 Cervo et al. (2007), Cervo et al. (2009) Internal consistency (n=1): .75 Concurrent validity (n=1): r=.22 p=.076 Easy to use, Guideline on scoring available, Interpretation available (≥1 pain evaluation required), takes 1minute to score, for use by nursing assistants 2 (4.8)
Inter-rater (n=1): .71 Not found (n=1) / Score range is too narrow, Needs more testing
Intra-rater (n=1): .67
Not Found (n=1)

1. Facial expressions; 2. Verbalizations, vocalizations; 3. Body movements; 4. Changes in interpersonal interactions; 5. Changes in activity patterns or routines; 6. Mental status changes.

Editorial Office
College of Nursing, Korea University
145 Anam-ro, Sungbuk-gu, Seoul 136-713, Republic of Korea
Tel : +82-41-550-0403   Fax : +82-41-550-2314   E-mail: mossjon78@hanmail.net
About |  Browse Articles |  Current Issue |  For Authors and Reviewers
Copyright © by The Korean Gerontological Nursing Society. All rights reserved.     powerd by m2community