Using Machine Learning and Smartphone and Smartwatch Data to Detect Emotional States and Transitions: Exploratory Study

논문 원문: https://mhealth.jmir.org/2020/9/e17818/

Using Machine Learning and Smartphone and Smartwatch Data to Detect Emotional States and Transitions: Exploratory Study

Abstract

Background
일상 생활에서의 감정 상태는 건강과 웰빙의 중요한 지표입니다. 그러나 감정 상태를 매일 평가하는 것은 주로 자가 보고에 의존하는데, 이는 종종 불편하고 불완전한 정보를 제공할 수 있습니다. 감정 상태와 전환을 자동으로 감지하는 것은 이 문제에 대한 효과적인 해결책이 될 수 있습니다. 그러나 감정 전환과 일상 생활 맥락 사이의 관계는 아직 탐구되지 않았습니다.

Objective
이 연구의 목적은 일상 생활의 맥락 정보와 감정 전환 및 상태 간의 관계를 탐구하여 머신 러닝(ML) 기술을 사용해 일상 맥락 정보로부터 감정 전환과 상태를 감지하는 가능성을 평가하는 것입니다.

Methods
이 연구는 공개 데이터 세트인 ExtraSensory의 18명 데이터를 사용하여 수행되었습니다. 맥락과 센서 데이터는 스마트폰과 스마트워치 센서를 사용하여 자유 생활 조건에서 수집되었으며, 각 개인별 데이터 수집 기간은 3일에서 9일까지 다양했습니다. 사용된 센서에는 가속도계, 자이로스코프, 나침반, 위치 서비스, 마이크, 전화 상태 지시기, 조도, 온도, 기압계가 포함되었습니다. 사용자들은 데이터 수집 기간 동안 스마트폰 앱을 통해 약 49가지의 개별 감정을 다양한 시간 간격으로 자가 보고했습니다. 우리는 이 49가지 감정을 즐거움, 각성, 지배의 3차원 모델로 매핑하여 불일치, 기쁨, 설득됨, 각성됨, 복종, 지배의 6가지 감정 상태를 고려했습니다. 우리는 5분마다 감정 전환과 상태를 감지하는 일반 및 개인화된 모델을 구축했습니다. 전환 감지 문제는 시간에 따라 감정 상태가 변경되었는지 여부를 감지하는 이진 분류 문제이며, 상태 감지는 다중 클래스 분류 문제입니다. 두 경우 모두 데이터 전처리, 특징 선택, 데이터 불균형 처리 기술과 함께 다양한 감독형 ML 알고리즘을 활용했습니다. 마지막으로 일상 생활 맥락과 감정 상태 간의 연관성을 밝히기 위한 평가를 수행했습니다.

Results
이 연구는 감정 상태 및 전환 감지에서 유망한 결과를 얻었습니다. 감정 상태 감지에서 일반 모델의 AUROC 곡선 최고 값은 60.55%에 도달했으며, 개인화된 모델에서는 평균 96.33%에 도달했습니다. 높은 불균형 데이터에도 불구하고, 감정 전환 감지에서 일반 모델의 최고 AUROC 곡선 값은 90.5%에 도달했으며, 개인화된 모델에서는 평균 88.73%에 도달했습니다. 일반적으로 특징 분석 결과, 시공간적 맥락, 전화 상태 및 운동 관련 정보가 감정 상태와 전환 감지에 가장 유익한 요소임을 보여줍니다. 우리의 평가는 생활 방식이 감정 예측 가능성에 영향을 미친다는 것을 보여주었습니다.

Conclusions
이 연구의 결과는 일상 생활의 맥락이 감정 상태와 전환과 강하게 연관되어 있으며, 스마트폰과 스마트워치 센서 데이터를 사용하여 감정 상태와 전환을 감지하는 것이 가능함을 보여줍니다.

Introduction

개인의 감정 상태는 시간이 지남에 따라 자주 변할 수 있습니다. 연구에 따르면 일일 감정 상태와 기분을 기록하는 것이 정신 질환 및 장애의 초기 진단에 도움이 될 수 있습니다 [1-3]. 그러나 감정 상태와 기분을 기록하는 과정은 주로 일일보다 적은 빈도로 이루어지는 자가 보고에 의존합니다. 그러나 스마트폰과 웨어러블 기기의 급격한 증가와 이러한 기기에 내장된 센서의 발전 덕분에 사람들의 일상 생활에서 다양한 데이터를 훨씬 높은 빈도로 수집하는 것이 가능해졌습니다. 개인 건강 추적의 자가 보고 문제는 스마트폰과 웨어러블이 수집한 방대한 데이터를 활용하여 머신 러닝(ML) 알고리즘으로 해결될 수 있습니다.

최근 몇 년 동안 스마트폰과 웨어러블 센서를 통해 우울증, 양극성 장애, 알츠하이머병, 조현병과 같은 정신 건강 질환을 예측하고 모니터링하는 것이 활발한 연구 분야였습니다. 소비자용 스마트폰과 웨어러블 센서를 통해 수집할 수 있는 디지털 바이오마커를 탐구하는 연구가 수행되었습니다 (예: 가속도계, 오디오, 위치, 전화 기록, 소리 특징 등) [4,5]. 스마트폰이 포착한 이동 패턴, 위치 변화 및 전화 사용 패턴이 정신 건강 질환과 장애를 식별하는 데 도움이 될 수 있음이 명백합니다 [1,2,6-9]. 스마트폰을 통해 자가 보고된 맥락 데이터를 적용한 딥 뉴럴 네트워크 및 ML 기술을 통해 우울 증상을 조기에 감지한 연구는 유망한 결과를 얻었습니다 [8]. 그러나 이러한 앱들은 질병과 장애의 관점에서 설계되었으며 일상 생활에서의 정기적인 감정 상태와 전환의 자동 감지는 고려하지 않았습니다.

최근에 스마트폰과 웨어러블을 통해 감지된 데이터와 일상적인 기분, 감정, 웰빙 간의 연관성에 대한 연구가 이루어졌습니다. 예를 들어, 헬비치 [10]는 사람들이 사는 동네, 방문하는 장소 및 환경 노출과 정신적 웰빙의 연관성을 발견했습니다. 샌드스트롬 등의 연구 [11]에서는 사회 환경에서 감정적 쾌적함을 보고했으며, 직장에서 긍정적 및 부정적 각성을 보고했습니다. Ma 등의 연구 [12]에서는 위치, 오디오, 문자 메시지, 가속도계 및 빛과 같은 모바일 폰 센서 데이터를 사용하여 기분을 분류하는 일일 기분 평가 도구를 제안했습니다. 그러나 이 연구는 제한된 맥락적 매개변수를 고려했으며 감정 상태의 주관적 변동성과 전환은 조사하지 않았습니다. Asselbergs 등의 연구 [13]에서는 문자 메시지, 화면 시간, 앱 사용, 가속도계 및 전화 카메라와 같은 스마트폰 데이터를 사용하여 생태학적 순간 평가 점수를 예측하는 연구를 수행했으며, 단순한 기준 접근법보다 낮은 예측 정확도를 보고했습니다. 또한 연구들은 모바일 센서 데이터(예: 전화 사용, 운동, 대화, 이동성, 화면 시간 및 피부 전도도)와 대학생의 학업 성취도 및 정신 건강 상태 간의 연관성을 보여주었습니다 [14,15]. Budner 등의 연구 [16]에서는 스마트워치 센서 데이터(예: 운동, 심박수, 조도, GPS 좌표, 요일, 습도, 기압, 구름 양 및 바람 세기)를 사용하여 랜덤 포레스트를 적용하여 감정 상태를 분류했습니다. 유사한 연구에서 Zhang 등의 연구 [17]에서는 스마트폰 데이터(예: 마이크, 가속도계, GPS, 문자 메시지, 전화 통화, 앱 사용)를 통해 쾌락과 각성 차원에서 복합 감정 상태를 인식하기 위한 ML 기반 모델을 제안했습니다. 일부 최근 연구에서는 스마트폰과 웨어러블을 사용하여 대규모 글로벌 인구로부터 획득한 생리학적, 성격 특성 및 감지된 데이터를 적용한 일일 기분 및 스트레스 예측에서 유망한 결과를 얻었습니다 [3,18,19].

이처럼 고무적인 결과와 발전에도 불구하고, 감정 전환, 감지된 데이터 및 맥락 정보 간의 연관성에 대한 연구 부족, 분류 성능에서의 주관적 변동성, 빈번한 감정 상태 및 전환 감지의 가능성에 대한 연구는 여전히 부족합니다. 또한 대부분의 이전 연구들은 감정의 원형 모델에 기반하고 있으며 [20], 이는 쾌락과 각성 차원만을 고려합니다. 그러나 연구에 따르면 세 가지 차원을 모두 고려하는 것이 개인의 감정 상태를 더 잘 이해하고 해석할 수 있도록 합니다 [21]. 따라서 감정 상태의 세 번째 차원인 지배감을 감정 인식 연구에 포함해야 합니다.

이 연구에서는 이러한 격차를 채우고자 합니다. 우리의 주요 목표는 스마트폰과 스마트워치 센서에서 획득한 데이터를 사용하여 ML을 적용하여 5분마다 감정 상태 및 전환을 감지하는 가능성을 연구하는 것입니다. 우리의 연구는 감정 상태의 세 가지 차원(쾌락, 각성, 지배 [PAD])과 개인 간 데이터의 변동성을 포함합니다. 이 논문의 나머지 부분은 다음과 같이 구성됩니다. 방법 섹션에서는 데이터 세트 설명 및 준비 개요와 함께 연구에서 따랐던 방법론을 설명합니다. 결과 섹션에서는 일반 및 개인화된 모델에 대한 감정 전환 및 감지 작업에 대한 결과를 보여줍니다. 토론 섹션에서는 특징에 대한 심층 분석과 함께 결과를 제시합니다.

Methods

The Data Set
우리는 ExtraSensory라는 공개 데이터 세트에서 데이터를 얻었습니다 [22]. 이 데이터 세트는 2015년에서 2016년 사이 캘리포니아 대학교 샌디에이고(UCSD) 연구원들이 스마트폰과 스마트워치 센서를 통해 포착된 신호를 사용하여 자동으로 맥락을 라벨링하기 위해 수집한 것입니다. 사용된 센서에는 가속도계, 자이로스코프, 자력계, 나침반, 위치 서비스, 오디오, 전화 상태, 조명, 기압, 습도, 온도가 포함됩니다 [23]. 이 데이터 세트는 주로 UCSD의 학부 및 대학원생과 연구 조교인 60명의 피험자로부터 자유 생활 조건에서 수집되었습니다. 센서 데이터는 매분마다 수집되었고, 맥락 데이터는 사용자가 다양한 간격으로 자가 보고했습니다. 이 데이터 세트에는 옵션으로 다양한 시간 간격으로 자가 보고된 개별 감정들도 포함되어 있습니다. 피험자들이 보고한 49가지 다른 개별 감정(예: 활동적인, 차분한, 행복한, 졸린 등)은 1분에서 며칠까지 다양한 간격으로 보고되었습니다. 연구자들은 위치 및 기타 라벨과 같은 다양한 정보 출처를 결합하여 자가 보고 데이터를 처리하고 정리하여 신뢰할 수 있도록 했습니다 [23]. 우리는 이 연구에서 정리된 버전을 사용했습니다.

The Pleasure, Arousal, and Dominance Model
PAD 모델은 1974년 Mehrabian과 Russell에 의해 개발되어 개인의 심리적 반응을 평가합니다. 개인의 감정 상태는 쾌락, 각성, 지배의 3가지 기본 차원으로 인식될 수 있습니다. 쾌락은 긍정적 또는 부정적 감정을 나타내고, 각성은 정신적 반응 상태를 나타내며, 지배는 영향을 받거나 통제되는 느낌의 인지적 차원을 나타냅니다. 이 연구는 감정 상태의 모든 3차원을 포함합니다.

Data Preparation
Inclusion and Exclusion
이 탐색적 연구에서는 두 가지 설정에서 ML을 적용하는 것을 목표로 했습니다. 첫째, 각 개인의 데이터를 사용하여 개인화된 모델을 구축하여 개인 간 변동성의 영향을 분석했습니다. 둘째, 여러 개인의 데이터를 사용하여 일반화된 모델을 구축하고, 훈련 중 제외된 다른 개인의 데이터를 사용하여 이를 검증했습니다. ExtraSensory 데이터 세트의 37명의 피험자가 데이터 수집 중 어느 시점에서 감정을 보고했지만, 그 중 18명만이 1000개 이상의 샘플을 가지고 있고 90% 미만의 결측 데이터를 가졌습니다. 따라서 우리는 이 18명의 피험자를 연구에 포함했습니다. 우리는 스마트폰과 스마트워치 센서, 타임스탬프, 위도 및 경도에서 수집된 모든 신호를 특징으로 고려했습니다.

Affective Ratings of Emotions
이 연구에서는 Affective Norms for English Words (ANEW)를 사용하여 49가지 개별 감정을 PAD 모델로 매핑했습니다. ANEW는 정서와 주의를 연구하는 연구자들에게 표준화된 자료를 제공하기 위해 개발되었습니다. 최신 ANEW 데이터베이스는 약 14,000개의 영어 어휘에 대한 정서적 의미를 포함하며, 다양한 연령, 직업, 교육 배경을 가진 1827명의 참가자가 평가한 것입니다. 우리는 최신 데이터베이스를 사용하여 49가지 감정을 쾌락(p), 각성(a), 지배(d)의 3가지 평가로 매핑했습니다. 따라서 각 언어적 감정 라벨은 1에서 9까지의 척도에서 3가지 연속 값으로 변환되었습니다. 1과 9는 각각 해당 PAD 차원에서 가장 낮은 강도와 가장 높은 강도를 나타냅니다. 이 연구에서 사용된 49가지 감정과 해당 PAD 값의 목록은 Multimedia Appendix 1에 포함되어 있습니다 [22,23,28]. 우리는 정서적 평가(Rs)를 –4에서 +4 범위로 스케일링했습니다. 그런 다음, 우리는 3차원의 강도(부호)에 따라 6가지 감정 상태: 불일치, 기쁨, 설득됨, 각성됨, 복종, 지배를 고려했습니다. 특정 시점에서의 감정 상태는 (Rs)의 절대 최대값과 그 부호를 고려하여 계산했습니다. 절대 최대값은 차원을 나타내며, 부호는 방향을 나타냅니다. 예를 들어, 행복의 감정 평가(Rs)는 p, a, d 각각에 대해 8.47, 6.05, 7.21입니다. 해당 스케일 값은 각각 3.47, 1.05, 2.21이 됩니다. 여기서 3개의 값 모두 양수이므로 지배적인 감정 상태는 (+p) 기쁨입니다. 따라서 이 감정 상태는 기쁨 클래스에 할당됩니다. 유사하게, 화난 감정(p=2.53, a=6.2, d=4.11)은 –2.47, 1.2, –0.89로 스케일되며, 절대값 최대치는 2.47이고 부호는 음수입니다. 따라서 화난 감정은 불일치 클래스에 할당됩니다. 한 가지 경우(흥미로움 감정)에는 p와 a가 동일했습니다. 이 경우 두 가지 지배 차원이 있었으며, 첫 번째 양수 값(PAD 순서에서 p)을 지배 감정으로 선택했습니다. 이는 한계가 있지만, 데이터 세트의 다른 48가지 감정에 비해 흥미로움 감정의 사례는 적었습니다. 우리는 6가지 감정 상태를 고려했지만 모든 클래스가 모든 사람의 데이터에 존재하지는 않았습니다. 사람에 따라 데이터 세트에서 1개 또는 2개의 감정 상태가 결여되었습니다. 그림 1은 각 사람의 데이터에 존재하는 다양한 감정 상태를 보여줍니다.

Feature Engineering
모든 센서, 위치 데이터, 자가 보고된 맥락 정보를 통합했습니다. 센서 측정치는 매분마다 20초 동안 기록되었고, 데이터 수집 기간은 각 개인마다 3일에서 9일까지 다양했습니다. 각 개인의 샘플 수는 1164에서 6263까지 다양했습니다. 데이터 세트에는 이진 변수와 연속 변수가 혼합되어 있습니다. 우리는 타임스탬프와 위치 데이터에서 추가로 7개의 시간적 및 공간적 특징을 엔지니어링했습니다. 전체적으로 특징은 다음과 같이 분류할 수 있습니다.

Motion
우리는 3개의 스마트폰 센서(가속도계, 자이로스코프, 자력계)와 2개의 스마트워치 센서(가속도계, 나침반)로부터 얻은 원시 측정치에서 계산된 138개의 특징을 고려했습니다. 이들은 연속 변수입니다.

Audio
우리는 약 20초 동안의 녹음 창에서 13개의 멜 주파수 켑스트럼 계수의 평균과 표준 편차로 계산된 28개의 단순한 특징을 고려했습니다.

Location
우리는 각 개인의 매분마다 상대적 위치와 이동성 변동성으로 측정된 17개의 위치 특징을 고려했습니다. 또한 추가로 3개의 위치 특징(cl_latitude, cl_longitude, geo_dist)을 엔지니어링했습니다. 우리는 geohash를 사용하여 인접한 위도와 경도를 클러스터링했습니다. geohash는 Niemeyer에 의해 발명된 지오코딩 시스템으로, 정밀도 값에 의해 정의된 직사각형 셀 내에 인접한 점들을 그룹화할 수 있습니다. 우리는 38.2m x 19.1m 내에 인접한 위도와 경도를 클러스터링하기 위해 정밀도 값을 8로 사용했습니다. 직사각형 상자는 이 영역에 속하는 모든 인접 공간 점의 경계 상자 역할을 했습니다. geohashing 후, 지오코드는 클러스터링된 위도(cl_latitude)와 경도(cl_longitude) 값으로 다시 디코딩되었습니다. 우리는 이전 타임스탬프 이후 사람의 이동 거리를 하버시안 거리로 계산한 geo_dist 특징을 계산했습니다.

Phone State
우리는 앱 상태, 배터리 충전 여부, 배터리 상태, 링 모드, 통화 중 여부, Wi-Fi 상태, 화면 밝기, 배터리 수준 등의 감지된 전화 상태를 나타내는 28개의 이진 특징을 고려했습니다.

Environmental
ExtraSensory 데이터 세트에는 조명, 기압, 습도, 온도와 같은 6개의 환경 변수도 포함되어 있습니다. 이 연속 변수들은 우리의 주요 특징 목록에 포함되었습니다. 그러나 모든 전화기가 모든 센서를 가지고 있지는 않기 때문에 이 특징들에는 많은 결측치가 있었습니다.

Temporal
감정 상태와 전환의 시간적 패턴을 탐구하기 위해 기록된 타임스탬프에서 5개의 변수를 엔지니어링했습니다: 시간의 분, 하루의 분, 시간, 요일, 분 단위의 시간 차이. 데이터 세트가 매우 희박했기 때문에, 마지막 기록 이후 경과한 시간을 측정하기 위해 분 단위의 시간 차이 변수를 계산했습니다. 나머지 4개의 변수는 범주형 변수였습니다.

Contextual
또한 실내, 실외, 식사 중, 차 안 등과 같은 피험자들이 다양한 간격으로 자가 보고한 51개의 이진 맥락적 라벨을 고려했습니다. 우리는 자가 보고된 정보가 모든 경우에 정확하다고 가정하고, 노이즈가 많은 맥락 추정치를 다루지 않고 지배적인 감정을 자동으로 인식하는 데 초점을 맞추었습니다. 최신 ExtraSensory 앱 [28]은 원시 센서 데이터를 기반으로 맥락 정보를 수동으로 인식할 수 있지만, 이 연구에 사용된 데이터 세트에는 이 새로운 기능의 출력이 포함되지 않았습니다.

*피쳐의 전체 목록은 Multimedia Appendix 1에 포함되어 있습니다.

Data Resampling, Cleaning, and Imputation
우리의 연구는 짧은 시간 간격 내에서 감정 전환과 상태를 감지하는 것을 목표로 합니다. 따라서 모든 데이터를 5분마다의 주기로 재샘플링했습니다. 원래 데이터에서는 5분 간격 내의 샘플 수가 0에서 5까지 다양했습니다. 재샘플링 동안, 연속 변수의 평균, 이진 변수의 합계, 그리고 모든 샘플의 최대값을 계산했습니다. 이를 통해 시간에 따라 고르게 간격을 둔 샘플링 주기를 가질 수 있었고 결측 데이터를 줄일 수 있었습니다. 모든 결측치는 결측성을 나타내기 위해 큰 음수로 대체되었습니다. 특징은 평균을 제거하고 단위 분산으로 스케일링하여 표준화되었습니다. 이는 학습 세트를 기반으로 수행되었습니다.

Ethics Approval
ExtraSensory는 공개 데이터 세트이므로 연구 윤리 승인 절차는 생략되었습니다.

Emotional Transition and State Detection
Feature Handling
감정 전환 감지를 위해, 우리는 이전 창에서의 특징 변화를 고려했습니다. 따라서, 시간 t에서의 특징 집합 Tt,k는 다음과 같이 계산되었습니다.

이 식에서, 전체 특징 수는 n이고, ft,k는 t번째 창에서 k번째 특징의 값을 나타내며, ft−1,k는 (t-1)번째 창에서 k번째 특징의 값을 나타냅니다. 이는 ML 모델에 정보 변화를 제공하여 캡처된 데이터 변화와 관련된 패턴을 찾기 위한 것이었습니다. 감정 상태 감지를 위해서는 재샘플링된 특징의 원래 형태를 사용했습니다.

다음으로, 중요한 특징들의 더 작은 집합을 선택하기 위해 특징을 분석했습니다. sklearn에서 제공하는 feature_selection 패키지의 SelectKBest 특징 선택 함수를 적용하여 각 모델에 대해 k개의 최상의 특징을 선택했습니다. k의 값으로는 50, 70, 90, 110을 실험했습니다. 이 특징 선택 과정은 감정 전환과 상태 감지, 일반 및 개인화된 모델에 대해 독립적으로 적용되었습니다. 이로 인해 각 모델에 대해 다른 수의 특징이 선택되었습니다. 추가적으로, 30% 이상의 결측 데이터를 가진 열은 제거되었습니다. 위치 데이터는 모델의 일반성을 최대한 확보하기 위해 일반 모델에서 제거되었습니다.

Machine Learning Models
우리는 감정 전환과 상태 감지 성능에 대한 개인 간 변동성의 영향을 탐구하기 위해 모든 개인에 대한 일반 모델과 각 개인에 대한 개인화된 모델을 개발했습니다.

5개의 지도 ML 알고리즘을 사용했습니다: 로지스틱 회귀(LR), 랜덤 포레스트(RF), XGBoost(XGB), CatBoost(CB), 그리고 다층 퍼셉트론. 감정 전환 감지는 이진 분류 문제로, 0과 1은 각각 지난 5분 창 동안 감정 상태에 변화가 없거나 변화를 나타냅니다. 데이터가 희박하기 때문에 목표 변수는 불균형이 심했습니다. 그림 2는 18명의 감정 상태 전환의 클래스 불균형을 보여줍니다. 따라서 아래의 불균형 처리 섹션에서 설명하는 두 가지 불균형 처리 기술을 적용했습니다.

감정 상태 감지는 다중 클래스 분류 문제로, 특정 시간에 개인의 지배적인 감정 상태를 다음 6개의 클래스 중 하나로 분류하는 것을 목표로 했습니다: 1) 불일치, 2) 기쁨, 3) 설득됨, 4) 각성됨, 5) 복종, 6) 지배. 그러나 그림 1에서 보듯이, 감정 상태 클래스는 불균형했습니다. 우리는 각 개인의 데이터에서 샘플 수가 6개 이하인 클래스를 제거했습니다. 결과적으로 각 개인에 대해 클래스 수는 3개에서 5개까지 다양했습니다.

각 모델의 하이퍼파라미터는 매개변수 그리드를 통해 계층적 교차 검증 그리드 검색을 사용하여 결정했습니다. 일반 모델에서는 6겹의 leave-3-people-out 교차 검증을 사용했습니다. 각 폴드마다 모델은 15명의 데이터로 학습하고 나머지 3명의 데이터로 테스트했습니다. F1 점수를 최적화하여 하이퍼파라미터를 튜닝했습니다. 튜닝된 하이퍼파라미터는 Multimedia Appendix 1에 나와 있습니다. 개인화된 모델의 경우, 하이퍼파라미터를 미세 조정하고 가장 성능이 좋은 모델을 선택하기 위해 5겹의 계층적 교차 검증을 사용했습니다. 각 개인의 샘플 수는 257개에서 1268개까지 다양했습니다. 분류 성능을 평가하기 위해 7가지 성능 지표를 측정했습니다: 정확도, 균형 정확도, 정밀도, 재현율, F1 점수, 특이도, 수신자 조작 특성 곡선 아래 면적(AUROC). 감정 상태 감지에서는 소수 클래스의 감지 성능을 강조하기 위해 매크로 정밀도, 재현율, F1 점수, 특이도, AUROC를 측정했습니다.

Imbalance Handling
이 연구에서는 Synthetic Minority Over-sampling Technique (SMOTE)와 Support Vector Machines Synthetic Minority Over-sampling Technique (SVMSMOTE) [30]를 적용하여 클래스 불균형을 완화했습니다. 이는 소수 클래스의 합성 데이터를 생성하여 불균형을 감소시키는 오버샘플링 방법입니다. 모든 불균형 처리 기술은 훈련 데이터에만 적용하여 훈련 세트와 테스트 세트 간의 데이터 누출을 방지했습니다.

Feature Analysis
우리는 감정 전환 및 상태 감지에서 사용된 7가지 특징 카테고리의 중요성을 분석했습니다. 감정 전환 및 상태의 감지 성능은 사람마다 다르게 나타났으며, 이를 최상, 평균, 최악의 성능으로 분류했습니다. XGB 분류기의 출력을 사용하여 특징 중요도 분석을 수행하고, 성능이 가장 좋은 특징을 탐구했습니다.

Software
이 연구는 Python 3에서 Scikit-Learn (0.22), CB, XGB, SHapley Additive exPlanation (SHAP) 패키지를 사용하여 수행되었습니다. Python 코드는 GitHub에 공개되어 있습니다 [31].

Results

데이터 세트 요약표(Table 1)는 18명의 참가자(P1-P18)에 대한 데이터를 보여줍니다. 이 표는 데이터 수집 일수와 결측 데이터 비율을 포함하고 있습니다. 평균 결측 데이터 비율은 약 63%로, 참가자마다 38.66%에서 88.8%까지 다양했습니다.

Emotional Transition or State Detection Results

- 감정 전환 감지
일반 모델을 사용한 감정 전환 감지에서 가장 성능이 좋은 분류기는 LR(로지스틱 회귀), XGB(XGBoost), CB(CatBoost)였습니다. Table 2는 이러한 분류기의 결과를 보여줍니다. LR이 평균 AUROC 곡선에서 90.5%로 최고의 성능을 보였고, XGB와 CB는 각각 89.72%와 89.24%를 기록했습니다. 불균형 처리 기법을 사용하면 평균 재현율이 개선되었지만, 전반적인 결과는 크게 개선되지 않았습니다. 일반적으로 SVMSMOTE가 대부분의 모델에서 SMOTE보다 더 나은 결과를 보여주었습니다. SMOTE를 사용한 결과를 포함한 전체 결과는 Multimedia Appendix 1에 나와 있습니다.

- 감정 상태 감지
Table 3은 일반 모델을 사용한 감정 상태 감지의 성능 측정 결과를 보여줍니다. 여기서 LR, CB, RF(Random Forest)가 가장 좋은 결과를 나타냈습니다. 특히 LR은 평균 AUROC 곡선에서 60.23%로 최고의 성능을 보였습니다. 불균형 처리 기법을 추가하면 특이도와 균형 정확도와 같은 일부 지표가 약간 개선되었습니다. 모든 모델과 불균형 처리 기법의 전체 결과는 Multimedia Appendix 1에 나와 있습니다.

- 개인화된 감정 전환 감지
개인화된 감정 전환 감지 모델은 일반적으로 모든 모델에서 좋은 성능을 보였고, 18명의 모든 사람에게 가장 좋은 ML 모델과 불균형 처리 기법을 단일하게 지목하기는 어려웠습니다. Table 4는 RF, XGB, CB에서 얻은 성능 측정 결과를 보여줍니다. 표준 편차는 18명의 사람들 간에 큰 변동성을 나타냅니다. RF는 불균형 처리를 하지 않았을 때 평균 AUROC 곡선에서 88.01%로 최고의 성능을 보였고, SVMSMOTE는 일반적으로 재현율을 개선하는 데 도움이 되었으며, CB에서는 평균 AUROC 곡선에서 88.7%로 최고의 성능을 보였습니다. 모든 분류기와 불균형 처리 기법의 상세한 결과는 Multimedia Appendix 1에 나와 있습니다.

- 개인화된 감정 상태 감지
일반 모델을 사용한 감정 상태 감지 성능과 비교할 때, 개인화된 모델의 성능이 상당히 더 좋았습니다. Table 5는 CB, XGB, RF에서 얻은 성능 측정 결과를 보여줍니다. CB는 평균 AUROC 곡선에서 96.33%로 최고의 성능을 보였으며, XGB와 RF가 그 뒤를 이었습니다. 불균형 처리 기법을 적용하면 균형 정확도, 재현율, 특이도가 약간 개선되었습니다. 모든 클래스가 일반 모델에 유지된 반면, 개인화된 모델에서는 클래스 수가 4에서 5까지 다양했습니다. SMOTE를 포함한 전체 결과는 Multimedia Appendix 1에 나와 있습니다.

 

Feature Analysis Results
- 중요한 피쳐 분석
XGB 분류기의 출력을 사용하여 특징 중요도를 분석한 결과, 가장 성능이 좋은 특징들을 탐구했습니다. 그림 3과 4는 감정 전환 및 상태 감지에 대해 XGB와 SHAP [32]를 사용하여 일반 모델의 20개 가장 중요한 특징을 보여줍니다. 7개의 특징 카테고리 중 맥락 정보(prefix label)가 높은 순위를 차지했습니다. 맥락 정보 특징은 감정 전환과 상태 감지 모두에서 상위 4개 특징 중 하나로 나타났습니다. 다른 중요한 특징으로는 모션, 전화 상태, 시간적 특징이 있었습니다.

- 영향력 있는 피쳐 카테고리 분석
우리는 18명의 모든 사람에 걸쳐 가장 중요한 3가지 특징을 고려하여 영향력 있는 특징 카테고리를 탐구했습니다. 그림 5와 6은 각각 감정 전환 및 상태 감지를 위한 7개 특징 카테고리의 중요성을 보여줍니다. 이는 수동으로 수행되었으며, 각 카테고리는 특징 엔지니어링 섹션에서 설명한 특징 집합의 빈(bins)입니다. 특징 자체 대신, 상위 3개의 특징이 속한 빈을 고려했습니다. 이는 각 사람의 폴드에 걸쳐 수행되었습니다.

계산을 위해, 우리는 각 카테고리(7개)와 상위 3순위(3개)를 나타내는 빈 행렬을 고려했습니다. 그런 다음 각 폴드의 각 사람에 대한 상위 3개의 특징을 순위 매겼습니다. 예를 들어, 그림 3에서는 상위 3개의 피쳐가 label: SITTING, If_measurement:battery_level, label: Source이며, 첫 번째와 세 번째 특징은 맥락 카테고리에 속하고 두 번째 특징은 전화 상태 카테고리에 속합니다. 이는 맥락 카테고리의 첫 번째와 세 번째 순위 카운터를 증가시키고 전화 상태 카테고리의 두 번째 순위 카운터를 증가시킵니다. 이는 XGB 분류기와 SHAP을 기반으로 수행되었습니다.

-  감정 전환 감지의 중요한 특징 카테고리
그림 5에 따르면, 감정 전환 감지에서 가장 중요한 특징 카테고리는 맥락 정보, 모션, 오디오 신호이며, 가장 덜 중요한 카테고리는 시간적 및 환경적 특징입니다.

- 감정 상태 감지의 중요한 특징 카테고리
그림 6에 따르면, 감정 상태 감지에서 가장 중요한 특징 카테고리는 맥락 정보와 시간적 특징이며, 가장 덜 중요한 카테고리는 오디오 신호입니다. 감정 전환과 달리, 감정 상태는 환경적 및 위치 특징에 더 많은 영향을 받았습니다. 이는 위치 데이터를 무시한 일반 모델보다 개인화된 감정 상태 감지 모델이 더 나은 성능을 보이는 이유를 설명합니다. 그러나 맥락 데이터는 감정 전환과 상태 감지 모두에서 가장 중요한 역할을 했습니다.

Discussion

- 주요 발견

1. 감정 전환 감지 가능성: 스마트폰과 스마트워치를 통해 수집된 데이터를 이용하여 짧은 시간 간격 내에서 감정 전환을 감지할 수 있습니다. 감정 전환 감지에 가장 큰 영향을 미치는 특징은 맥락 정보, 감지된 전화 상태 및 모션 관련 신호입니다.

2. 감정 상태 감지 가능성: 스마트폰과 스마트워치를 통해 수집된 정보를 이용하여 PAD 모델의 3가지 차원에서 지배적인 감정 상태와 그 방향을 감지할 수 있습니다. 감정 상태 감지에 중요한 역할을 하는 특징은 맥락 정보와 시간적 데이터입니다.

3. 개인 간 변동성: 감정 전환 또는 상태 감지의 검출 가능성에서 개인 간 큰 변동성이 관찰되었습니다. 개인화된 모델의 경우, 18명 모두에게 최상의 성능을 보이는 단일 ML 모델이 없었습니다.

4. 개인화된 모델의 우수성: 개인화된 모델이 일반 모델보다 감정 상태를 더 잘 감지할 수 있습니다. 이는 개인의 데이터가 그 사람의 감정 상태를 감지하는 데 가장 크게 기여한다는 것을 의미합니다.

 

- 연구의 적용

이 연구는 스마트폰과 스마트워치를 통해 수집된 일일 데이터를 사용하여 ML 모델을 훈련시켜 개인의 감정 상태와 전환을 수동으로 감지할 수 있음을 보여줍니다. 실제로 이러한 발견은 자가 보고를 줄이고 일일 감정 상태를 원활하게 추적하는 데 도움이 됩니다. 예를 들어, 스마트폰 앱이 감정 상태의 전환을 감지할 때만 사용자가 자신의 감정 상태를 확인하도록 요청할 수 있습니다. 또한, 감정 전환을 유발하는 중요한 맥락 변수를 추적하여 사용자가 더 나은 자기 관리와 웰빙을 위해 이를 조정할 수 있는 기능을 제공할 수 있습니다. 우리의 조사 결과, 자가 보고된 맥락 정보가 감정 전환과 상태 감지 모두에서 가장 중요한 역할을 한다는 것을 보여줍니다. 최신 연구에 따르면, 이러한 맥락 데이터는 스마트폰 앱을 통해 자동으로 라벨링될 수 있습니다 [28].

 

- 감정 정환 감지 성능에 대해

이 연구에서 얻은 감정 전환 감지 결과는 유망하지만 감정 상태 예측 성능만큼 좋지는 않았습니다. 그 이유 중 하나는 클래스 불균형이 심해서 데이터를 더 오랜 기간 동안 수집하면 개선될 수 있습니다. 성능은 맥락 정보를 다른 중요한 감정 요소(예: 성격 특성, 사회적 의사소통, 생리학적 신호)와 결합함으로써 향상될 수 있습니다.

 

- 감정 상태 감지 성능에 대해

일반 모델을 사용한 감정 상태 감지 성능은 다소 저조했습니다. 이는 6개 클래스를 분류하는 더 어려운 작업이기 때문일 수 있으며, 개인 간 변동성이 큰 이유도 있습니다. 많은 최신 연구는 감정, 기분 및 정신 건강에서 개인 간 변동성에 대한 추가 연구의 필요성을 강조합니다 [11,33]. 우리의 연구 목표 중 하나는 감정 상태와 전환 감지에서 주관적 변동성을 탐구하는 것입니다. 따라서 우리는 일반 모델 외에도 개인화된 모델을 구축했습니다. 이러한 개인화된 모델은 각 개인의 데이터로 훈련 및 테스트되어 개인 간 변동성이 감정 전환 및 상태 감지 성능에 미치는 영향을 탐구합니다. 이 연구의 개인화된 모델과 일반 모델의 결과는 감정 상태 및 변화 감지용 ML 모델을 구축할 때 주관적 변동성을 고려할 필요성을 강화합니다.

 

- 모델 성능 비교

간단한 모델(LR)이 감정 전환 감지에서 더 나은 성능을 보였고, 복잡한 모델은 감정 상태 감지에서 더 나은 성능을 보였습니다. 이는 감정 전환 감지에서 연속된 두 창 사이의 특징 변화를 고려하면서 데이터가 희박해지고 작아졌기 때문일 수 있습니다. 개인화된 모델이 일반 모델보다 더 나은 성능을 보였지만, 일반 모델은 이후에 각 개인에게 개인화될 수 있는 기준 모델로 사용할 수 있습니다.

 

- 감정 상태 감지에서의 지배 차원 포함

지배 차원을 포함하면 감정 상태를 더 잘 이해할 수 있다는 연구가 있습니다 [21]. 우리의 연구는 모든 3가지 차원에서 지배적인 감정 상태와 그 방향을 감지할 수 있음을 보여줍니다. 이는 개인이 언제, 어디서, 어떤 방향으로 감정이 지배적인지를 데이터 기반으로 통찰할 수 있게 하여 효과적인 생활 방식 변화와 자기 관리를 도울 수 있습니다.

 

- 개인 차이의 영향

우리의 연구는 많은 개인 간 변동성이 일부 사람들에게 감정 전환 및 상태 감지에서 우수한 성능을 제공함을 보여줍니다. 우리는 가장 좋은 경우, 최악의 경우, 평균의 세 가지 사례를 고려하여 일상 맥락과 감정 간의 연관성을 탐구했습니다. 예를 들어, 최악의 경우(Figure 7)에서는 일상 활동과 감정 상태가 시간에 따라 뚜렷한 패턴을 보이지 않아 ML 모델이 강한 패턴을 포착하지 못했습니다. 반면, 최고의 경우(Figure 8)에서는 많은 결측 데이터에도 불구하고 공간적 맥락, 활동 및 감정 상태의 명확한 패턴이 관찰되었습니다. 평균의 경우(Figure 9)에서는 시간에 따라 공간적 맥락, 활동 및 감정 상태의 일부 명확한 패턴이 나타났습니다. 따라서 생활 방식의 규칙적인 패턴이 감정 상태 및 전환 감지의 예측 가능성에 중요하며, 이러한 패턴은 ML 알고리즘과 스마트폰 및 소비자용 웨어러블 장치를 통해 수집된 데이터를 활용하여 포착될 수 있습니다.

 

Limitations

1. 데이터 세트의 제한:

• 이 연구는 상대적으로 작은 데이터 세트와 좁은 지리적 영역을 기반으로 하고 있습니다.

• 피험자들은 대부분 UCSD의 학생과 연구원들로, 연령과 직업의 다양성이 부족합니다.

• 최대 9일 동안의 제한된 데이터 수집 기간과 많은 결측치로 인해 일부 시공간 패턴이 데이터에 포착되지 않았을 수 있습니다.

2. 소규모 참가자:

• 데이터 세트에 포함된 참가자 수가 적어, 하이퍼파라미터 튜닝을 위한 교차 검증과 테스트 세트를 동시에 유지하는 것이 불가능했습니다.

• 그 결과, 이 논문에 보고된 분류 성능은 실제보다 과대평가되었을 가능성이 있습니다.

3. 불균형한 감정 클래스:

• 감정 전환과 상태 클래스가 매우 불균형했으며, 일부 사람들의 데이터에는 1~2개의 감정 상태 클래스가 없었습니다.

• 따라서 다양한 인구와 지리적 위치에서 더 긴 기간 동안 수집된 더 큰 데이터 세트에서 실험을 반복할 것을 제안합니다.

4. 자가 보고된 맥락 정보:

• 분류가 기반한 맥락 라벨은 자가 보고된 것입니다.

• 자가 보고된 데이터에 의존하는 것은 데이터 세트의 또 다른 한계입니다.

• 우리는 이 자가 보고된 정보가 모든 경우에 정확하다고 가정했습니다.

• 따라서 이 연구의 결과는 부분적으로 이 자가 보고된 정보의 정확성에 의존합니다.

• 미래 연구에서는 원시 센서 데이터를 기반으로 맥락 정보를 예측하여 자가 보고를 제거하는 방향으로 연구를 확장해야 합니다.

5. PAD 시스템의 단순화:

• 감정을 PAD 시스템에 매핑하는 것은 3차원으로 이루어지지만, 우리는 가장 지배적인 차원에만 초점을 맞추었습니다.

• 이는 분류 작업을 보다 실현 가능하게 만들기 위해 PAD 시스템이 제공하는 풍부한 다차원 정보를 단순화한 것입니다.

• 대안으로, PAD가 정의한 3D 공간에서 클러스터링을 통해 ExtraSensory 데이터 세트에 맞춘 새로운 감정 매핑 시스템을 만드는 것도 미래 연구 방향으로 가치가 있습니다.

6. 건강 관련 정보의 부재:

• 데이터에 BMI, 성별, 연령 및 정신 건강 바이오마커와 같은 건강 관련 정보가 없습니다.

• 따라서 건강 상태와 감정 전환 및 상태 간의 연관성을 밝히기 위해 추가 조사가 필요합니다.

 

Conclusions

이 연구에서는 스마트폰과 스마트워치를 통해 수집된 일일 데이터를 ML 기술을 적용하여 감정 전환 및 상태를 감지할 수 있는 가능성을 탐구했습니다. 결과는 감정 전환 및 상태와 맥락 정보 간의 연관성을 확립했습니다. 우리는 또한 감정 상태와 전환에 영향을 미치는 중요한 맥락 변수를 조사했습니다. 결과의 개인 간 변동성은 감정 상태와 전환의 개인화된 예측에 대한 추가 연구의 필요성을 강조합니다. 이 연구의 결과는 수동 데이터 수집의 유용성, 자가 보고의 감소, 심리적 웰빙 추적 강화, 자기 인식, 자기 관리, 위험 예측 및 적시 개입의 중요성을 지원합니다.