우리의 몸은 끊임없이 데이터를 생성합니다. 스마트워치와 같은 웨어러블 센서는 이 데이터를 놀라울 정도로 상세하게, 그리고 대규모로 포착할 수 있게 만들었고, 이는 인간의 행동과 건강을 이해할 새로운 기회를 열어주었습니다. 하지만 이 데이터를 이해하는 것은 결코 쉽지 않습니다. 데이터에는 노이즈가 많고, 불완전하며, 개인별 편차가 매우 크기 때문입니다. 대규모 언어 모델(LLM)이 방대한 텍스트 데이터셋에서 자기 지도 학습(self-supervised learning)의 힘을 증명했지만, 인간의 생체 데이터를 위한 유사한 ‘파운데이션 모델’은 존재하지 않았습니다.
오늘, 우리는 방대한 양의 레이블 없는 웨어러블 센서 데이터로부터 인간 활동의 ‘언어’를 학습하는 새로운 자기 지도 사전 훈련 프레임워크인 SensorLM을 소개합니다. SensorLM은 BERT가 텍스트에서 언어를 배우는 방식과 유사하게, 마스킹된 센서 데이터 부분을 재구성하는 ‘마스크드 오토인코딩(masked autoencoding)’ 기법을 사용합니다. 18,000명의 개인으로부터 수집된 23,000시간 분량의 연속적인 실제 데이터를 사전 훈련함으로써, SensorLM은 인간의 활동과 생리적 상태에 대한 일반화된 표현(representation)을 학습합니다. 이는 다양한 후속 작업(downstream tasks)의 성능을 획기적으로 향상시킵니다. 우리는 신체 활동 인식, 심박수 추정, 수면 단계 분류와 같은 벤치마크 과제에서 최고 수준(state-of-the-art)의 결과를 달성하며 SensorLM의 효과를 입증했습니다.
SensorLM의 작동 원리: 텍스트처럼 센서 데이터를 학습하다
SensorLM의 핵심 아이디어는 센서 데이터를 자연어처럼 ‘단어’와 ‘문장’의 시퀀스로 취급하는 것입니다. 예를 들어, “나는 가게에 걸어가고 있다”라는 문장을 상상해 보십시오. SensorLM에서 짧은 시간 동안 측정된 가속도계, 자이로스코프, 심박수 등의 센서 데이터 시퀀스는 하나의 ‘단어’와 같습니다. 그리고 이러한 데이터의 더 긴 시퀀스는 ‘문장’에 해당합니다. SensorLM은 영어 문법 규칙을 배우는 대신, 다양한 인간 활동 및 생리 상태에 해당하는 센서 데이터 내의 패턴과 관계를 학습합니다.
이를 위해 SensorLM은 마스크드 오토인코딩 접근법을 사용합니다. 긴 센서 데이터 시퀀스의 일부를 무작위로 가리고(masking), Transformer 모델이 이 누락된 데이터를 재구성하도록 훈련시킵니다. 이 과정에서 모델은 불완전한 정보에 직면하더라도 기저에 있는 활동과 상태에 대한 의미 있는 표현을 학습하게 됩니다. 예를 들어, 걷고 있는 사람의 가속도계 데이터 일부를 가리면, 모델은 주변 데이터(규칙적인 팔 흔들림, 일정한 심박수 등)를 기반으로 누락된 데이터를 추론하는 법을 배우게 됩니다.
핵심 기술: 멀티모달 Transformer 아키텍처와 대규모 데이터
SensorLM은 Transformer 기반의 인코더-디코더 아키텍처를 채택했습니다. 인코더는 마스킹된 센서 데이터를 입력받아 압축된 표현을 생성하고, 디코더는 이 표현을 사용해 원본 데이터를 복원합니다. 이 설계 덕분에 SensorLM은 개별 걸음걸이와 같은 국소적 패턴과 전체적인 보행 주기 같은 장기적 의존성을 모두 효과적으로 포착할 수 있습니다.
SensorLM의 핵심 혁신 중 하나는 멀티모달 입력 처리(multi-modal input processing)입니다. 웨어러블 센서는 일반적으로 가속도계(움직임), 자이로스코프(방향), 광혈류측정(PPG, 심박수) 등 여러 유형의 데이터를 동시에 수집합니다. SensorLM은 각 데이터 유형을 별도의 ‘패치 임베딩’ 모듈로 처리한 후, 이를 결합하여 Transformer 인코더에 입력합니다. 이를 통해 모델은 각 센서 유형의 고유한 특성을 활용하는 동시에, 이들이 상호작용하여 인간 활동을 설명하는 방식을 학습할 수 있습니다. 이러한 강력한 모델은 18,000명으로부터 수집된 23,000시간 분량의 방대하고 다양한 실제 데이터로 훈련되었기에 높은 일반화 성능을 확보할 수 있었습니다.
단순 분류를 넘어: ‘건강을 위한 파운데이션 모델’로의 도약
SensorLM이 미치는 영향은 단순히 기존 벤치마크에서 높은 정확도를 달성하는 것을 넘어섭니다. 인간 활동의 일반화된 ‘언어’를 학습함으로써, SensorLM은 ‘건강을 위한 파운데이션 모델(foundation models for health)’ 개발의 초석을 다졌습니다. LLM이 자연어 처리 분야를 변화시킨 것처럼, SensorLM은 우리가 인간의 생체 데이터를 분석하고 해석하는 방식을 혁신할 잠재력을 가지고 있습니다.
이는 SensorLM이 다음과 같은 광범위한 미래 애플리케이션에 적용될 수 있음을 의미합니다.
- 개인 맞춤형 건강 모니터링: 개인의 건강과 웰빙에 대한 더 정확하고 개인화된 통찰력을 제공합니다.
- 조기 질병 발견: 질병의 발병을 나타낼 수 있는 생리적 패턴의 미묘한 변화를 감지합니다.
- 재활 및 중재: 실시간 피드백을 통해 물리 치료 및 행동 중재를 안내합니다.
- 신약 개발 및 임상 시험: 치료 효과와 환자 결과에 대한 객관적인 측정 지표를 제공합니다.
SensorLM은 웨어러블 센서가 생성하는 풍부하고 복잡한 데이터를 이해하는 능력에 있어 중요한 진전을 이루었습니다. 기계가 인간 활동의 ‘언어’를 학습하게 함으로써, 우리는 개인의 건강 정보가 그 어느 때보다 더 접근 가능하고, 정확하며, 실행 가능해지는 미래를 향한 길을 열고 있습니다.
