하이브리드 비 침습적 룰렛 전략 시스템에 대한 혁신적인 접근 방식
ECE 조교수 Sarah Ostadabbas는로드 아일랜드 대학교와 공동으로“하이 브리드 뇌 컴퓨터 인터페이스를 안내하는 그래프 기반 데이터 퓨전 프레임 워크”에 대한 $ 500K NSF 보조금을 받았습니다.
문자 그대로, 도움이 필요한 사람들에게 목소리를 줘
우리 주변의 다른 사람들과 의사 소통 할 수 있다는 것은 인간의 핵심 부분입니다. 그것은 우리 중 많은 사람들이 당연한 것으로 생각하는 것입니다.그리고 그것은 중요한 공중 보건 문제입니다.
연구원과 환자 모두의 노력 덕분에 비 침습적 뇌-컴퓨터 인터페이스 (룰렛 전략)의 발전으로 많은 사람들이 의사 소통 능력을 되 찾을 수있었습니다. 사람들이 자신의 두뇌를 사용하여 키보드 디스플레이를 제어하여 구어 단어를 제어하는 룰렛 전략 Speller와 같은 도구는 문자 그대로 사람들에게 목소리를주었습니다.
이러한 도구는 완벽하지 않습니다. 그들은 느리고 부정확 할 수 있으며, 많은 사람들에게 실용적이지 않은 훌륭한 시선 제어가 필요합니다.
룰렛 전략S in Focus
“뇌-컴퓨터 인터페이스는 가장 강력하고 가장 영향력있는 증강 인식 시스템 중 하나입니다. "룰렛 전략의 간단한 문제조차도 중요한 엔지니어링 및 과학적 영향을 가진 상호 연결된 요소의 복잡한 웹을 가지고있어 성공적인 프로젝트가 협력적인 프로젝트가되어야 함을 의미합니다."
룰렛 전략S가 뇌와 의사 소통하는 가장 일반적인 방법은 Electroencephalography (EEG)를 통해입니다.빠른 반응 시간, 비용 효율성 및 이식성. 그러나 EEG는 또한 비정규 적, 신호 대 잡음비가 낮으며 특정 환자 조건에서 작업 관련 패턴이없는 등 실제 사용에 필요한 매우 복잡한 작업에 이상적이지 않은 특성을 가지고 있으며, 모터 제어가 부족한 많은 사람들에게 실용적이지 않은 미세한 시선 제어가 필요합니다..
FNIRS (기능적 근적외선 분광법)라는 기술이 있습니다.FNIRS는 두개골을 통해 침투하여 피질 표면의 정보를 통합하여 공간 해상도 (약 1cm vs. 3cm)를 초래하지만 시간적 해상도가 열악하지만 (EEG의 경우 초 대 밀리 초)로 어려움을 겪습니다. EEG와 FNIRS는 실시간 룰렛 전략에 적용 할 수 있고 두 가지 다른 필수 유형의 신경 활동 (전기 및 혈역학)을 측정 할 수있는 유일한 비 침습적, 호환성 및 휴대용 뇌 영상 기술입니다..
단일 모달 대 멀티 모달
지난 몇 년 동안 FNIRS 및 고속 EEG 기반 시스템을 통합하여 단일 모달 제한을 극복함으로써 룰렛 전략 시스템의 성능 향상에 대한 관심이 높아지고 있습니다.
이것은 조교수의 중심에 도달Ostadabbas의 연구.
“두 가지 유형의 엔진에 의존하여 연료 효율이 극대화되는 하이브리드 자동차의 개념과 유사하게 하이브리드 룰렛 전략는 일반적인 안정성을 높이고 성능 향상을위한 구체적인 목표를 가지고 있습니다.”라고 그녀는 설명합니다.
많은 연구에 따르면 FNIR은 EEG에 대한 보완 및 미래 룰렛 전략에 대한 잠재적 인 제어 신호로서 FNIRS를 제안하지만, 현재까지 룰렛 전략는 두 가지 다른 신호와 정보 내용을 고려하여 두 가지 양식의 풍부한 정보를 추출하여 두 가지 다른 신호를 체계적으로 융합시키지 않았습니다. 이것은 지금까지 하이브리드 룰렛 전략에서 점진적인 발전이 있었으며 현장에서 명백한“진실”이 부족하다는 것을 의미합니다..
“최첨단 다 분야 기술을 사용하여,이 연구에서 우리는 최종 사용자의 커뮤니케이션 요구와 룰렛 전략의 진정한 능력 사이의 격차를 해소하기 위해 새로운 하이브리드 FNIRS-EEG 기반 룰렛 전략를 제안했습니다. "우리의 제안 된 시스템은 혁신적인 그래프 이론적 멀티 모달 데이터 퓨전 (GT-MMDF) 프레임 워크와 새로운 듀얼 작업 사용자 인터페이스에 의해 안내됩니다.".
실습에 넣는다
또 다른 장애물이 연구는이 연구가 가장 필요한 사람들을 위해 기술을 사용할 수있게하는 것입니다. 전통적으로, 대부분의 하이브리드 룰렛 전략 연구는 건강한 참가자에 대한 프로토콜을 테스트했으며, 이는 기술 얼굴의 실제 사용자가 많은 어려움을 반영하지 않습니다.
그러나로드 아일랜드 대학교의 Ostadabbas 공동 작업자의 최근 연구에 따르면, 2019 년 Yalda Shahriari 교수 (2019 년 포함)는 FNIRS-EEG가 ALS 및 후기 잠금 상태 (LIS) 환자에 적용될 수 있음을 보여주었습니다. 구체적으로, 그들은 커뮤니케이션 기반 룰렛 전략에 FNIRS를 통합하면 후기 LIS 환자의 룰렛 전략 분류 성능을 실질적으로 향상시킬 수 있음을 관찰했습니다.
모든 사람을 참여시키기
비밀이 아닙니다.여성 및 소수hade 역사적으로 expresented엔지니어링 분야. 이것은 많은 목소리를 침묵시키고 잠재적으로 최고의 아이디어를 놓친다는 사실을 포함하여 여러 가지 이유로 문제가됩니다.
커뮤니케이션 문제를 겪는 사람들을 돕는 것 외에도 Ostadabbas는 또한 그녀의 연구를 STEM (과학, 기술, 공학 및 수학)에 관심을 갖고 참여할 수있는 다양한 사람들을 확보 할 수있는 기회로 연구를보고 있습니다.
“다양한 연구에보고 된 바와 같이, 이러한 유형의 협업 프로그램에 참여하는 학생들은 엔지니어링에 대한 이해를 훨씬 더 광범위하게 이해하고 엔지니어링 전공에 머무를 가능성이 훨씬 높습니다.”라고 그녀는 설명합니다. “우리는 여러 분야의 배경에서 STEM 필드로 여성과 소수의 소수를 끌어들일 수있는 독특한 기회를 만들 수 있다고 생각합니다. 이런 식으로 학생들은 경험을 통해 혜택을받을뿐만 아니라 연구도- 그리고 궁극적으로 환자.”
“내가 본 것에서, 최고의 연구는 다른 기원과 배경을 가진 사람들이 혼합되어있는 실험실에서 비롯됩니다. “우리는 21 세기로 더 깊이 들어 가면서 우리는이 다양성을 계속 받아들이고 여성을 줄기로 데려 오는 데 더 나아질 것입니다.
초록 출처 :NSF
비 침습적 뇌-컴퓨터 인터페이스 (룰렛 전략)의 주요 발전은 대안적인 의사 소통 수단을 제공함으로써 특정 장애가있는 사람들의 삶을 풍요롭게했습니다. 그러나, 현재 시스템은 다중 신경 기능을 올바르게 설명하는 데 필수적인 통합 신경 역학에 대한 성능과 이해를 모두 제한하는 단일 모달 기술에 크게 의존합니다.
연구에는 세 가지 주요 추력이 포함됩니다. 소설 그래프 이론적 다중 모드 데이터 융합 프레임 워크는 전기 및 혈역학 적 반응을 동시에 조절하는 이중 태스크 상호 작용 동안 하이브리드 패턴 및 사용자 의도의 복잡한 토폴로지 특징을 체계적으로 캡처하기 위해 개발 될 것이다.