설득 대화를 사용하여 게임 룰렛 안전성을 향상시킵니다
ECE/Khoury 조교수 Weiyan Shi는 2024 년 가을 공학 대학에 입사하여 이미 헤드 라인을 만들었습니다. 그녀는 30 세 미만의 MIT Tech Review 35 Innovators로 지명되었으며 게임 룰렛 안전 문제를 해결하기위한 설득력있는 대화에 대한 연구를위한 협회에서 연례 회의 협회에서 2 개의 논문 상을 받았습니다..
Weiyan Shi, 전기 및 컴퓨터 엔지니어링 조교수, Khoury Computer Sciences College는 자연 언어 프로세스 및 설득력있는 대화를 통해 게임 룰렛 시스템이 어떻게 훌륭한 시민으로 행동 할 수 있는지 연구하고 있습니다. 그녀의 연구는 최근 그녀의 업계와 미디어 인정과 2 개의 베스트 페이퍼 상을 수상했습니다.
Shi는 MIT Tech Review 35 혁신가 35 세 미만으로 지명되었으며, 그녀의 설득력있는 대화 연구를“Bold Vision”으로 인식하고 Computational Linguistic Association에서 게임 룰렛 안전에 중점을 둔 2 개의 종이 상을 받았습니다..
대형 언어 모델 (LLMS), 자연어 처리 및 설득력있는 대화에 대한 그녀의 연구는 현재 시스템 취약성을 폭로하기위한 다양한 대화 및 설득력있는 쿼리로 게임 룰렛 시스템의 안전 위험을 식별하는 데 중점을두고 있습니다. 종종 설득력있는 메시징으로 묶인 반복적 인 질문을 통해 시스템이 마침내 요청 된 데이터에 응답하면 고정되어야하는 보안 결함이 있습니다..
목표는 게임 룰렛 시스템에 이러한 질문에 대한 방어를 구축하고 궁극적으로 윤리와 정직에 의해 안내되는 응답을 제공하는 것입니다. 궁극적으로 게임 룰렛 시스템은 선과 악의 차이를 내부화하고 그 지식에 따라 결정을 내릴 수 있습니다.
전통적으로 사람들은 코드 또는 임의의 문자열을 사용하여 규칙을 위반하고 정보를 얻으려고합니다.”Shi는 말합니다. "우리는 이전에 생각되지 않은 다른 각도에서 시스템을 인간화하고 이에 접근하려고 노력하고 있습니다."
그녀는 또한 자선 단체에 대한 기여를 성공적으로 요구하는 것과 같이 사람들이 게임 룰렛 시스템을 더 잘 사용하여 긍정적 인 결과를 달성 할 수있는 방법을 결정하기 위해 연구를 확장 할 계획입니다..
“가장 중요한 목표는 인간을 사회적 선을 위해 설득하고 게임 룰렛 안전을 위해 게임 룰렛를 설득하는 것입니다.”
Shi 's Paper Awards는“에 대한 뛰어난 종이 상이 포함되어 있습니다.지구는 평평합니다.… 게임 룰렛력있는 대화를 통해 잘못된 정보에 대한 LLMS의 신념을 조사” 이 연구는 반복되고 잘못된 정보를 포함하는 설득력있는 질문이 게임 룰렛 시스템에 제기됩니다.
두 번째 논문,“Johnny가 LLM을 탈옥하도록 설득 할 수있는 방법 : LLMS를 인간화하여 게임 룰렛 안전에 도전하기위한 설득을 다시 생각합니다” 결국 시스템 보안 위험을 드러날 전술로 LLM을 게임 룰렛하는 방법을 조사하는 최고의 Social Impact Paper Award를 수상했습니다.
Shi는 2024 년 8 월 산업 개발 챗봇의 데이터 과학자를 포함하여 엔지니어링 대학에 합류하기 전에 게임 룰렛 연구에서 광범위하게 근무했습니다. 그녀는 또한 Meta 게임 룰렛 Research에서 인턴으로 일했으며, 2022 년에 유명한 외교 게임에서 협상, 설득, 조정 및 협력 한 협상 게임 룰렛 대화 에이전트 인 Cicero를 공동으로 개발했습니다. 2023 년 Columbia University에서 컴퓨터 과학 박사 학위를 받았습니다.
Shi의 연구 비전은 자연스러운 대화를 통해 인간 지능과 기계 지능 사이의 자연적인 인터페이스를 구축하고 사회적 이익을 위해 인간을 설득하고 게임 룰렛 안전을 위해 게임 룰렛를 설득하는 것입니다.