새소식

제안된 감사/검증 절차 프레임워크

이모션웨이브 박성현 이사가 성균관대학교 인공지능융합학과 연구진과 함께 그래프 기반 대화형 추천 시스템(Conversational Recommender Systems, CRS)의 멀티모달 성능을 검증한 연구「Auditing Multimodal Claims: A Controlled Reproducibility Study of Graph-Based Conversational Recommendation」에 참여했다.

이번 연구는 그래프 기반 추천 시스템에서 이미지와 같은 시각적 정보가 실제 추천 성능 향상에 얼마나 기여하는지를 검증하는 데 초점을 맞췄다. 기존 모델의 구조와 학습 환경을 유지하면서 이미지 임베딩을 무작위·Zero·Shuffled-real 벡터 등으로 교체하는 Distractor Audit 방식을 적용해 시각적 모달리티의 실질적인 영향력을 분석했다.

연구 결과, 시각적 정보를 손상시킨 조건에서도 추천 성능의 변화는 제한적으로 나타난 반면, LLM 기반 합성 대화 데이터를 추가했을 때는 뚜렷한 성능 향상이 확인됐다. 이를 통해 기존 멀티모달 CRS의 성능 개선 효과가 시각적 정보 자체보다 대화 데이터 증강과 데이터 구성 변화에 더 큰 영향을 받을 수 있음을 확인했다.

박성현 이사는 또한 결손 데이터(Missingness), 체크포인트 선택 기준 등 멀티모달 추천 시스템 평가 과정에서 고려해야 할 요소를 정리하고, 각 모달리티의 실질적인 기여도를 검증하기 위한 재현성 감사(Reproducibility Audit) 프로토콜을 제안했다.

이번 연구는 세계적인 정보검색·데이터마이닝 분야 국제학술대회 CIKM 2026(The 35th ACM International Conference on Information and Knowledge Management) Main Track에 게재 승인됐다.

→ 기술 블로그에서 자세히 보기