제목: Auditing Multimodal Claims: A Controlled Reproducibility Study of Graph-Based Conversational Recommendation

저자: 박성현(이모션웨이브), 박혜림, 이정태, 최서인, 박은일(인공지능융합학과)

키워드: Conversational Recommender Systems, Multimodal Recommendation, Reproducibility Analysis, Graph-Based Recommendation

주요 내용
그래프 기반 대화형 추천 시스템(CRS) 분야에서는 최근 텍스트 및 지식 그래프 정보에 비전(이미지) 신호를 결합하여 추천 성능을 크게 향상시켰다고 보고하고 있습니다. 하지만 이러한 기존 모델들은 시각적 임베딩 도입, 결손된 이미지 노드의 0(Zero) 채움 처리, LLM 기반 합성 대화 데이터 추가 등을 동시에 적용하고 있어, 성능 향상이 순수 시각적 정보 덕분인지 아니면 데이터 증강 및 그래프 변형에 의한 착시인지 불분명했습니다. 본 논문은 기존 모델의 백본 구조와 학습 파이프라인을 동일하게 고정한 상태에서, 시각적 임베딩을 방해 조건(교란인자)으로 교체하거나 데이터 구성을 통제하는 재현성 감사(Controlled Reproducibility Audit)를 수행하여 실제 시각적 모달리티의 기여도를 정밀하게 검증합니다.

핵심 기여
■ CRS 모달리티 기여도 검증을 위한 Distractor Audit 프레임워크 제안
이미지 임베딩을 가우시안 무작위 벡터, Zero 벡터, Shuffled-real 벡터 등 통제된 방해 조건(Distractor)으로 대체하여, 추천 성능 향상이 실제 아이템의 시각적 의미(Semantic)에서 기인한 것인지 검증하는 분석 방식 제시

■ 시각적 정보와 대화 데이터 증강의 영향력 분리 및 비대칭성 규명
시각적 임베딩을 완전히 손상시킨 방해 조건에서도 기존 모델과 성능 차이가 거의 나타나지 않는 반면(R@10 편차 0.007 수준), LLM 생성 합성 대화 데이터를 추가했을 때는 명확한 성능 향상(R@10 +0.031, 3개 시드 모두 향상)이 나타남을 확인하여 성능 개선의 주요 원인이 시각 신호가 아닌 데이터 증강임을 입증

■ 멀티모달 CRS 평가를 위한 재현성 감사 프로토콜 제안
결손 데이터(Missingness)의 영향 및 검증 데이터셋 기준 체크포인트 선택(Valid-best) 규칙 등, 향후 그래프 기반 멀티모달 추천 시스템 연구에서 각 모달리티의 효과를 올바르게 평가하기 위한 엄격한 감사 절차 제시

───────────────────────────────────────────────────────────────────────

Title: Auditing Multimodal Claims: A Controlled Reproducibility Study of Graph-based Conversational Recommendation (Main Track)

Authors: Seonghyeon Park (Emotionwave Inc.), Piao Huilin, Jeongtae Lee, Seoin Choi, Eunil Park (Dept. of Applied Artificial Intelligence)

Keywords: Conversational Recommender Systems, Multimodal Recommendation, Reproducibility Analysis, Graph-based Recommendation

Abstract
Recent studies in graph-based conversational recommender systems (CRS) have reported substantial gains in recommendation performance by combining visual (image) signals with textual and knowledge-graph information. However, these existing models introduce visual embeddings, zero-filling for missing image nodes, and LLM-based synthetic dialogue data simultaneously, making it unclear whether the observed gains truly stem from visual information or from artifacts caused by data augmentation and graph modification. This paper conducts a controlled reproducibility audit that keeps the backbone architecture and training pipeline of the original model fixed while replacing visual embeddings with distractor conditions or controlling the data composition, thereby rigorously examining the actual contribution of the visual modality.

Key Contributions
■ A Distractor Audit Framework for Verifying Modality Contributions in CRS
This paper proposes an analytical framework that replaces image embeddings with controlled distractor conditions (random Gaussian vectors, zero vectors, and shuffled-real vectors) to verify whether recommendation gains originate from the actual visual semantics of items.

■ Separating the Effects of Visual Information and Dialogue Data Augmentation, and Identifying Their Asymmetry
Even under distractor conditions that completely corrupt the visual embeddings, performance remains nearly indistinguishable from the original model: the multi-seed mean R@10 spread across distractor conditions is only 0.007, and no distractor consistently falls below the original ViT condition. In contrast, adding LLM-generated synthetic dialogues yields a consistent gain (R@10 +0.031, positive on all three seeds), demonstrating that the main driver of the reported gains is data augmentation rather than visual signals.

■ A Reproducibility Audit Protocol for Multimodal CRS Evaluation
This paper presents a rigorous audit protocol for future research on graph-based multimodal recommender systems, covering the impact of missingness and a validation-based checkpoint selection rule (valid-best), to ensure that the effect of each modality is assessed properly.