日本語タイトル#
ドメインプロンプトと並列注意による会話における一般化可能なエンゲージメント推定
英文タイトル#
Generalizable Engagement Estimation in Conversation via Domain Prompting and Parallel Attention
日本語摘要#
正確なエンゲージメント推定は適応型人間 - コンピュータインタラクションシステムにとって重要ですが、異なるドメイン間でのロバストな展開は、ドメイン間の一般化能力の低さと複雑なインタラクションダイナミクスのモデリングの課題によって妨げられています。これらの問題に対処するために、私たちは DAPA（ドメイン適応型並列注意）を提案します。これは一般化可能な会話エンゲージメントモデリングのための新しいフレームワークです。DAPA は、入力の前に学習可能なドメイン特有のベクトルを追加することでドメインプロンプトメカニズムを導入し、データの出所にモデルの条件を明示的に設定することで、ドメインに配慮した適応を促進しながら一般化可能なエンゲージメント表現を保持します。インタラクションの同期を捉えるために、このフレームワークは、参加者間の反応状態（前向き BiLSTM）と予測状態（後向き BiLSTM）を明示的に整列させる並列交差注意モジュールも統合しています。広範な実験により、DAPA は複数の異文化および異言語ベンチマークで新しい最先端のパフォーマンスを確立し、特に NoXi-J テストセットでは、強力なベースラインモデルに対して一致性相関係数（CCC）が 0.45 の絶対的な改善を達成しました。私たちの方法の優位性は、MultiMediate'25 のマルチドメインエンゲージメント推定チャレンジでの 1 位獲得によっても確認されました。
英文摘要#
Accurate engagement estimation is essential for adaptive human-computer interaction systems, yet robust deployment is hindered by poor generalizability across diverse domains and challenges in modeling complex interaction dynamics.To tackle these issues, we propose DAPA (Domain-Adaptive Parallel Attention), a novel framework for generalizable conversational engagement modeling. DAPA introduces a Domain Prompting mechanism by prepending learnable domain-specific vectors to the input, explicitly conditioning the model on the data's origin to facilitate domain-aware adaptation while preserving generalizable engagement representations. To capture interactional synchrony, the framework also incorporates a Parallel Cross-Attention module that explicitly aligns reactive (forward BiLSTM) and anticipatory (backward BiLSTM) states between participants.Extensive experiments demonstrate that DAPA establishes a new state-of-the-art performance on several cross-cultural and cross-linguistic benchmarks, notably achieving an absolute improvement of 0.45 in Concordance Correlation Coefficient (CCC) over a strong baseline on the NoXi-J test set. The superiority of our method was also confirmed by winning the first place in the Multi-Domain Engagement Estimation Challenge at MultiMediate'25.
文章ページ#
ドメインプロンプトと並列注意による会話における一般化可能なエンゲージメント推定
PDF 取得#
抖音でさらに素晴らしいコンテンツを見るにはスキャンしてください