日本語タイトル#
階層的かつ意味的に正規化された知識グラフによる視覚的物語の堅牢な記号推論
英文タイトル#
Robust Symbolic Reasoning for Visual Narratives via Hierarchical and Semantically Normalized Knowledge Graphs
日本語摘要#
漫画のような視覚的物語を理解するには、物語の構造の中での出来事、キャラクター、およびそれらの関係を捉える構造化された表現が必要です。しかし、記号的な物語グラフは、類似のアクションや出来事が異なる注釈や文脈で異なるラベルが付けられるという不一致や冗長性の問題に悩まされることがよくあります。このような変動は、推論と一般化の効果を制限します。本論文では、階層的な物語知識グラフのための意味的正規化フレームワークを紹介します。認知に基づく物語理解モデルに基づいて、語彙の類似性と埋め込みベースのクラスタリングを使用して意味的に関連するアクションと出来事を統合する方法を提案します。正規化プロセスは注釈ノイズを減少させ、物語のレベル間で記号的カテゴリを整列させ、解釈可能性を保持します。Manga109 データセットの注釈付き漫画ストーリーに対してこのフレームワークを示し、パネルレベル、イベントレベル、およびストーリーレベルのグラフに正規化を適用しました。アクション検索、キャラクターの位置付け、イベント要約などの物語推論タスクにおける初期評価は、意味的正規化が一貫性と堅牢性を向上させ、記号的透明性を維持することを示しています。これらの発見は、正規化がスケーラブルで認知に触発されたマルチモーダル物語理解グラフモデルへの重要なステップであることを示唆しています。
英文摘要#
Understanding visual narratives such as comics requires structured representations that capture events, characters, and their relations across multiple levels of story organization. However, symbolic narrative graphs often suffer from inconsistency and redundancy, where similar actions or events are labeled differently across annotations or contexts. Such variance limits the effectiveness of reasoning and generalization. This paper introduces a semantic normalization framework for hierarchical narrative knowledge graphs. Building on cognitively grounded models of narrative comprehension, we propose methods that consolidate semantically related actions and events using lexical similarity and embedding-based clustering. The normalization process reduces annotation noise, aligns symbolic categories across narrative levels, and preserves interpretability. We demonstrate the framework on annotated manga stories from the Manga109 dataset, applying normalization to panel-, event-, and story-level graphs. Preliminary evaluations across narrative reasoning tasks, such as action retrieval, character grounding, and event summarization, show that semantic normalization improves coherence and robustness, while maintaining symbolic transparency. These findings suggest that normalization is a key step toward scalable, cognitively inspired graph models for multimodal narrative understanding.
文章ページ#
階層的かつ意味的に正規化された知識グラフによる視覚的物語の堅牢な記号推論
PDF 获取#
QR コードをスキャンして、さらに素晴らしいコンテンツを確認