日本語タイトル#
チャットボットとの擬似社会関係を防ぐための応答とプロンプト評価
英文タイトル#
Response and Prompt Evaluation to Prevent Parasocial Relationships with Chatbots
日本語摘要#
AI エージェントとの擬似社会関係の発展は、人間の幸福に深刻な影響を及ぼし、場合によっては悲劇的な結果をもたらすことがあります。しかし、このようなダイナミクスを防ぐことは挑戦的です：擬似社会的手がかりは、プライベートな会話の中で徐々に現れ、すべての形態の感情的関与が本質的に有害であるわけではありません。この課題に対処するために、最先端の言語モデルを再利用して作成されたシンプルな応答評価フレームワークを導入し、リアルタイムで進行中の会話の擬似社会的手がかりを評価します。このアプローチの実現可能性をテストするために、擬似社会的、阿諛奉承的、中立的な会話を含む 30 の対話からなる小さな合成データセットを構築しました。5 段階のテストによる反復評価により、すべての擬似社会的会話を成功裏に特定し、誤報を避けることができました。検出は通常、最初の数回の交流の中で行われます。これらの発見は、評価エージェントが擬似社会関係の予防に対する実行可能な解決策を提供できるという初期の証拠を提供します。
英文摘要#
The development of parasocial relationships with AI agents has severe, and in some cases, tragic effects for human well-being. Yet preventing such dynamics is challenging: parasocial cues often emerge gradually in private conversations, and not all forms of emotional engagement are inherently harmful. We address this challenge by introducing a simple response evaluation framework, created by repurposing a state-of-the-art language model, that evaluates ongoing conversations for parasocial cues in real time. To test the feasibility of this approach, we constructed a small synthetic dataset of thirty dialogues spanning parasocial, sycophantic, and neutral conversations. Iterative evaluation with five stage testing successfully identified all parasocial conversations while avoiding false positives under a tolerant unanimity rule, with detection typically occurring within the first few exchanges. These findings provide preliminary evidence that evaluation agents can provide a viable solution for the prevention of parasocial relations.
文章ページ#
チャットボットとの擬似社会関係を防ぐための応答とプロンプト評価
PDF 获取#
抖音でさらに素晴らしいコンテンツを見るには QR コードをスキャンしてください