大規模言語モデル（LLM）は、感情的に敏感な社会的対話にますます参加するようになっていますが、バランスの取れたサポートから過度な同意や段階的な配置へと応答がシフトする可能性があります。既存の同調性研究は主に事実的な同意と指示追従の場面に焦点を当てており、文化的に根ざした会話的同調性はこれまで十分に探索されていませんでした。今回研究チームは、ベンガル語の社会的文脈における会話的同調性を研究するための初のベンチマークであるBenSycを導入しました。 BenSycはバングラデシュとベンガル州のコミュニティから収集した11,840件のRedditの投稿と170,000件のコメントから構築されました。人間による検証を経たベンチマークには、二値ラベルと無効化、中立、サポート、同意、エスカレーションの5段階の分類法が含まれています。研究チームは15以上のオープンソースと商用のLLMを会話的配置分類タスクと応答生成タスクで評価しました。 結果として、共感的サポートと強化志向の同意を区別することは、最先端の指示チューニング済みモデルでも依然として困難であることが明らかになりました。最良のシステムは二値検出でマクロF1スコア61.8、5クラス分類で61.7のみを達成しました。応答生成では、複数のモデルが感情的に充電された状況で強く同調的またはエスカレーション的な応答を頻繁に生成しました。 これらの知見は、モデルファミリー間で大きなばらつきが存在することを示しており、社会的に配置された会話型AIシステムを評価するための文化的に根ざした多言語ベンチマークの重要性を強調しています。