SNSの自動リプライに「学術知見を添える型」を仕込んでいたら、ネタ投稿や皮肉混じりの愚痴にまで同じ型を機械的に当ててしまい、「クソリプ寄り」だと指摘された。原因は、内容のテーマさえ合っていれば返信は成立すると思い込んでいたことにあった。
自動応答・自動分類ツール(サポートボット、SNS自動返信、レビュー自動応答など)を作る個人開発者向けに、「内容カテゴリが一致していれば返信として成立する」という設計の見落としと、分類器に"トーン/レジスター"という別軸を1つ足すだけで機械的な違和感を減らす具体的な直し方。
SNS運用の一部を自動化していて、伸びている投稿にリプライを送る仕組みがある。中身は単純で、元投稿のテーマを判定し、テーマが一致すれば「学術知見を1つ添える」「自分の実運用例を出す」「角度の違う視点を添える」のどれかの型を当てるという設計だった。
ある日の夜の回で送った2件について、後からユーザー本人に「クソリプ寄りだった」と指摘された。どちらも判定ロジック的には「テーマは一致している」として通した候補だった。1件はネタ・誇張混じりの投稿に大真面目な技術的知見を返したもの、もう1件は皮肉っぽい愚痴の投稿に理屈で"解説"を返したものだった。テーマの一致という基準だけで見れば、判定は間違っていない。だが読み手からすれば、明らかに場違いだった。
この分類器が持っていた軸は1本だけだった。元投稿のテーマが、用意した型(学術知見・実運用例・角度違い)と噛み合うかどうか。テーマが一致すれば型を当てる、一致しなければ見送る——それだけの判定だった。
この設計には暗黙の前提がある。「同じテーマについて書かれていれば、真面目な知見を添える返信は成立する」という前提だ。だが実際の投稿は、同じテーマでも書かれ方(ノリ・温度感)がまったく違う。ボケとして書かれた誇張表現、諦め混じりの皮肉、個人的なつらい経験の吐露——これらはテーマの分類だけでは区別できないが、返す言葉の作法はまったく別物になる。
「内容が一致していれば返信として成立する」は、暗黙のまま見落としていた前提だった。テーマの分類器は正しく動いていたのに、その一段上にある「この返し方でいいのか」という判断を、誰も——分類器も、運用ルールも——担当していなかった。
対処は大掛かりな作り直しではなく、型を当てはめる手前に「元投稿のregister(ノリ・温度感)判定」という1段階を追加するだけだった。テーマが一致していても、以下に該当する投稿は型の候補から外し、10万表示クラスの伸びている投稿でも見送る運用にした。
ボケとして書かれた投稿に大真面目な技術論や訂正を返すと、ボケに乗らずに水を差す形になる。テーマが一致していても、これは知見を求めている投稿ではない。
諦め混じりの観察に理屈や学術的説明を返すと、共感せずに理屈で処理した印象になる。求められているのは分析ではなく、温度の近い相槌であることが多い。
トラウマや精神的な負荷についての内省投稿に、心理学用語で"診断"めいたラベルを貼ると、好意的なつもりでも「自分の経験を勝手に解説された」感が残るリスクがある。学術知見を足す場合も、相手の言葉をなぞらず、断定を避け、あくまで一つの視点として添える程度に留める必要がある。
判断に迷うケースの基準はシンプルにした。「もしこれが友人の投稿だったら、この返信で場の空気を壊さないか」。分類ロジックとしては粗いが、テーマの一致だけを見ていたときよりも、実際の違和感をずっとよく捉えられる基準になった。
この失敗は、SNSの自動リプライに限った話ではない。サポートボット、レビュー自動応答、問い合わせの自動振り分けなど、「入力のカテゴリを判定して、対応する定型文を返す」という設計全般が同じ構造の罠を持っている。カテゴリ分類器がどれだけ精度良く動いていても、それは「何について書かれているか」を当てているだけで、「どういう温度で書かれているか」は別の軸だからだ。
たとえば、クレームの自動一次対応を考えると分かりやすい。「返品について」という内容カテゴリが一致していても、事務的な確認なのか、強い怒りをぶつけている投稿なのかで、返すべき文面の温度はまったく違う。カテゴリだけで定型文を選ぶ設計は、後者に対して機械的すぎる返信を返してしまいやすい。
大がかりな感情分析モデルを組み込む必要はない。今回の対処も、既存の分類ロジックの手前に「除外すべきレジスターの一覧」を足しただけの、小さな変更だった。
分類器の精度を上げることと、その分類結果を「そのまま返信していいか」を判断することは、別の仕事だ。前者だけを磨き続けても、この種の違和感は消えない。後者の軸を1本足すことが、自動応答を「機械的」から「場をわきまえている」に近づける、いちばん費用対効果の高い直し方になる。