omokageという文体一致度を評価してくれるツールを見かけたので試してみた。
debimate.jp
以下がそれです。
AIに文章を書かせるとき、最初にやりがちなのは「自分の文体で書いて」と指示することである。自分の過去記事を読ませる。口調を指定する。よく使う言い回しや避けたい表現を書く。まあ、最初の足場としては普通に有効だと思う。
ただ、文体をプロンプトに預けると、だいたい本人からズレていく。
初回はそれっぽくなる。語尾も寄るし、言い回しも寄る。なんなら本人より本人っぽい誇張表現まで出してくる。でも何本か続けていると、文章が少しずつ平均化していく。正しい。読みやすい。構成も整っている。なのに「これは自分の文章ではない」という違和感が残る。
今この文章を書いているプロセスも、その実験である。Hermes AgentがいるDiscordのブログ用チャンネルに「idea: 文体はプロンプトではなく、フィードバックループで守る」と投げたら、AIが論点、想定読者、この記事で扱う価値、構成案に分解した。悪くない。ではそれをもとにdraftを作ってみてくれ、ということで、この文章が出ている。つまり、この記事のテーマそのものを、記事制作のプロセスで試している。素振りですな。
そして実際、一回目のdraftを読むと、すぐにいくつか引っかかるところがあった。意味は通るが自分が使わない比喩。文脈に対して過剰な但し書き。上品すぎる評価語。一回限りのネタを定型句のように扱う締め方。読者向けに親切すぎて、自分の考えを残す文章ではなくなっている感じ。
どれも一つひとつは小さい。文章全体が破綻するほどではない。むしろ、普通に読む分には気づかれないかもしれない。ただ、その小さいズレが積み重なると、自分が書いたことにしてよい文章から離れていく。自分にとってブログは、読者に何かを教える場というより、考えていることの置き場なので、ここがズレると結構困る。
AIの出力に対して人間が違和感を拾い、言語化し、次の出力に戻す。この一連の流れが、ここで言うフィードバックループである。文体におけるHuman-in-the-Loopと言ってもよい。大げさな話ではなく、この小さな違和感を拾って戻すことによって、文章が少しずつ本人側に寄っていく。
文体は語尾ではない
文体というと、まず語尾や言い回しの話になりがちである。「ですます調なのか、である調なのか」「短文が多いのか」「比喩を使うのか」「カジュアルなのか」みたいな話。もちろんそれも文体の一部ではある。ただ、そこだけを真似ると、かなり気持ち悪い文章になる。
本人っぽい語尾で、本人が言わなそうなことを言う文章。これが一番きつい。
文体の中核は、たぶん判断基準の方にある。何を疑うか。どこで言い切るか。どこで留保するか。何を過剰主張として落とすか。どの比喩なら残し、どの一般論なら捨てるか。何を「うまいけど薄い」と感じるか。
たとえばAIに「文体を守る記事」を書かせると、ありがちな出力はこうなる。
AI時代において、自分らしい文体を保つことは非常に重要です。単にプロンプトを工夫するだけではなく、継続的なフィードバックによって文章の質を高めていく必要があります。
まあ正しい。正しいんだけど、これを読んで何をすればいいのかはあまり残らない。なぜそれが難しいのか、どこで破綻するのか、どう運用すれば保てるのかが見えない。きれいな一般論であり、別に自分が書かなくてもよい文章である。
自分の場合、こういう文章を見ると「綺麗だけどカスだな」と感じる。構成は正しい。主張も間違ってはいない。でも、運用に落ちていない。後から読み返したときに、自分が何を考えていたのかを辿れない。そういう文章は、自分の名前で出す文章としては弱い。
これは口調の問題ではなく、判断の問題である。
プロンプトは初期設定でしかない
プロンプトに「自分らしく」と書くことはできる。「率直に」「運用に落とす」「AIっぽい表現を避ける」「後から読み返して思考の経路を辿れる文章にする」みたいに書く。これはやった方が良い。
ただ、それは初期設定であって、保守運用ではない。
ソフトウェアでも、最初に設定ファイルを書いたからといって、システムが永遠に良い状態で動き続けるわけではない。ログを見る。異常値を見る。バグを直す。使われ方に合わせて設定を変える。運用して初めて品質が保たれる。
文章も同じで、プロンプトを書いた瞬間に文体が固定されるわけではない。出力を読み、違和感を拾い、戻す。この繰り返しがないと、AIはだんだん「それっぽい平均」に寄っていく。そして、その平均はだいたい優等生である。きれいで、正しくて、毒が薄い。毒が薄いというか、面影が薄い。
良い例だけでは足りない
文体を守るとき、良い文章を集めるのは大事である。自分の過去記事をコーパスにする。公開したい文体だけを集める。会議メモやAI下書きは混ぜない。これはかなり重要だと思っている。混ぜると、何を再現したいのかが濁る。
ただ、良い例だけでは足りない。必要なのは拒否例である。
「これはうまい。でも自分ではない」
「この言い回しは寄せすぎていてキモい」
「この結論は一般論で終わっている」
「この比喩は便利だけど、自分の経験から出ていない」
こういう負例がないと、文体の境界線が引けない。人間の編集でも同じで、何を採用するかだけでなく、何を落とすかに本人性が出る。
AIに文章を書かせるときも、ここをちゃんと残す必要がある。採用した文章だけを保存すると、見た目の近さは上がるかもしれない。でも拒否の履歴がないと、なぜそれを落としたのかが次に伝わらない。文体とは、採用の履歴であると同時に、拒否の履歴でもある。
自分のブログレーンではこうしている
最近は、この作り方をブログ制作の小さな型にしている。idea: と書けば、思いつきが記事の種として整理される。draft: と書けば、そこから本文の初稿が返ってくる。
裏側では、過去の公開記事をstyle-corpus、つまり文体を見るための参照文章として置き、omokageという文体リンターで近さを見る。さらにblog judgeで、記事として通るか、AIっぽくないかを見る。
ここで大事なのは、omokageのスコアを品質判定にしないことである。
文体が近いことと、記事として面白いことは別問題である。Similarityが高くても、中身がゴミなら落とす。逆にスコアがそこまで高くなくても、主張が強く、実体験があり、自分の考え方がちゃんと残っているなら残してよい。
これは、AI文章制作を「プロンプト芸」ではなく「編集システム」として扱うという話でもある。プロンプトを書く。出力する。文体リンターを見る。記事ジャッジで落とす。違和感を言語化する。必要ならコーパスや評価基準を更新する。もう一度書く。ここまでやって初めて、文体が守られる。
文体保守ループはHITLである
ここでいうHITLは、ざっくり言うとこういう流れになる。
まず生成する。最初から完璧を狙わず、AIに一回書かせる。次に人間が違和感を拾う。「なんか違う」を流さない。語尾が違うのか、主張が弱いのか、例が借り物なのか、結論がきれいすぎるのかを見る。
その差分を言語化する。「もっと自分っぽく」ではなく、「この段落は一般論で、自分の運用経験がない」「この結論には自分の思考が残っていない」と書く。そして、拒否例を残す。通らなかった文章も資産である。むしろ文体の境界線を作るのは、通らなかった文章の方かもしれない。
最後に、評価基準とコーパスを更新する。良い例を増やすだけでなく、何を落とすかの基準を育てる。これを回す。
HITLというと「人間が確認しています」という安全装置っぽい言葉として使われがちだが、文章に関しては確認だけだと弱い。人間の違和感が、次の生成条件や評価基準に戻っていくところまで含めてループである。人間が毎回同じ赤入れをしているなら、それはHITLというより、ただの手戻りである。
めちゃくちゃ地味である。プロンプト一発で文体が完成する、みたいな魔法感はない。でも、実務としてはこっちの方が信用できる。
違和感を握りつぶさない
文体を守るというのは、毎回少し怒ることに近いのかもしれない。というより、違和感を握りつぶさないことに近い。
もちろん本当にキレ散らかすという意味ではない。出力に対して「まあこれでいいか」と流さないということ。自分の文章ではないものを、自分の文章として通さないこと。
AIが出してくる文章は、放っておくとどんどん無難になる。誰も傷つけないし、だいたい正しい。でも、そのままでは後から読み返しても、何を考えていたのか辿れない。
プロンプトは大事。でも、プロンプトは文体の憲法ではない。最初の設定であり、仮説であり、たたき台である。文体を守るのは、その後のループである。読み、違和感を拾い、落とし、直し、また書かせる。採用と拒否の履歴を積む。
AIに文章を書かせるというのは、文体を外注することではない。自分が何を良いとし、何をゴミとして落とすのか。その判断基準を、毎回少しずつ外部化していくことである。
なので、プロンプトだけでは足りない。人間が違和感を拾い、戻し、次の出力を変える。そのループが回っている限り、AIに書かせた文章でも、自分の考えとして残せる可能性がある。
Similarityは79。「こんな言い方はしねえな」っていうのはないかな。これに書いてある通り、Hermes Agentの中で校正する作業をやっていくと割と良い感じになりつつある。もうちょい練度は高めたい。こうやってどんどん下書きが溜まっていく。
まあそこまでしてAIに文章を書かせたいかというと全然そんなことはなくて、ある種の競技をやっているのに近い感覚である。
どちらか言えばダラダラと喋ったのをそれっぽい文章にしてくれるほうがよっぽど実用性はあるな。
id:kawangoさんが骨折して入院したときのブログを思い出して読み返した。いつかはプロのサッカー選手になりたいという子供の頃からの夢を、とうとう完全に諦める時が来た、という話。まあ俺は別にいま何かスポーツやってるわけじゃないから実害は無だが、選ぶということは他の選択肢を捨てるというやつである。
id:magnoliak
