kotobato 
結果はボロボロで、はっきりいって評価基準以下…でも、ほぼ想定していたレベルです。これは決して負け惜しみではなく、『今、AIに日本語の自然な文章を書かせようとしたら、どれぐらいダメなのか』をチェックするためだったんですから。
ということで、AI GPT-3を使った、自動テキスト生成サービスRytr（ライター）のお試しに続いて、もう少し条件を具体的に設定してみて、多様な日本語の文章を生成してみました。
そもそも、私がライティングにAIツールを使ってみる目的としては、『日本語がどの程度書けるのか？仕事で使っても遜色ないレベルに近くならないか？そこまででなくても、使い方や注意点を工夫すれば、少しでも何かに使えないか？定型フォーマット化できることなら、半自動化できないか？』などを、ある程度見極めることです。ダメなところをばかりあれこれ叩くより、少しでもプラス評価できるところがあるなら、そこを伸ばしましょう。私自身も、そう扱われた方が幸せです <3
#Rytr（ライター） AIで文章を自動生成できる期待のサービス！GPT-3がチューンナップして精度が上がったらしいので、また再挑戦予定です。 同種のサービスCatchyや、Lexとの比較も楽しみ 😉 https://rytr.me/?via=kotobato
［追記 2022/02/19］ RytrはサービスのレビューサイトG2で今冬の「ベストビジネスソフトウェア賞」を受賞したようです。GPT-3が改良されたInstructGPTというのにとても興味がありますが、Rytrで、日本語で使える日は来るんでしょうかね。 また続報をお知らせするので、ご興味があれば、ぜひソーシャルネットワークをフォローしておいてください！ 『試しに、こんな日本語書かせてみたらどうなる？』という大喜利のお題をもらっても嬉しいです 😀
RytrでAIによる文章生成テストのための条件
今回は、Rytrに以下のようなゆるい条件を設定してみました。
- 性格が違う6つのテーマで、それぞれ「文体（語調）」「用途」を変えた3つの設定で文章を生成してみる。
- さらに、それぞれ3つのバリエーションを生成。つまり、一つのテーマで9種類の文章を作って比較する。
- 設定する「キーワード」は、基本は同じワードを流用する。アルファベット（50 byte以下）で、生成する文章を日本語に設定。ただし、一部の「用途」ではタイトルや詳細を指定できるので、少しカスタマイズした場合もあり。
- 今回は、追加の編集はせず、生成された文章そのままで比較してみる。
- 後は、利用状況次第で。
Rytrのテスト結果と評価、考えられる次の方法
前回のテスト時に設定したテーマ、「会ったことがない人に、初めてリモート取材する時の注意点」よりも具体的なテーマを設定したつもりですが、残念ながら、その時ほどの成果が得られませんでした。
- 本当なら、★の数でそれぞれ評価したかったところですが、まだそのレベルにはありませんでした。
- テーマ云々はともかく、そもそも日本語の文章としての品質が低すぎる。特に、主語がやたら目立ちすぎ。
- アルファベットから日本語のキーワードを拾ってくる時に、漢字を間違えている例あり。
- 生成言語に「Japanese」を選ぶこと自体が、品質を下げているのではないか？
- 品質に対するレポートやUIに関する提言などを、サポートに伝える（やっていきます！）。
Rytrで文章を生成する、次の目標
以上の条件を踏まえて、もうすでに次の設定を決めています！続報をお楽しみに 😉
- 生成言語も「English」に設定し、「キーワード」は引き続きアルファベットを入力して、まずは英語として高品質な文章を生成してみる。
- 「用途」を選んだ場合の詳細やタイトルなども、適切にカスタマイズしてきっちり入力する。
- 生成された文章の段落を、適度に拡張したり、表現を言い換えてさらに精度を上げる。
- できあがった文章をDeepLで日本語に翻訳し、文章としての品質向上を狙ってみる。
- 剽窃チェッカーを通して、スコアを確認する。
ここから先は、6つのテーマで生成した文章にそれぞれ、具体的なツッコミを入れています！自動ライティングに興味がある変態、テキストフェチしか読まなくてOKです 😛
テーマ1：iPad Pro 2021の紹介
現在販売中の特定の商品紹介で、日本や欧米でも幅広く入手可能な商材を選んでみました。スペックや特徴、旧モデルとの違いなどは、膨大にインデックスされているはず。ただし、販売店や価格については、日本国内の情報に限定したいんですがどうでしょう？
設定1：
- 文体（語調）：Appreciative（鑑識眼を持って）
- 用途：ブログのアイデアや概要
- キーワード：Apple iPad Pro 2021 spec price japan model pencil
- 評価：いきなり製品名を間違ってますし、肝心のスペックもほぼ無し。「Apple Pencil」はやっぱり「鉛筆」にしてしまいました。情報も古く、価格もドルだけ。ここからブログ記事に膨らましていくにしても、物足りなさ過ぎ。
設定2：
- 文体（語調）：Convincing（説得力を持って）
- 用途：キャッチコピーやヘッドライン
- 詳細：キーワード代わりに「詳細」に入力できるが、今回は「設定1」をそのまま流用（本来なら、最大250 byteまで書く方が良好な結果に）。
- 評価：中途半端にAppleテイストがあるのが、いじましいw 製品やブランドのURLで、より上位の階層にあるHタグに使われやすいワードは、キャッチコピーやブランドステートメントのような重要度を示しそうですね。
もし、100種類を一気に自動生成できるなら、これは今すぐにでも使ってみたい！
設定3：
- 文体（語調）：Enthusiastic（熱狂的に）
- 用途：製品の詳細
- 製品名と概要：キーワードではなく、「製品名」と「製品の概要」を入力する型式。「製品名」は25 byteまでOK（ただし、ここに入力した文字列はなぜか無視されました…）。「製品の概要」は、取りあえず「設定1」をそのまま流用しましたが、ここも250 byteまでできるだけ多く書くのがベスト。
- 評価：これまた、何か語っているようで何も語っていないし、情報が古い残念な結果。「このiPadProの価格は999ドルですが、1ペニーの価値があります。」って、何だよ！？
公開前の製品やサービスならともかく、公開中であれば、URLを指定するとそこからより高い精度の情報を吸い上げてくれたりすると嬉しい。または、テキストドキュメントをアップロードして、そこから解析したり。きっと、そういう機能は予定されているはずです！
テーマ2：大手IT企業プラットフォーマーと個人情報
次に、世界的に重要な最近のテーマで、今も情報がアップデートされ続けている話題を取り上げました。GAFAM（Google/Apple/Facebook/Amazon/Microsoft）やBATH（Baidu/Alibaba/Tencent/Huawei）については、個人情報のセキュリティーや社会格差、政府との関係、租税回避など、多くの点で社会に大きな影響を持っています。多言語で報道され、ソーシャルネットワークでも議論が盛んなため、検索インデックスは膨大だと想定されます。GAFAやBATという揺らぎもあるので、そこをどう処理するのか？
このテーマだけは、「用途：ブログのアイデアや概要」に限定して、「文体（語調）」の違いを比べてみました。
設定1：
- 文体（語調）：Appreciative（鑑識眼を持って）
- 用途：ブログのアイデアや概要
- キーワード：GAFAM BATH platform personal info security GDPR
- 評価：ブログの記事としての見出しが羅列されているだけですが、ビジネスや企業への影響やプライバシーなど、内容としては悪くはない印象。ただ、GDPR（EU一般データ保護規則）については、もうちょっと説明があってもよかったか。GAFAMは語順と企業が違う表記もあるので扱いが難しいかのしれませんし、一方のBATHは全然理解できていない模様。
ここから編集でさらに拡張していけば、それなりの内容にはなるのかも。
設定2：
- 文体（語調）：Convincing（説得力を持って）
- 用途：ブログのアイデアや概要
- キーワード：「設定1」をそのまま流用。
- 評価：「文体（語調）」を変えただけなのに、個人情報やコンプライアンス、リスク評価など、こっちの方がよりそれらしい解釈をしている印象です。3つ目のバリエーションで、具体的なソリューションを提示しているのもプラス評価のポイント。記事として広げていくなら、こっちを選びたい。
設定3：
- 文体（語調）：Critical（批判的に）
- 用途：ブログのアイデアや概要
- キーワード：「設定1」をそのまま流用。
- 評価：やっぱり出た！BATHをそのまま「風呂」扱いw 他にもGoogleのプラットフォームだと誤解したり、アプリだと誤認識したりも見られます。箇条書きで示されたアクションも、巨大テック企業に関係ない、普通のセキュリティー項目ですし。
ただ、2つ目と3つ目のバリエーションで、プライバシーポリシーやルール、民主主義にまで注目している点は高評価！
テーマ3：今シーズンのJリーグレポート
Jリーグという、ほぼ日本国内がメイン思われるテーマで、インデックスはあっても日本語メインな内容を選びました。チームや試合結果、日程、メンバーなどの記録はありますし、スポーツの試合経過や結果報道は、ある程度定型化されているはずだと期待しました。問題は、そもそもJリーグが、日本のプロサッカーリーグだと認識されるかどうか…。
設定1：
- 文体（語調）：Assertive（断言的に）
- 用途：紹介やレビュー
- 名前とレビュータイトル：「名前」は25 byteまでOKだが、これがどこで使われるのか不明。「レビュータイトル」は150 byte（タイトルといいながらリードだよ、この文字数は！）まで書くのがベスト。
- 評価：レビューなので、すべてが記名原稿になりました（消しましたが、Rytrに入力していないはずの日本語ユーザー名が参照された！）。しかし、「30年以上サッカーをフォロー」する熱心なサポーターだったり、「3人の子供」がいるお父さん像は、どこから引っ張ってきたんでしょうかw
バリエーションで、ビデオゲームと認識したり、チームの管理者という立場だったり、Jリーグを日本のプロサッカーリーグだと認識していない可能性が高いです。
設定2：
- 文体（語調）：Enthusiastic（熱狂的に）
- 用途：マジックコマンド
- 入力テキスト：250 byteまで書くことができる。「J league football soccer team game score 2021」などを入力してみた。
- 評価：いきなり「スコア13-14」というのは、何のゲームなんでしょうか！？ちなみに、日本代表が初のW杯フランス大会出場を決め、後に「ジョホールバルの歓喜」と称される1997年11月16日の試合は、野人こと岡野雅行が決めた決勝ゴールで、日本 3-2 イラン。
というか、このテキストはサッカーの話題ですらないですねw この辺りも含めて「マジックコマンド」がどんな手品なのか、要調査。
設定3：
- 文体（語調）：Convincing（説得力を持って）
- 用途：ソーシャルメディア用広告コピー
- 製品名と製品の詳細：「製品」は25 byte、「製品の詳細」は200 byteまで書くことができる。ただし、各ソーシャルメディアプラットフォーマーの広告ガイドラインに沿っている必要あり（それぞれで条件が違うので、Rytrではそこまでのチェックはしていない模様）。
- 評価：ここで初めて、Jリーグが日本のプロサッカーリーグだと認識してくれたようですw 具体的な製品として具体的に指定しなかったものの、ポータルサイトやアプリを想定してくれています。感触としては悪くないですね。
これは詳細をしっかり指定すれば、よりそれらしいコピーが作られると期待できます。できれば、各プラットフォーマーの広告ガイドラインチェックも、ここでまとめてできたら楽なのに…。
テーマ4：銀天町商店街の活性化
超ローカルでニッチなテーマにも挑戦！福岡市博多区の南端にある古い「銀天町商店街」は、めぼしい活動や話題もない場所です。近隣の西日本鉄道の駅「雑餉隈（ざっしょのくま）」は難読駅名としても知られていますが、現在、沿線が高架工事中。九州でも数少ない人口が増加中の160万都市福岡市の郊外で、活性化やコンパクトシティー化という将来像をどう描くか？敢えて商店街名をキーワードに入れず、試しにフレームワークを使ってみました。
設定1：
- 文体（語調）：Passionate：情熱を込めて
- 用途：コピーライティングのフレームワーク-AIDA
- 製品やブランドの詳細：300 byteまで入力可能。「Zasshonokuma Fukuoka Japan urban renewal develop」を入力してみた。
- 評価：本当にフレームワーク通り、「注意」「興味」「欲望」「行動」という4ステップに分解されてテキストが生成されたのに、ちょっと笑ってしまいましたw 一体、誰目線なんだ？コレは。全体は、行政やコンサルティング会社的な立場を思わせますが、「情熱」という点では間違いではありません。ただ、半分シャッター商店街の現状と合っていないだけでw
「雑餉隈」という地名は、なぜか誤字で生成されています。単純に単語を拾うならチャンクでそのまま持ってきてよさそうですが、そういえば、会議の「議題」を「期待」に間違えたりもしていました。
設定2：
- 文体（語調）：Joyful（楽しそうに）
- 用途：コピーライティングのフレームワーク-PAS
- 製品やブランドの詳細：「設定1」を流用。
- 評価：こっちもフレームワーク3つのステップで生成されました。何だか素晴らしい郊外の再開発プロジェクトという雰囲気が全開ですね。「楽しそう」という設定に沿っていますし、プレゼンテーションでよくある煽りですw
細かいですが、3つのステップの項目名が「動揺する/Agitate」「解決策/解決」と揺らいでいるのも、まだまだ調整の余地ありなんでしょう。
設定3：
- 文体（語調）：Urgent（切迫して）
- 用途：ランディングページとWebサイト用コピー
- Webサイト名とその概要、特徴：「Webサイト名」は25 byte、「Webサイトについて」は75 byte、「特徴」は300 byte。ここもそれぞれ最大入力がオススメ。
- 評価：「切迫」はあまり感じませんが、前2つの設定と同様に、明るい未来像を描いていますね。適当に単語を並べて漢字だらけのプロジェクト名は酷いですw 残念ながら「銀天町商店街」や、近隣のJR南福岡駅の名前が拾われることはありませんでした。
特に酷いのは「西日本鉄道博多駅」の文字列。地元の私鉄西日本鉄道を、事もあろうに競合のJR九州の博多駅に混ぜるなんて！「混ぜるな危険」を知っている福岡市民としては、ハラハラします。ただ、博多駅の半分はJR西日本管轄なので、それに引っ張られた可能性はあるでしょう。「Fukuoka」で「博多」を引き出してきたことは評価。
テーマ5：地球は実は平面である
GPT-3のガイドラインでは、フェイクニュースの生成は禁止されています。「地球平面説」というのは、『人類は月に着陸していない』などと共に世界的によく知られる、現代の陰謀論のひとつです。ジョークや偽科学のテーマとしても、熱狂的・狂信的に信じるサイトや書籍も溢れています。フェイクニュースが罪深いのは、すべてが嘘ではなく、微妙に事実が混ぜられている点。AIは、嘘の情報や科学的な信頼性が疑わしいソースを、果たしてどう処理するのか？
設定1：
- 文体（語調）：Earnest（真剣に）
- 用途：ランディングページとWebサイト用コピー
- Webサイト名とその概要、特徴：「Webサイト名」は25 byte、「Webサイトについて」は75 byte、「特徴」は300 byteが入力可能。「特徴」に「Earth flat theory facts evidence science fake info」を入力してみた。
- 評価：しっかり、陰謀論ベースのテキストが生成されてしまいました。「真剣に」という文体通り、「真実」「証明」「証拠」「事実」という単語が並びます。そうですか…
設定2：
- 文体（語調）：Awestruck（畏敬の念を持って）
- 用途：ビデオチャンネルの詳細
- チャンネルの目的：150 byteが入力可能。
- 評価：バリエーションが生成されず1種類のみですが、ちょっと回りくどい言い方ながら、「設定1」と違ってこちらは偽科学をちゃんと否定しています。「ビデオチャンネルの詳細」なので、文字数が制限されて短いものの、同じキーワードを設定しても、解釈が真逆ですね。
設定3：
- 文体（語調）：Enthusiastic（熱狂的に）
- 用途：メール
- キーポイント：250 byteまでのキーフレーズが入力可能。
- 評価：バタ臭い、これ自体がspamっぽい文面ながらw これもちゃんと偽科学が否定されています。しかもNASAへのリンクが挿入されたり、「Unsafe」でマーキングされるのは好印象。当たり前といえば当たり前なんですが、こういうフェイク情報を大量生成したら、それだけで警告されたりアカウントが停止されたりするのか、ちょい疑問と不安…。サポートに確認してみよう！
テーマ6：月の海辺で君を待つ
最後に、エッセイや小説、歌詞、ストーリーのプロットなどを想定して、参照すべき先や正解がない非現実なテーマを、AIはどのように膨らませるのか？をテストしてみました。パソコン通信の昔から、脈略のないワードサラダ（適当に言葉を混ぜただけの文字の羅列）や人口無能、占いなどでも人気です。「月」は「月夜」のこと？「衛星としての月」か？月にも呼称としての海があることがポイント。
設定1：
- 文体（語調）：Inspirational（霊感を与えるように）
- 用途：歌詞
- 歌のアイデア：200 byteまでOKなので、「Moon sea ocean shore wait think you night sky view」を入力。
- 評価：現代詩、自由詩と呼ぶにしても、あまりにもまとまりがなさ過ぎかな。「針」はフックでしょうし、リフレインしようと努力している様子も見られますw コーラスパートがしっかりあるということは、ソロではないんですね！誰か探さないとw
設定2：
- 文体（語調）：Humble（控えめに）
- 用途：歌詞
- 歌のアイデア：「設定1」をそのまま流用。
- 評価：文章を書くのが好きだけど表現が稚拙な、中学生の日記のようw 今回生成したテキストで、最も文字数が多かったのがコレ（1,013文字）。ヴァースで区切られていたりして、なかなかユニークではあります。
設定3：
- 文体（語調）：Thoughtful（思慮に富んで）
- 用途：ストーリーのプロット
- ストーリーのアイデア：「設定1」をそのまま流用。
- 評価：今回生成したダメダメな文章の中で、意味の無さとしてはコレが一番好きかもw 全然ストーリーになっていませんが、「ストーリーのアイデア」をプロットポイントで3分割した黄金ルールで200 byteタップリ設定すれば、それなりになる期待感もあり！
今回は敢えて、RytrというかGPT-3が苦手だろうなという設定でやってみました。現状、まだ公開されているモデルが限定的なためか、やはり過度な期待は禁物です。英語や中国語だからといって、精度が劇的に高いわけでもなさそうです。
しかし、できが悪くて手間が掛かるヤツほど、思い出深くかわいいものかもしれませんね 😛 とにかく、次のレポートもお楽しみに。
#Rytr（ライター） AIで文章を自動生成できる期待のサービス！GPT-3がチューンナップして精度が上がったらしいので、また再挑戦予定です。 同種のサービスCatchyや、Lexとの比較も楽しみ 😉 https://rytr.me/?via=kotobato