kotobato 
結果はボロボロで、はっきりいって評価基準以下…でも、ほぼ想定していたレベルです。これは決して負け惜しみではなく、『今、AIに日本語の自然な文章を書かせようとしたら、どれぐらいダメなのか』をチェックするためだったんですから。
ということで、AI GPT-3を使った、自動テキスト生成サービスRytr（ライター）のお試しに続いて、もう少し条件を具体的に設定してみて、多様な日本語の文章を生成してみました。
そもそも、私がライティングにAIツールを使ってみる目的としては、『日本語がどの程度書けるのか？仕事で使っても遜色ないレベルに近くならないか？そこまででなくても、使い方や注意点を工夫すれば、少しでも何かに使えないか？定型フォーマット化できることなら、半自動化できないか？』などを、ある程度見極めることです。ダメなところをばかりあれこれ叩くより、少しでもプラス評価できるところがあるなら、そこを伸ばしましょう。私自身も、そう扱われた方が幸せです <3
#Rytr（ライター） AIで文章を自動生成できる期待のサービス！GPT-3がチューンナップして精度が上がったらしいので、また再挑戦予定です。 同種のサービスCatchyや、Lexとの比較も楽しみ ;) https://rytr.me/?via=kotobato
［追記 2022/02/19］ RytrはサービスのレビューサイトG2で今冬の「ベストビジネスソフトウェア賞」を受賞したようです。GPT-3が改良されたInstructGPTというのにとても興味がありますが、Rytrで、日本語で使える日は来るんでしょうかね。 また続報をお知らせするので、ご興味があれば、ぜひソーシャルネットワークをフォローしておいてください！ 『試しに、こんな日本語書かせてみたらどうなる？』という大喜利のお題をもらっても嬉しいです :D
RytrでAIによる文章生成テストのための条件
今回は、Rytrに以下のようなゆるい条件を設定してみました。
- 性格が違う6つのテーマで、それぞれ「文体（語調）」「用途」を変えた3つの設定で文章を生成してみる。
- さらに、それぞれ3つのバリエーションを生成。つまり、一つのテーマで9種類の文章を作って比較する。
- 設定する「キーワード」は、基本は同じワードを流用する。アルファベット（50 byte以下）で、生成する文章を日本語に設定。ただし、一部の「用途」ではタイトルや詳細を指定できるので、少しカスタマイズした場合もあり。
- 今回は、追加の編集はせず、生成された文章そのままで比較してみる。
- 後は、利用状況次第で。
Rytrのテスト結果と評価、考えられる次の方法
前回のテスト時に設定したテーマ、「会ったことがない人に、初めてリモート取材する時の注意点」よりも具体的なテーマを設定したつもりですが、残念ながら、その時ほどの成果が得られませんでした。
- 本当なら、★の数でそれぞれ評価したかったところですが、まだそのレベルにはありませんでした。
- テーマ云々はともかく、そもそも日本語の文章としての品質が低すぎる。特に、主語がやたら目立ちすぎ。
- アルファベットから日本語のキーワードを拾ってくる時に、漢字を間違えている例あり。
- 生成言語に「Japanese」を選ぶこと自体が、品質を下げているのではないか？
- 品質に対するレポートやUIに関する提言などを、サポートに伝える（やっていきます！）。
Rytrで文章を生成する、次の目標
以上の条件を踏まえて、もうすでに次の設定を決めています！続報をお楽しみに 😉
- 生成言語も「English」に設定し、「キーワード」は引き続きアルファベットを入力して、まずは英語として高品質な文章を生成してみる。
- 「用途」を選んだ場合の詳細やタイトルなども、適切にカスタマイズしてきっちり入力する。
- 生成された文章の段落を、適度に拡張したり、表現を言い換えてさらに精度を上げる。
- できあがった文章をDeepLで日本語に翻訳し、文章としての品質向上を狙ってみる。
- 剽窃チェッカーを通して、スコアを確認する。