日本語の文章をAIに54種類書かせてほぼ全滅だったけれど

Rytr ライター
Rytr ライター

結果はボロボロで、はっきりいって評価基準以下…でも、ほぼ想定していたレベルです。これは決して負け惜しみではなく、『今、AIに日本語の自然な文章を書かせようとしたら、どれぐらいダメなのか』をチェックするためだったんですから。

ということで、AI GPT-3を使った、自動テキスト生成サービスRytr(ライター)のお試しに続いて、もう少し条件を具体的に設定してみて、多様な日本語の文章を生成してみました。

そもそも、私がライティングにAIツールを使ってみる目的としては、『日本語がどの程度書けるのか?仕事で使っても遜色ないレベルに近くならないか?そこまででなくても、使い方や注意点を工夫すれば、少しでも何かに使えないか?定型フォーマット化できることなら、半自動化できないか?』などを、ある程度見極めることです。ダメなところをばかりあれこれ叩くより、少しでもプラス評価できるところがあるなら、そこを伸ばしましょう。私自身も、そう扱われた方が幸せです <3

#Rytr(ライター)
AIで文章を自動生成できる期待のサービス!GPT-3がチューンナップして精度が上がったらしいので、また再挑戦予定です。
同種のサービスCatchyや、Lexとの比較も楽しみ ;)
https://rytr.me/?via=kotobato
[追記 2022/02/19] RytrはサービスのレビューサイトG2で今冬の「ベストビジネスソフトウェア賞」を受賞したようです。GPT-3が改良されたInstructGPTというのにとても興味がありますが、Rytrで、日本語で使える日は来るんでしょうかね。

また続報をお知らせするので、ご興味があれば、ぜひソーシャルネットワークをフォローしておいてください! 『試しに、こんな日本語書かせてみたらどうなる?』という大喜利のお題をもらっても嬉しいです :D
Rytr(ライター)のメインビューはシンプル
Rytr(ライター)のメインビューはシンプル

RytrでAIによる文章生成テストのための条件

今回は、Rytrに以下のようなゆるい条件を設定してみました。

  • 性格が違う6つのテーマで、それぞれ「文体(語調)」「用途」を変えた3つの設定で文章を生成してみる。
  • さらに、それぞれ3つのバリエーションを生成。つまり、一つのテーマで9種類の文章を作って比較する。
  • 設定する「キーワード」は、基本は同じワードを流用する。アルファベット(50 byte以下)で、生成する文章を日本語に設定。ただし、一部の「用途」ではタイトルや詳細を指定できるので、少しカスタマイズした場合もあり。
  • 今回は、追加の編集はせず、生成された文章そのままで比較してみる。
  • 後は、利用状況次第で。
利用状況をクレジット単位でチェック
利用状況をクレジット単位でチェック

Rytrのテスト結果と評価、考えられる次の方法

前回のテスト時に設定したテーマ、「会ったことがない人に、初めてリモート取材する時の注意点」よりも具体的なテーマを設定したつもりですが、残念ながら、その時ほどの成果が得られませんでした。

  • 本当なら、★の数でそれぞれ評価したかったところですが、まだそのレベルにはありませんでした。
  • テーマ云々はともかく、そもそも日本語の文章としての品質が低すぎる。特に、主語がやたら目立ちすぎ。
  • アルファベットから日本語のキーワードを拾ってくる時に、漢字を間違えている例あり。
  • 生成言語に「Japanese」を選ぶこと自体が、品質を下げているのではないか?
  • 品質に対するレポートやUIに関する提言などを、サポートに伝える(やっていきます!)。
生成履歴から、文章の品質に対して評価可能
生成履歴から、文章の品質に対して評価可能

Rytrで文章を生成する、次の目標

以上の条件を踏まえて、もうすでに次の設定を決めています!続報をお楽しみに 😉

  • 生成言語も「English」に設定し、「キーワード」は引き続きアルファベットを入力して、まずは英語として高品質な文章を生成してみる。
  • 「用途」を選んだ場合の詳細やタイトルなども、適切にカスタマイズしてきっちり入力する。
  • 生成された文章の段落を、適度に拡張したり、表現を言い換えてさらに精度を上げる。
  • できあがった文章をDeepLで日本語に翻訳し、文章としての品質向上を狙ってみる。
  • 剽窃チェッカーを通して、スコアを確認する。