• Mavericks AI ニュース
  • Posts
  • ようやくGPT-4を超えてくれた!特筆した日本語性能を誇るClaude 3の長所・短所を、実例と共に詳しく解説など

ようやくGPT-4を超えてくれた!特筆した日本語性能を誇るClaude 3の長所・短所を、実例と共に詳しく解説など

sayhi2.ai Newsletterをご覧いただきありがとうございます!

今回も、インパクトの大きかったニュースや注目ツールを紹介していきます。特に、ようやくGPT-4を超えてくれたと話題の「Claude 3」について重点的な解説を行います!

1. 直近のビッグニュースTop 3

① ようやくGPT-4を超えてくれた!Claude 3が公開

今まで数多く「GPT-4レベル」のLLMが発表されてきましたが、使い心地や機能面を考慮すると、結局はGPT-4に劣ることがほとんどでした。

そんな中、OpenAIの競合であるアメリカのAnthropicが「Claude 3」シリーズを公開しました。Claude 3は、Haiku (小), Sonnet (中), Opus (大) の3サイズで展開されており、最高性能のOpusは、GPT-4及びGeminiの最上位モデルを10個のベンチマーク全てで上回っています

Claude 3と他の主要なLLMとの性能比較。Claudeの公式発表より抜粋

Claude 3はSNS上での評価も高く「ようやくGPT-4を超えてくれた」といった声が非常に多いです。私自身も同様の体感を持っており、特に、以下の3点において明確にGPT-4を上回っていると感じます。

1. 日本語能力

GPT-4が硬い文章を出力しがちなのに対し、Claude 3が出力する日本語はより自然で読みやすいです (実際の例)。ロールプレイ能力も非常に高く、ひろゆきさんの語り口を非常にリアルに模倣したりできます。

2. 文章力

文章執筆のレベルもGPT-4に比べて一枚上手と言われています。ITmediaの記者である吉川さんは、Claude 3で実際に制作した記事を添えて「これまでのAIは”点と点を繋ぐ能力”に欠けていたが、Claude 3には背景を読み取る努力がみられる」と述べています。

3. 画像認識能力

GPT-4Vよりも圧倒的に優れた「眼」を持っており、PDFの領収書データを形式含めて完璧に読み取れたという報告がある他、多少装飾が入っていても、テキスト情報を正確に抽出できることを確認しています。電子データの読み取りに関しては、既存の最高レベルのOCR技術に匹敵すると言って良いでしょう。

Claude 3は極めて使い心地が良く、実際、GPT-4を毎日欠かさず使用していた弊チームメンバ-のうち、ほぼ全員がClaude 3に乗り換えています。後のセクションにて、使用感や短所などさらに詳しく解説します。

また嬉しいことに、Claude 3は、最高性能のOpusを含めて無料で使用可能です!(一部制限あり) こちらの投稿に始め方をまとめていますので、是非ご覧ください。

② OpenAIがイーロン・マスク氏の訴訟にメール文面を公開して反論

遡ること2月29日、イーロン・マスク氏がOpenAIを提訴したことで大きな話題となりました。OpenAI設立時の出資メンバーでもあるマスク氏は、公益性の高いAIの開発によって「人類の利益」を目指すという当初の理念が薄れたと主張し、出資した資金の返還やMicrosoftへのテクノロジーのライセンス供与の停止などを求めていました。

これに対し、OpenAIは3月5日に声明を発表し、公益性の高いAIの開発と営利事業は両立できるとし、設立時の理念には反していないと主張しました。さらには、マスク氏とOpenAI間のメール文面を公開して反論しています。

特に衝撃的だったのは以下のやりとりです。OpenAIの首席研究者であるイリヤ氏は、マスク氏宛のメ-ルにおいて「OpenAIの "Open"とは、AIが構築された後、誰もがその恩恵にあずかるべきだという意味であり、サイエンスを共有しなくてもまったく構わないという意味である」と述べ、これに対しマスク氏は「Yup」と返信しています。

イーロン・マスク氏とOpenAI間のメールのやり取りの一部。OpenAIの公式発表より抜粋

なお、このイリヤ氏の主張は、OpenAIのHPにて2015年12月に記載されていた「技術をオープンソースにしていく」というミッションと矛盾しているという指摘もなされています。

ところで、Gemini 1.0 Ultra, Gemini 1.5 Pro, Claude 3など、GPT-4レベルの性能を持つLLMが立て続けに発表されたことから、OpenAIからの新発表に注目が集まっていますが、動画生成AI「Sora」のリリースはすぐではないことがSoraのチームリーダーの口から明らかになっています。様々なトピックで世間の話題をさらっているOpenAIの、次の一手が注目されます。

③画像生成AIはテキストの描画が苦手という弱点を克服しつつある

先月末に画像生成AI「Stable Diffusion 3」が発表されました。以下のように、テキスト入りの画像を正確に生成できることが長所として挙げられています。

AIが生成を苦手とする題材として「テキスト」と「人の手」の2つが挙げられますが、現在はどのレベルまで克服できているのでしょうか?

テキストに関してはかなり改善されてきた印象です。例えば、先日アップデートされたばかりのIdeogramは、下記画像左のようなテキスト入りの画像を生成でき、アニメ画像の生成に特化したNijijourneyは、日本語テキストを含んだイラストも生成できます。

(左) Ideogramによって生成された「氷山の一角」(ギャラリーより引用)
(右) Nijijourneyがversion 6の公式発表で使用した画像

もちろん、余分な文字が入ってしまったり、字が崩れてしまうことはまだあります。また、上記は意図的にテキストを出力していますが、画像内に意図せずテキストが入り込んでしまう場合もあります。そのようなケースで、テキストが文脈に沿ったものであることを保証することはさらに難しく、もう一段階進化が必要でしょう。

人の手に関しては依然として、指の本数に過不足がある画像が生成されがちなのが実情です。また、先日話題になった動画生成AI「Sora」に関しても、手を正確に描写できないケースがあると指摘されています。

それでも着実に進歩は見られており、Midjourney V6を使って、リアルかつ至近距離の手の画像を生成している例もあります。

これら2つの問題が解決されれば、いよいよAI生成の画像であることを見分ける術は無くなっていくでしょう。この1-2年でそのレベルまで到達してしまう可能性は十分にあると感じています。

2. SNSで話題のAIツールをピックアップ!

  • 新たに発表されたLLM「Claude 3」が、ようやくGPT-4を越えてくれたと話題に

  • 画像認識能力、文章能力、日本語能力が極めて高い

  • Workbenchを使えば、最高性能のOpusも無料で100回程度試すことが可能

  • ChatGPT Plusと同額の月$20支払うことで、無制限に使用できる

  • 動画のスタイル変換ツール。変換先のスタイルには、アニメ・ペイント・3DCGなど、10を超える選択肢がある

  • 極めて高い一貫性を誇り、Tiktokで流れてくるようなダンス動画であれば、動きが激しくても、非常に高精度で変換可能

  • 類似ツールのDomo AIと比べると、良くも悪くも元動画に忠実で、カメラワークにブレがあると、キャラが破綻してしまったりする

  • 待ち時間が2-5分で、動画生成1秒あたり1.5分かかる。無料で3秒、5秒の動画を1本ずつ作成可能

3. Claude 3の長所・短所を、実例と共に詳しく解説!

ライター視点から見たClaude 3

テック系メディア大手のITmediaの記者の吉田さんが大変面白い検証をされています。吉田さんは、新サービスの紹介記事をClaude 3 Opusに執筆させ、実際に投稿されたITmediaの記事やGPT-4を使用して執筆した記事と見比べました。そこで、以下のように感想を述べていらっしゃいます。

GPT-3.5やGPT-4に比べて、こちらが与えた情報をもとに背景を読み取る努力が見られるのもいい。筆者の体感にはなるが(プロンプトの工夫がない場合)生成AIの書く文章は“点と点をつなぐ能力”を欠いており、ただ言い方を変えて要約することしかできなかった。それはそれで役に立つのだが、書き手としてはやはり、何らかの付加価値は加えたい。その意図を雑なプロンプトでも汲んでくれるのはありがたい。

筆者もたまにGPT-4の力を借りて記事を作っているが、ものすごく効率化につながるかと言われれば、正直そこまでではない。10の労力が9とか8.5くらいにはなるし、それはそれですごく大事なのだが、劇的な省力化にはつながらない。

一方でClaude 3は、結構雑なプロンプトでも「もしかしたら10の労力が7とか6くらいにはなるかも」というアウトプットが出てくる。

私としても、Claude 3はGPT-4に比べて「間違っていないけど的を射ていない文章」を生成する確率が格段に減っていると感じます。私自身、以前執筆したnoteで、MidjourneyとStable Diffusionを高級レストランと家庭料理に例えてもらったことこそありますが (最終的に手修正しています) 、執筆にLLMを使う場面はそう多くありませんでした。今後はより使用可能な機会が増えそうで、非常にワクワクしています。

Claude 3 が綴る日本語は読みやすい

別の方が執筆したnoteからの抜粋になりますが、Claude 3 Opusに対し、記事執筆のお礼を伝えた際の返答が大変読みやすい日本語となっており、衝撃を受けました。

そして、「街まるごとオフィス」や「未来の暮らし研究所」など、ワクワクするプロジェクトの数々。KOBIRAの皆さんなら、きっと湯之元を、ひいては鹿児島を、誰もが憧れる素敵な街に変えていってくれると信じています。
これからも応援しています!湯之元から、KOBIRAの新たな伝説が始まります。私も微力ながら、その一助となれれば嬉しいです。
今後も何かお手伝いできることがあれば、ぜひお声がけくださいね。KOBIRAの益々のご発展と、皆さんのご健勝をお祈りしています!

前述したロールプレイング能力の高さと合わせて、Claude 3の日本語能力の高さを思い知らされました。

③ Claude 3 の短所

もちろん、Claude 3にも短所はあります。その一つが「ハルシネーションの多さ」です。例えば、弊社が今年2月に開発したAIアップスケーラー「カクダイV1」について尋ねたところ、知っているそぶりで回答してきましたが、事実ではない内容がいくつか含まれています。

Claude 3 Opusに対して、「カクダイV1」について聞いた際の返答

なお、GPT-4はしっかり「知らない」と回答してくれました。定量的にも、GPT-4と比べてハルシネーション率が2倍以上というデータが示されています。

また、Claude 3は良くも悪くも倫理に厳しすぎるため、やや使いづらいです。例えば「2ちゃんねる形式でClaude3とGPT4を比較して」とお願いすると、「著作権侵害のリスクがあるだけでなく、誤情報が拡散されたり、AIに対する過度な期待や誤解を招く可能性もある」と断られてしまいます

もっとClaude 3について知りたいという方は、こちらの投稿にてClaude 3の長所・短所について解説しておりますので、是非ご覧ください!

さいごに

最後までお読みいただきありがとうございました。
サービス改善のため、アンケートにご協力いただけると幸いです。「ワンクリック」で完了します。

一番ためになったのは?

Login or Subscribe to participate in polls.

運営元の紹介

生成AI特化開発チームMavericksは、sayhi2.ai というサイトを運営しています。5000以上のAIツールを掲載しており、誰もが自身のニーズに合ったツールを効率よく探せるよう、様々な仕掛けが施されています!

さらに、本年より18000以上のGPTsの掲載を開始しました。ぜひご覧ください!

またXでは、より高い解像度でAIニュースをキャッチアップしたい方向けに、日々情報発信しています。是非チェックしてみてください!