AdobeのAI機能の進化が止まらない!不要物の削除から3D生成AIを活用した新機能まで、NoLangでトレンド情報をもとに解説動画を作成する際のおすすめの方法など

NoLang運営チームよりお届けしている、Newsletter from Mavericksをご覧いただきありがとうございます！

今回は、インパクトの大きかったAIニュースや注目ツールの紹介に加えて、🐬NoLangでトレンド情報をもとに解説動画を作成する際におすすめの方法について解説します！

① AdobeのAI機能の進化が止まらない！不要物の削除から3D生成AIを活用した新機能まで

画像生成・動画生成AIの性能がどれだけ向上しても、それらを完成品へと仕上げるためには地道な事後処理が不可欠です。また、思い通りの画像・動画を作れるか？という点に関して生成AIはまだまだ未熟です。年次会議「Adobe Max 2024」で発表されたAdobe製品の新機能は、これら2つの問題の解決に繋がる画期的なものでした。

例えばPhotoshopに搭載された「不要な物を検出」機能では、写真に映る人物や電線・ケーブルをワンクリックで簡単に削除でき、削除後の破綻も一切ありません。以下の動画をよくよく見るとわずかに改変がなされていることが分かりますが、削除後の画像には破綻が見られず、そちらに重きが置かれた結果だと言えるでしょう。

さらに、開発中の技術をプレビューする「Sneaks」では、今後Adobe製品に搭載される可能性のある革新的な機能がいくつも紹介されました。まず、「ProjectTurnTable」機能では、2Dのベクターイラストから3Dモデルを生成し、自由に回転させることができます。素材サイトから取ってきた勇者と恐竜のイラストから両者が戦うイラストを作成したい場合に、向いている方向が別々だったとしても、両者が対峙するように簡単に修正できてしまうわけです。

さらに「Project Scenic」では2段階のアプローチによって、極めて制御性高く画像を生成することが可能になっています。まず、「居心地の良いキャンプ場」「森を追加する」といった指示文によって3D空間にオブジェクト群を配置していきます。次に画角を設定して、その構図に沿った形でプロンプトから画像を生成できます。さらに便利なことに、画像生成の際には、「このテントをカラフルにして」といった追加指示まで与えられます。

これらの機能はいずれも、3D生成AIをベースにした機能となっています。3D生成AIは、画像・動画生成AIと比べると未熟であり世間からの注目も低いですが、その性能は着実に向上しています。今回の発表を受けて、各種ツールに3D生成AI技術が組み込まれていく未来がそう遠くないこと、そして改めてAdobeが生成AI開発の最前線に立っており、その地位が盤石であることを感じます。

② HeyGenがAIアバターとリアルタイムにビデオ会議できる新機能をリリース

前回のニュースレターでは、HeyGenが上半身を切り取った動画だけでなく、全身を映したあらゆるカメラアングルからのアバター動画を生成できるようになったことをお伝えしました。そして先週新たに、AIアバターとリアルタイムに会話でき、Zoomに参加してもらうことも可能な「Interactive Avatar」機能が公開されました。

かつてSFの世界のみで語られていた技術がついに現実のものになりつつあると言えます。是非、以下のAIと人間のZoomでの実際の対話動画をご覧ください。

特に注目すべきは、AIアバターが自然に「話す」だけでなく、頷きを交えて「聞く」こともできている点、そしてそれらがリアルタイムに行えている点です。

HeyGenが新たに提供しているのはAIアバターの「身体」であり、発話内容に応じて口元を動かしたり、聞いている最中に頷いたりすることができます。一方でAIアバターの「脳」にはLLMが使用されており、例えばGPTによって応答内容・声のトーンが決定されることになります。先日OpenAIがリリースしたリアルタイムにGPTと音声会話できるAPIを用いれば、AIアバターの表現力はいよいよ人間レベルに近づいてくるでしょう。

しかし、このような体験が実用レベルになっていくにはまだ時間がかかりそうです。Interactive Avatar機能は現在HeyGenで無料で試すことができ、日本語での通話も可能であることから私も試してみましたが、そもそも会話にならないケースが多く、人型AIと自然な対話ができる将来を見据えた時に、「身体」ではなく「脳」の発達度合いが未熟だと感じました。

ChatGPTの登場以降、私たちは対話型のインターフェースでAIと頻繁にやりとりするようになってきましたが、結局のところほとんどが一問一答形式でのやり取りであり、現在のAIの能力は、自然かつ長い対話を実現するのに十分とは言えません。その要因の一つとして「聞く力」が弱いことが挙げられます（以前のニュースレター）。この問題に対処することが、今後AIが一層普及するための必須条件と言えるでしょう。

③ アニメキャラクターと現実世界を融合させたAI生成動画が話題に

動画生成AIの発展に伴い、発想力豊かなクリエイターによってAIによる新たな表現が次々と生まれてきています。先日SNSでは、国民的アニメであるナルトの主人公サスケが実世界で男性と握手をしながら、時折目線を合わせて会話する動画が話題となりました。アニメキャラクターがしっかりと現実世界に溶け込んでいる姿が印象的です。

また、こちらのリアル世界の男性がアニメ世界の女性キャラクターと抱擁し合う動画も大きな反響を呼びました。

この抱擁し合う動画は右上にロゴが残っている通り、Viduという中国発の動画生成AIによって生成されているようです。Viduには動画の最初のフレームを画像で指定するImage-to-Video機能があり、これに抱擁し合うよう命令するプロンプトを加えることで生成したと考えられます。最初のサスケが映った動画も類似の手法で生成されたことが作者により説明されています。

今年2月のOpenAIによるSoraの発表を皮切りに、この1年で動画生成AIは凄まじい進化を遂げました。Soraに迫る性能を持つ動画生成AIとして、少なくともRunway Gen-3 Alpha, Luma Dream Machine, Pika, Kling, Hailuo, Viduの6つがリリースされています。さらには先日、Adobeより「商業的に安全な初めての動画生成AIモデル」と謳った「Firefly Video Model」も発表されました（生成動画例）。

画像生成AIと比較して、動画生成AIには新たに「時間」という軸が加わっているため表現空間が広く、作りたい動画ごとに最適なモデルが変わり、一強になりづらいという側面があります。今後モデルが多様化していくことによって、クリエイターの表現幅が広がっていき、さらなる革新的な作品が生まれることが期待されます。

Hailuo (https://hailuoai.video/)

• Kling, Viduと並ぶあるいはそれらを超える性能を持つ、中国発の動画生成AI

• 動きがゆっくりになりがちな他の動画生成AIと異なり、人物・物体の動きが非常に速く滑らか。またアニメ絵を自然に動かすことが得意である点も特徴的

• 現在はベータ版であるため、無料で6秒間の動画を無制限に生成可能。待ち時間は最低2分間程度

Zerox (https://getomni.ai/ocr-demo)

• 精度が非常に高いと話題になった、OSSとしても公開されているVLMによるOCRツール。ただしいくつか注意点あり

• まず、webアプリ上で試せるのはすでに用意されている画像のみ。アップロードした画像は解析できない

• しかし実はOCRの仕組み自体は非常に単純で、こちらのプロンプトをVLMに与えているだけ。それゆえ、ChatGPT, Claude, Gemini等でも同水準の精度を簡単に実現可能

• 公開されているコードは並列処理に対応しているなど完成度が高く、アプリ開発に投入可能

今年7月に、公式XアカウントにてNoLangとPerplexityを組み合わせて最新トレンドに関する解説動画を作成する方法をご紹介しました。それから3ヶ月経った今、当時と比べて使えるツール・機能が充実しており、ベストなアプローチも変わってきています。今回は「Genspark」というAI検索ツールを用いた新たな方法をご紹介します！

(1) Gensparkとは？

GensparkはPerplexity同様、質問に対してweb検索結果を要約して回答してくれるAI検索エンジンで、無料で使用可能です。Gensparkはマルチエージェントを採用しており、回答生成までにいくつものLLM処理が実行されます。Google検索やPerplexityと比べて回答までの処理時間が長く、十秒以上かかることもしばしばですが、その分回答精度は高く、Perplexityの有料版よりも優れた回答をするケースも多いです。

Gensparkを使えば、「2024年10月21日以降にECサイトで行われるセール情報を予想・確定を明らかにして詳しくまとめて」といった複雑な質問に対しても、かなり筋の良い回答をしてくれます。参考文献のリンクも添付されることから、情報の真偽も後から確認可能です。

(2) GensparkとNoLangを活用して解説動画を作成する方法と注意点

Gensparkの回答をNoLangに入力することで、簡単にトレンド情報に関する動画を作成できますが、いくつか注意点があります。

まず、Gensparkには「Sparkpage」と呼ばれる、web検索結果を元に記事を作成してくれる機能があります。これは一見非常に便利そうですが、AIによる直接回答と比べると精度が下がるため、使わないことをおすすめします。またSparkpageの下書きが検索結果下部に示されますが、誤情報を含むことが少なくないため、Chrome拡張機能は使用せず、検索結果をコピーしてNoLangに入力した方が良いようです。

さらにGensparkは回答時間が長いため、待ち時間にPerplexityを同時に実行してしまうことをおすすめします。両者で取得されるwebページの内容が異なることも多いため、それらを組み合わせることで、より正確性の高い深みのある情報になります。

Gensparkの回答品質はこれまでのAI検索エンジンの中でも随一です。Perplexityだと思うような品質の動画が作れなかったという方も、是非再度試してみてください！

解説は以上となります。以前のニュースレターにてNoLang2.0についての詳細な解説を行っているので、NoLangを使いこなしたい方は、是非こちらもご覧ください！

最後までお読みいただきありがとうございました。
サービス改善のため、アンケートにご協力いただけると幸いです。「ワンクリック」で完了します。

生成AI特化開発チームMavericksは、AI分野における深い知見と高度な技術力を活かし、多岐にわたるAIプロダクトの開発に取り組んでいます。これまでに、

• どんなWebページでも3秒で解説動画に変換する「🐬NoLang」

• ほしいAIがすぐに見つかる「👋sayhi2.ai (Say Hi to AI)」

• 生成AIアップスケーラー「🥩カクダイV1」

といったプロダクトをリリースしてまいりました。

またMavericksは、ニュースレターだけでなくXにおいても、開発プロダクトに関する最新情報、AI分野の最新動向や知見を積極的に発信しています。

特に、NoLangを普段から使用している方、生成AIの動向をより前線でキャッチアップしたい方におすすめです。是非チェックしてみてください！