イラストの制作過程をタイムラプス動画で出力してくれる画期的技術が公開、NoLangの活用例4選を厳選してお届け!など

Newsletter from Mavericksをご覧いただきありがとうございます！

今回より、インパクトの大きかったAIニュースや注目ツールの紹介に加えて、NoLangの活用法解説、有益なカスタムプロンプト紹介、さらにはアップデート内容紹介を行っていく予定です。本日は「NoLangの活用例4選」を紹介しますので、是非最後までご覧ください！

① 動画に合わせて画像内の人物の顔をリアルタイムに動かせる画期的技術が公開！

Soraに迫る性能を持つ動画生成AI「Kling」の開発元として知られる「快手（Kuaishou）」の研究者らが、動画に合わせて画像内の人物の顔をリアルタイムに動かせる「LivePortrait」を公開しました。生成される動画の質は非常に高く、少なくとも顔周りの動きはAI生成とはすぐに判別できないレベルに到達しています。5秒で凄さを体感できますので、是非以下の投稿をご覧ください。

類似の技術として、動画内の顔を入れ替える技術があり、例えば下記の「rendernet」というツールが先週Xでも話題になりました。このような技術では、参照動画の顔を別の画像の顔で置き換えることはできますが、髪型や背景などは元の動画のままであり、生成動画の土台となるのはあくまで動画です。

他方LivePortraitでは、参照画像を動画を用いて動かすことから、生成動画の土台は画像になります。つまり、髪型、背景などに関しても、Midjourneyなどの画像生成AIで生成したものを使用できます。特に、顔出しなしで動画に出演したいというニーズを実現するのにピッタリな技術だと言えるでしょう。

さらに驚くべきことに、このLive Portraitは、動画内の人物の顔も制御することができます。以下の動画では、葉巻を吸う女性の表情のみが操作され、動画の他の部分はオリジナルのままです。特に動画後半では、画角が変わりながらも一貫して表情が操作できている点に注目です。

今回Klingを発表した快手は、TikTokのルーツとなった抖音（Douyin）と共に、中国におけるショート動画共有プラットフォームの2大巨頭として知られています。同社が提供している動画生成AI「Kling」は、RunwayのGen-3らと共に高い評価を得ています（生成動画8選）。Runway, Pikaといった動画生成AIの提供を主事業とするスタートアップとは異なる背景を持っているだけに、引き続き注目すべき企業となりそうです。

なおLive Portraitは、こちらのHuggingFace Spaceにて試すこともできます（ただしリアルタイムに動かすことはできず、動画をアップロードする方式になります）。

② イラストの制作過程をタイムラプス動画で出力してくれる画期的技術が公開

先週はもう一つ、画像・動画生成分野でおさえておくべき重要な発表がありました。イラストを入力すると、下描きから着彩までの作業工程をタイムラプス動画として出力する「Paints-UNDO」が公開されたのです。真っ白なキャンパスから始めて、筆を重ねて作品を完成させていく過程が再現されている以下の動画は、今まで私たちが見ていた生成AI動画とは一線を画しており、必見です。

この技術を公開したのは「ControlNet」を開発したことで知られるイリヤスフィール氏です。ControlNetは、人物の顔を固定できる「LoRA」と並ぶ、画像生成AI分野における革新的な技術で、画像生成時に、人物の姿勢や物体の輪郭などを別の画像で指定することができます（解説記事（アスキー））。

同氏は他にも、重ね合わせ可能な背景透明の画像を生成できる「LayerDiffusion」(以前のニュースレター）や照明を考慮して画像の背景を違和感なく合成できる「IC-Light」（以前のニュースレター）など画期的な技術をいくつも発明しており、間違いなく、画像生成AI分野において最も注目すべき人物のうちの一人と言えるでしょう。

Paints-UNDOはデモページに示されている通り、アニメキャラの顔画像以外にも、風景画や、油画など異なるスタイルの画像の制作過程も動画として出力できます。さらには発想を変えて、こちらのように植物の成長過程を再現したかのような動画も生成できます。

Paints-UNDOでは、ステップ0を白紙画像、ステップ1000を入力画像として、イラストを生成する過程を1000ステップに分解しており、途中のステップ数における画像も生成できます。入力画像から見て前段階における画像も生成できることから、この技術の命名の通り、Ctrl+zによる「戻る」操作を実現できているとも捉えられます。

この技術の応用先としてはどのようなものがあるのでしょうか？公式見解には、抽象度の高い例が多く挙げられていましたが、例えば「戻る」操作を実現するPaints-UNDOに加えて、「進む」操作を実現するPaints-REDOを開発した上でツール等に取り込み、AIを用いたイラスト制作をアシストするといった例が紹介されています。

もちろん生成される動画では、スケッチの完成を待たずして着彩を始めてしまうことがあるなど、実際の人間のワークフローを完全に模倣できているわけではありません。それでも新たな画像生成AIの可能性を見せてくれたことは確かでしょう。

③ Perplexityユーザー必見！「実際の活用事例27選」が公開

世界で70万人以上の購読者を持つLenny’s Newsletterにて、世界中のプロダクトマネージャーにインタビューして得られた、Perplexityの実際の活用事例27選が公開されています（元記事）。ここでは、この内容をより一般化して、ビジネス用途でPerplexityをどう使えばいいか考えていきます。

(0) はじめに：Perplexityの仕組み

Perplexityは検索エンジン（例: Google）による検索結果を要約した上で、参考文献付きで出力してくれます。回答の質が検索結果のwebページの質に依存するため、高品質なwebページが多く存在していそうな話題について聞くと良いです。下記で紹介する質問例は全て英語ですが、日本語でも使用可能です。

(1) ベンチマークを調べる

例えば「iPhoneの通知欄における平均開封率は？」といったようにその業界におけるベンチマークを知りたい時は、Perplexityが有用です。文献を参照しないChatGPTが心許ないのはもちろん、Google検索ではヒットしづらかったり、ヒットしても一つ一つの記事を見た上でまとめる作業が必要になります。一方で、Perplexityは要約結果を一発で出力してくれます。

(2) ベストプラクティスを知る

「プロダクトマネージャーにおすすめのブレインストーミングの方法一覧」などと、ベストプラクティスについて聞きたい場合も、Perplexityが有用です。もちろんChatGPTが良い回答をしてくれることも多いですが、Perplexityはweb記事を要約して回答してくれるため、実際のユースケースに基づいた回答が得られることが多いです。そしてやはり、Google検索と異なり要約結果を出力してくれる点が魅力的です。

また、下記のように検索結果の画像を添付してくれるため、図解も確認できるのが嬉しいポイントです。

(3) 会社について質問する

「Dropboxのリファラルプログラムがどうしてうまくいったか？」といったように特定の会社について聞く際も、文献を横断して要約結果を教えてくれるPerplexityが大活躍します。

また、Perplexityに対しては「中学生にも分かりやすく説明して」「具体例を交えて説明して」といった指示をすることができ、自分の知らない領域の会社について調べるときに、特におすすめです。

Perplexityの活用例についてもっと知りたい方は、是非元記事をご覧ください。

Anifusion (https://anifusion.ai/)

• 誰でも簡単に画像生成AIを駆使して漫画を制作できるツール

• 画像生成機能が非常に充実。プロンプトからの生成、ポーズを指定しての生成（ControlNet）、画像を参照しての生成（IP Adapter）が行える

• さらには、Inpainting機能を使って表情や目線を修正したり、LoRAを使ってキャラクターを固定することも可能

• 無料でも数十枚の画像を生成可能。月20ドル支払えば全機能が解放

ElevenLabs (https://elevenlabs.io/)

• 最も有名な音声AIツールのうちの一つ。今月新たにバックグラウンドノイズを除去し会話音を抽出する「Voice Isolator」機能が追加

• 公式投稿で紹介されている通り、強烈な風の音や機械音が混じっても、会話音声だけを非常にクリアに分離できている

• 現在はサインアップするだけで、無料で使用可能

• 他にも、テキスト読み上げ・音声クローニング・吹き替え・効果音生成といった機能が提供

NoLang 2.0をリリースした翌日、以下の投稿にてユーザーの皆様に投稿いただいた動画の中から、7つをピックアップして紹介させていただきました。

その後の6日間で、さらに多くの方から動画投稿があり、前回のX投稿では紹介しきれなかった独自のユースケースや制作手法を含む作品も多く見られました。今回は、それらの中から厳選した4つの動画をご紹介します。

① Midjourneyと組み合わせて高品質なリール動画を作成

AIのユースケースについてランキング形式で紹介している以下の縦型ショート動画では、「第x位: 〜」といった各順位紹介の冒頭にて毎回、Midjourneyで生成したキャラクターの画像が挿入されています。これにより、統一感とメリハリのある仕上がりになっています。

また、被写体が画面全体に写っている画像を使用することで、動画にインパクトが加わっています。ショート動画における画像の選択については、先週のニュースレターでも詳しく説明していますので、是非ご覧ください。

② 「ミルクボーイ」風の対話動画を生成

以下の動画では、2人のキャラクターがミルクボーイ風の漫才形式でPerplexityについて語っており、対話形式ならではの面白さが出ています。台本はClaudeで予め生成しているとのことです。

ChatGPTやClaudeは日本のお笑い芸人や有名人についてある程度知っているので、他の人物で試してみても面白いでしょう。

③ 説明資料に記載された表を添付して解説

自分で作成した説明資料やブログ記事の解説動画を「ゆっくり解説」形式あるいはショート動画形式で簡単に作成できるのがNoLangの魅力の一つです。

以下の動画では、17秒付近から約40秒間、Create .xyzとClaude Artifactsと呼ばれる2つのツールの比較表が添付されています。長時間画面に映し出されるため、表の内容にもしっかり目を通してもらえます。

この動画はハンズオン資料をもとに作成されているそうです。プレゼンを作成する過程で作った表をNoLangに添付して使い回すのは、非常に良い活用法だと感じます。

④ Notionと組み合わせてwebページ公開からショート動画作成まで

公式Xアカウントの投稿（こちら）でも紹介した通り、Notionで作成したメモをもとに、NoLangで簡単に動画を作成することができます。

さらに先日、Notionのwebページ公開機能が強化され、独自ドメインを設定できるなど、実用的な運用に必要な機能が揃ってきました。

こちらの例では、Perplexityでリサーチした内容をもとにNotionで記事を作成し、それをNotionでwebページとして公開しつつ、さらに宣伝用のショート動画をNoLangで作成しています。非常に実践的な、おすすめの活用法です。

なお、先週のニュースレターではNoLang2.0についての詳細な解説を行いました。NoLangを使いこなしたい方は、是非こちらもご覧ください！

最後までお読みいただきありがとうございました。
サービス改善のため、アンケートにご協力いただけると幸いです。「ワンクリック」で完了します。

生成AI特化開発チームMavericksは、AI分野における深い知見と高度な技術力を活かし、多岐にわたるAIプロダクトの開発に取り組んでいます。これまでに、

• どんなWebページでも3秒で解説動画に変換する「🐬NoLang」

• ほしいAIがすぐに見つかる「👋sayhi2.ai (Say Hi to AI)」

• 生成AIアップスケーラー「🥩カクダイV1」

といったプロダクトをリリースしてきました。

またMavericksは、ニュースレターだけでなくXにおいても、開発プロダクトに関する最新情報、AI分野の最新動向や知見を積極的に発信しています。

特に、NoLangを普段から使用している方、生成AIの動向をより前線でキャッチアップしたい方におすすめです。是非チェックしてみてください！