- Newsletter from Mavericks
- Posts
- イラストの制作過程をタイムラプス動画で出力してくれる画期的技術が公開、NoLangの活用例4選を厳選してお届け!など
イラストの制作過程をタイムラプス動画で出力してくれる画期的技術が公開、NoLangの活用例4選を厳選してお届け!など
![](https://media.beehiiv.com/cdn-cgi/image/fit=scale-down,format=auto,onerror=redirect,quality=80/uploads/asset/file/00676f7b-2a45-43f2-9309-498c050939ca/Newsletter_From_Mavericks_Thumbnails__14_.png?t=1721082315)
Newsletter from Mavericksをご覧いただきありがとうございます!
今回より、インパクトの大きかったAIニュースや注目ツールの紹介に加えて、NoLangの活用法解説、有益なカスタムプロンプト紹介、さらにはアップデート内容紹介を行っていく予定です。本日は「NoLangの活用例4選」を紹介しますので、是非最後までご覧ください!
📚 目次
1. 直近のビッグニュースTop 3
① 動画に合わせて画像内の人物の顔をリアルタイムに動かせる新技術が公開!
② イラストの制作過程をタイムラプス動画で出力してくれる画期的技術が公開
③ Perplexityユーザー必見!「実際の活用事例27選」が公開
2. SNSで話題のAIツールをピックアップ!
① Anifusion
② ElevenLabs
1. 直近のビッグニュースTop 3
① 動画に合わせて画像内の人物の顔をリアルタイムに動かせる画期的技術が公開!
Soraに迫る性能を持つ動画生成AI「Kling」の開発元として知られる「快手(Kuaishou)」の研究者らが、動画に合わせて画像内の人物の顔をリアルタイムに動かせる「LivePortrait」を公開しました。生成される動画の質は非常に高く、少なくとも顔周りの動きはAI生成とはすぐに判別できないレベルに到達しています。5秒で凄さを体感できますので、是非以下の投稿をご覧ください。
静止画の人物やキャラクターをほぼリアルタイムで動かすことができる「Live Portrait」、実際試してみたら想像以上だった。
— KAJI | 梶谷健人 / 著書「生成AI時代を勝ち抜く事業・組織のつくり方」 (@kajikent)
2:49 AM • Jul 11, 2024
類似の技術として、動画内の顔を入れ替える技術があり、例えば下記の「rendernet」というツールが先週Xでも話題になりました。このような技術では、参照動画の顔を別の画像の顔で置き換えることはできますが、髪型や背景などは元の動画のままであり、生成動画の土台となるのはあくまで動画です。
Always wanted to bring your AI character to life with fun videos? 🎬
Introducing Video FaceSwap! 🚀
Swap faces in any video and create amazing content with ease. Check out our latest feature now! #AI#VideoEditing#AIvideos
— rendernet (@rendernet_ai)
2:39 PM • Jul 11, 2024
他方LivePortraitでは、参照画像を動画を用いて動かすことから、生成動画の土台は画像になります。つまり、髪型、背景などに関しても、Midjourneyなどの画像生成AIで生成したものを使用できます。特に、顔出しなしで動画に出演したいというニーズを実現するのにピッタリな技術だと言えるでしょう。
さらに驚くべきことに、このLive Portraitは、動画内の人物の顔も制御することができます。以下の動画では、葉巻を吸う女性の表情のみが操作され、動画の他の部分はオリジナルのままです。特に動画後半では、画角が変わりながらも一貫して表情が操作できている点に注目です。
With LivePortrait you can just perform what you want the character on the screen to do. This clip is using cc0 footage from Pexels, but you can do this with all the AnimateDiff / Gen3 / Luma / Pika etc clips you've already made as well!
— Purz.xyz (@PurzBeats)
12:47 AM • Jul 14, 2024
今回Klingを発表した快手は、TikTokのルーツとなった抖音(Douyin)と共に、中国におけるショート動画共有プラットフォームの2大巨頭として知られています。同社が提供している動画生成AI「Kling」は、RunwayのGen-3らと共に高い評価を得ています(生成動画8選)。Runway, Pikaといった動画生成AIの提供を主事業とするスタートアップとは異なる背景を持っているだけに、引き続き注目すべき企業となりそうです。
なおLive Portraitは、こちらのHuggingFace Spaceにて試すこともできます(ただしリアルタイムに動かすことはできず、動画をアップロードする方式になります)。
② イラストの制作過程をタイムラプス動画で出力してくれる画期的技術が公開
先週はもう一つ、画像・動画生成分野でおさえておくべき重要な発表がありました。イラストを入力すると、下描きから着彩までの作業工程をタイムラプス動画として出力する「Paints-UNDO」が公開されたのです。真っ白なキャンパスから始めて、筆を重ねて作品を完成させていく過程が再現されている以下の動画は、今まで私たちが見ていた生成AI動画とは一線を画しており、必見です。
lllyasvielさんが「PaintsUndo」を発表。完成画像をインプットとして放り込むと、下描きから着彩までのステップを自動で生成、動画にしてアウトプット。Gitでプログラムも公開。「将来のAIシステムが人間のアーティストの実際のニーズをよりよく満たせることを目的」とか lllyasviel.github.io/pages/paints_u…
— 新清士@(生成AI)インディゲーム開発者 (@kiyoshi_shin)
6:01 AM • Jul 9, 2024
この技術を公開したのは「ControlNet」を開発したことで知られるイリヤスフィール氏です。ControlNetは、人物の顔を固定できる「LoRA」と並ぶ、画像生成AI分野における革新的な技術で、画像生成時に、人物の姿勢や物体の輪郭などを別の画像で指定することができます(解説記事(アスキー))。
同氏は他にも、重ね合わせ可能な背景透明の画像を生成できる「LayerDiffusion」(以前のニュースレター)や照明を考慮して画像の背景を違和感なく合成できる「IC-Light」(以前のニュースレター)など画期的な技術をいくつも発明しており、間違いなく、画像生成AI分野において最も注目すべき人物のうちの一人と言えるでしょう。
Paints-UNDOはデモページに示されている通り、アニメキャラの顔画像以外にも、風景画や、油画など異なるスタイルの画像の制作過程も動画として出力できます。さらには発想を変えて、こちらのように植物の成長過程を再現したかのような動画も生成できます。
Paints-UNDOでは、ステップ0を白紙画像、ステップ1000を入力画像として、イラストを生成する過程を1000ステップに分解しており、途中のステップ数における画像も生成できます。入力画像から見て前段階における画像も生成できることから、この技術の命名の通り、Ctrl+zによる「戻る」操作を実現できているとも捉えられます。
![](https://media.beehiiv.com/cdn-cgi/image/fit=scale-down,format=auto,onerror=redirect,quality=80/uploads/asset/file/4a772bf8-e73a-4b0e-b68e-69cd5be8b7f9/Screenshot_2024-07-15_at_5.38.49_PM.png?t=1721033103)
Paints-UNDOが出力した途中画像。右から左に見ていくと制作過程が辿れる
(デモページより抜粋)
この技術の応用先としてはどのようなものがあるのでしょうか?公式見解には、抽象度の高い例が多く挙げられていましたが、例えば「戻る」操作を実現するPaints-UNDOに加えて、「進む」操作を実現するPaints-REDOを開発した上でツール等に取り込み、AIを用いたイラスト制作をアシストするといった例が紹介されています。
もちろん生成される動画では、スケッチの完成を待たずして着彩を始めてしまうことがあるなど、実際の人間のワークフローを完全に模倣できているわけではありません。それでも新たな画像生成AIの可能性を見せてくれたことは確かでしょう。
③ Perplexityユーザー必見!「実際の活用事例27選」が公開
世界で70万人以上の購読者を持つLenny’s Newsletterにて、世界中のプロダクトマネージャーにインタビューして得られた、Perplexityの実際の活用事例27選が公開されています(元記事)。ここでは、この内容をより一般化して、ビジネス用途でPerplexityをどう使えばいいか考えていきます。
(0) はじめに:Perplexityの仕組み
Perplexityは検索エンジン(例: Google)による検索結果を要約した上で、参考文献付きで出力してくれます。回答の質が検索結果のwebページの質に依存するため、高品質なwebページが多く存在していそうな話題について聞くと良いです。下記で紹介する質問例は全て英語ですが、日本語でも使用可能です。
(1) ベンチマークを調べる
例えば「iPhoneの通知欄における平均開封率は?」といったようにその業界におけるベンチマークを知りたい時は、Perplexityが有用です。文献を参照しないChatGPTが心許ないのはもちろん、Google検索ではヒットしづらかったり、ヒットしても一つ一つの記事を見た上でまとめる作業が必要になります。一方で、Perplexityは要約結果を一発で出力してくれます。
![](https://media.beehiiv.com/cdn-cgi/image/fit=scale-down,format=auto,onerror=redirect,quality=80/uploads/asset/file/563f765c-bd45-41ac-bc4d-fec476b4c54c/Screenshot_2024-07-16_at_12.41.10_AM.png?t=1721058206)
Perplexityによる回答(Lenny’s Newsletterより抜粋)
回答の全内容を見たい方はこちら
(2) ベストプラクティスを知る
「プロダクトマネージャーにおすすめのブレインストーミングの方法一覧」などと、ベストプラクティスについて聞きたい場合も、Perplexityが有用です。もちろんChatGPTが良い回答をしてくれることも多いですが、Perplexityはweb記事を要約して回答してくれるため、実際のユースケースに基づいた回答が得られることが多いです。そしてやはり、Google検索と異なり要約結果を出力してくれる点が魅力的です。
また、下記のように検索結果の画像を添付してくれるため、図解も確認できるのが嬉しいポイントです。
![](https://media.beehiiv.com/cdn-cgi/image/fit=scale-down,format=auto,onerror=redirect,quality=80/uploads/asset/file/0b9bf53e-89b4-4ce3-a670-b1acea03b06f/best_practice.png?t=1721059161)
Perplexityによる回答(Lenny’s Newsletterより抜粋)
回答の全内容を見たい方はこちら
(3) 会社について質問する
「Dropboxのリファラルプログラムがどうしてうまくいったか?」といったように特定の会社について聞く際も、文献を横断して要約結果を教えてくれるPerplexityが大活躍します。
また、Perplexityに対しては「中学生にも分かりやすく説明して」「具体例を交えて説明して」といった指示をすることができ、自分の知らない領域の会社について調べるときに、特におすすめです。
![](https://media.beehiiv.com/cdn-cgi/image/fit=scale-down,format=auto,onerror=redirect,quality=80/uploads/asset/file/ba6a82ce-78b3-45c9-85a0-b93e1c64b1d5/Screenshot_2024-07-16_at_12.38.28_AM.png?t=1721057924)
Perplexityによる回答(Lenny’s Newsletterより抜粋)
回答の全内容を見たい方はこちら
Perplexityの活用例についてもっと知りたい方は、是非元記事をご覧ください。
2. SNSで話題のAIツールをピックアップ!
Anifusion (https://anifusion.ai/)
誰でも簡単に画像生成AIを駆使して漫画を制作できるツール
画像生成機能が非常に充実。プロンプトからの生成、ポーズを指定しての生成(ControlNet)、画像を参照しての生成(IP Adapter)が行える
さらには、Inpainting機能を使って表情や目線を修正したり、LoRAを使ってキャラクターを固定することも可能
無料でも数十枚の画像を生成可能。月20ドル支払えば全機能が解放
![](https://media.beehiiv.com/cdn-cgi/image/fit=scale-down,format=auto,onerror=redirect,quality=80/uploads/asset/file/74a86746-b89f-4a40-903d-f5fee333f4a6/Screenshot_2024-07-16_at_1.47.53_AM.png?t=1721062094)
ElevenLabs (https://elevenlabs.io/)
最も有名な音声AIツールのうちの一つ。今月新たにバックグラウンドノイズを除去し会話音を抽出する「Voice Isolator」機能が追加
公式投稿で紹介されている通り、強烈な風の音や機械音が混じっても、会話音声だけを非常にクリアに分離できている
現在はサインアップするだけで、無料で使用可能
他にも、テキスト読み上げ・音声クローニング・吹き替え・効果音生成といった機能が提供
![](https://media.beehiiv.com/cdn-cgi/image/fit=scale-down,format=auto,onerror=redirect,quality=80/uploads/asset/file/a835daa9-ec0e-4fe5-8a76-a8cdd621e083/Screenshot_2024-07-16_at_2.10.59_AM.png?t=1721116995)
3. NoLangの活用例4選を厳選してお届け!
NoLang 2.0をリリースした翌日、以下の投稿にてユーザーの皆様に投稿いただいた動画の中から、7つをピックアップして紹介させていただきました。
🐬NoLang2.0をリリースしてから1日、多方面から大きな反響をいただいております、ありがとうございます!!🙌
NoLangについて皆様にもっと知っていただきたく、投稿いただいた動画の中で、【特に素晴らしかった動画を厳選して7つ紹介】します!
ブックマーク必須です!🔖
x.com/i/web/status/1…— マーベリック|生成AI@NoLang (@sayhi2ai_jp)
4:31 AM • Jul 9, 2024
その後の6日間で、さらに多くの方から動画投稿があり、前回のX投稿では紹介しきれなかった独自のユースケースや制作手法を含む作品も多く見られました。今回は、それらの中から厳選した4つの動画をご紹介します。
① Midjourneyと組み合わせて高品質なリール動画を作成
AIのユースケースについてランキング形式で紹介している以下の縦型ショート動画では、「第x位: 〜」といった各順位紹介の冒頭にて毎回、Midjourneyで生成したキャラクターの画像が挿入されています。これにより、統一感とメリハリのある仕上がりになっています。
また、被写体が画面全体に写っている画像を使用することで、動画にインパクトが加わっています。ショート動画における画像の選択については、先週のニュースレターでも詳しく説明していますので、是非ご覧ください。
【リール動画を完全AIで作成】
Claude&Midjourney&NoLangでリール動画を作成✨・AI活用術20選の内容
・リール用テキスト
・シーンごとの画像作成用プロンプト
・画像作成→差し替え
・動画作成→スマホ用タテ動画に自分が出るやつ撮るの大変だから、合間に挟む用におすすめです👍
#NoLang— りこ|AI初心者さん応援サポーター🔰 (@sana_nft)
11:13 PM • Jul 14, 2024
② 「ミルクボーイ」風の対話動画を生成
以下の動画では、2人のキャラクターがミルクボーイ風の漫才形式でPerplexityについて語っており、対話形式ならではの面白さが出ています。台本はClaudeで予め生成しているとのことです。
ChatGPTやClaudeは日本のお笑い芸人や有名人についてある程度知っているので、他の人物で試してみても面白いでしょう。
【編集なし】#NoLang でミルクボーイ風対話動画を生成してくれました。
・情報検索: Perplexy
・NoLangのプロンプト生成: Claude
・動画生成: Nolangネタ作成含めて3分でミルクボーイ風対話動画ができた。。
— ola|AI解説・アート (@evJpXjdPYbcRcZn)
3:20 PM • Jul 14, 2024
③ 説明資料に記載された表を添付して解説
自分で作成した説明資料やブログ記事の解説動画を「ゆっくり解説」形式あるいはショート動画形式で簡単に作成できるのがNoLangの魅力の一つです。
以下の動画では、17秒付近から約40秒間、Create .xyzとClaude Artifactsと呼ばれる2つのツールの比較表が添付されています。長時間画面に映し出されるため、表の内容にもしっかり目を通してもらえます。
この動画はハンズオン資料をもとに作成されているそうです。プレゼンを作成する過程で作った表をNoLangに添付して使い回すのは、非常に良い活用法だと感じます。
ずんだもんと学ぶ、Create .xyzの概要とClaude Artifactsとの違い
#createxyz#NoLang動画生成: NoLang (no-lang.com)
VOICEVOX:ずんだもん
VOICEVOX:四国めたん— さとこよ/Satokoyo (@koyo_koyoy)
10:42 PM • Jul 11, 2024
④ Notionと組み合わせてwebページ公開からショート動画作成まで
公式Xアカウントの投稿(こちら)でも紹介した通り、Notionで作成したメモをもとに、NoLangで簡単に動画を作成することができます。
さらに先日、Notionのwebページ公開機能が強化され、独自ドメインを設定できるなど、実用的な運用に必要な機能が揃ってきました。
こちらの例では、Perplexityでリサーチした内容をもとにNotionで記事を作成し、それをNotionでwebページとして公開しつつ、さらに宣伝用のショート動画をNoLangで作成しています。非常に実践的な、おすすめの活用法です。
❶perplexityで記事作成
❷Notionでweb公開
❸NoLangでショート動画作成3分で出来ました。
ショート動画かなり楽
Notion記事
長年の腰痛から解放された方の回復物語
fixed-study-473.notion.site/d8ee54992f4d41…— 新盛淳司/鍼灸師・スポーツトレーナー(メディカル) (@irifuneshinmori)
5:58 AM • Jul 10, 2024
なお、先週のニュースレターではNoLang2.0についての詳細な解説を行いました。NoLangを使いこなしたい方は、是非こちらもご覧ください!
さいごに
最後までお読みいただきありがとうございました。
サービス改善のため、アンケートにご協力いただけると幸いです。「ワンクリック」で完了します。
一番ためになったのは? |
運営元の紹介
生成AI特化開発チームMavericksは、AI分野における深い知見と高度な技術力を活かし、多岐にわたるAIプロダクトの開発に取り組んでいます。これまでに、
どんなWebページでも3秒で解説動画に変換する「🐬NoLang」
ほしいAIがすぐに見つかる「👋sayhi2.ai (Say Hi to AI)」
生成AIアップスケーラー「🥩カクダイV1」
といったプロダクトをリリースしてきました。
またMavericksは、ニュースレターだけでなくXにおいても、開発プロダクトに関する最新情報、AI分野の最新動向や知見を積極的に発信しています。
特に、NoLangを普段から使用している方、生成AIの動向をより前線でキャッチアップしたい方におすすめです。是非チェックしてみてください!
🐬NoLangとPerplexityを組み合わせれば、最新トレンドに関する解説動画も簡単に生成できます!
「ゆっくり解説」も「ショート動画」も、リサーチから生成まで一瞬で完了!
Perplexityのいいところは、引用文献も閲覧できること。怪しいな...と思ったらすぐに確認、修正まで可能です!
続く >> x.com/i/web/status/1…
— マーベリック|生成AI@NoLang (@sayhi2ai_jp)
6:08 AM • Jul 11, 2024
AI分野に革命を与えた論文「Attention is All You Need」の著者を至る所で見かけるので、彼らの現在を気合い入れて調べてみましたが
8人中7人が新たに創業しており、Sakana AI, Character AI, Cohere (Command R+開発) などさすがすぎる面々でした...(残り1人もOpenAI研究者)
以下で全員見ていきます
— マーベリック|生成AI@NoLang (@sayhi2ai_jp)
9:40 AM • Apr 9, 2024