- Mavericks AI ニュース
- Posts
- Runwayが動画のアスペクト比を自然に変換できる驚異的な機能を公開!NoLang×NotebookLMで、情報整理から動画生成まで一気通貫で行う方法など
Runwayが動画のアスペクト比を自然に変換できる驚異的な機能を公開!NoLang×NotebookLMで、情報整理から動画生成まで一気通貫で行う方法など
NoLang運営チームよりお届けしている、Mavericks AIニュースをご覧いただきありがとうございます!
今回は、インパクトの大きかったAIニュースや注目ツールの紹介に加えて、🐬NoLangとNotebookLMを活用して、情報整理から動画生成まで一気通貫で行う方法について解説します!特にNoLang×NotebookLMの活用法は非常におすすめですので、是非ご覧ください!
📚 目次
1. 直近のビッグニュースTop 3
① Runwayが動画のアスペクト比を自然に変換できる画期的機能をリリース
② Anthropicが発表した、LLMを外部ツールと連携させるための新しい仕組み「MCP」では何ができる?
③ MCPの更なる詳細と注目すべき理由について徹底解説!
1. 直近のビッグニュースTop 3
① Runwayが動画のアスペクト比を自然に変換できる画期的機能をリリース
Runway社が動画のアスペクト比を自然に変換できる新機能「Expand Video」をリリースしました。例えば人物の上半身のみが映った動画から全身が映る縦型動画を生成したり、元の動画には存在しない要素を加えて、新しいストーリーの動画を作り出したりすることが可能です。公式Xで公開されているデモ動画は、AIによる変換とは思えないほど自然な仕上がりとなっています!
Introducing, Expand Video.
This new feature allows you to transform videos into new aspect ratios by generating new areas around your input video. Expand Video has begun gradually rolling out and will soon be available to everyone.
See below for more examples and results.… x.com/i/web/status/1…
— Runway (@runwayml)
9:36 PM • Nov 22, 2024
このような「Outpainting」と呼ばれる技術は、Midjourney、Fluxなど主要な画像生成AIでは既に実装されている機能ですが、動画生成AIの分野では今回が初めての本格的な実装となります。モバイル向けコンテンツをPC向けに変換すること、あるいはその逆の変換を行うことがここまで自然かつ簡単にできるのは、非常に革新的と言えます。
Runwayはここ2ヶ月で「Advanced Camera Motion」、「Act-One」など革新的な機能を怒涛のペースでリリースしていますが、先週はさらに、画像生成AI「Frames」を発表しました。生成品質の高さはもちろん、多様な画像スタイルを制御性高く表現できることが強調されており、「日本のレトロアニメ」「35mmフィルム写真」といった、これまでの画像生成AIではカバーできていなかったニッチなスタイルまでも、極めて的確に表現できていることが分かります。
Runwayの画像生成AI「Frames」によって生成された画像(Runway)
(上)「World 4027: Japanese Zine」
(下)「World 8421: Disposables」
公式発表では、各スタイルに「World 4027: Japanese Zine」のように固有の番号が割り当てられており、ユーザーは好みのスタイル番号を選択することで、意図した表現を的確に実現できる仕組みとなっているようです。Runwayが公開しているどの画像からも「AIっぽさ」が排除されており、画像生成AIの表現力がまた一つ大きな進化を遂げたと感じさせる発表でした。
💡 Runwayの「Expand Video」機能は順次ユーザーに公開されており、私の無料アカウントでも試すことができました(詳細は次のセクション参照)。「Frames」機能もユーザーに順次公開とされていますが、使用不可能でした。
② Anthropicが発表した、LLMを外部ツールと連携させるための新しい仕組み「MCP」では何ができる?
Anthropicが新たに発表した「MCP(Model Context Protocol)」は、AIモデルを外部のデータやツール、APIと連携させるための標準規格です。
これにより、Claudeに自然言語で指示してローカルPCのファイルを読み書きしたり、Slack、Brave Search、Google Mapといった外部ツールを使わせることが今までより遥かに簡単になりました。百聞は一見に如かずということで、是非以下のX投稿で実際の使用例をご覧ください。
これ革命的なんじゃないの!?
ついにClaudeからPC内操作が実現。MCP(Model Context Protocol)の仕組みを使ってBraveでWeb検索 → その結果を任意のフォルダ内に「天気.txt」として保存。更にそのテキストファイル内に追記も可能。※自分で検証した結果です。難易度高すぎて動画にするか悩む。— KEITO💻AIディレクター (@keitowebai)
3:41 AM • Nov 30, 2024
上記は基本的な使用例でしたが、SNS上では既にユーザーによって、将来性を感じさせる興味深いユースケースがいくつも紹介されています。
MCPと似た機能としてGPTやGeminiで使用可能な「Function Calling」を想起した方もいるのではないでしょうか。この機能では、APIを用いたLLMと外部ツールの連携を自由に実装できます。しかしAIモデルごとに仕様が異なる上、実装コストが非常に高いことから、使いづらいのが現状です。
一方でMCPは、このような問題をうまく解決しています:
(1) 仕様がOSSで公開されているため、他のユーザーが作成したツール連携用のプログラム(MCPサーバー)を簡単に利用できる
(2) 既にSlack、Gitといった有名ツールに対応したMCPサーバーが公開されており、すぐに使い始めることができる。さらにDBやローカルフォルダとの連携も可能
(3) AIモデルに依存しない仕様になっている
次のセクションでは、これらについてさらに詳しく解説していきます。
† 私のClaude Desktop環境では、PDFデータの読み取りが行えず再現できませんでしたが、txtファイルに変換すれば同様の結果が得られたため、将来的なユースケースを考える上で参考になると判断し、掲載しています。
③ MCPの更なる詳細と注目すべき理由について徹底解説!
MCPは「Function Calling」のような柔軟性を持ちつつも、比較的簡単に導入できる点が魅力です。例えばSlackとの連携を例に取ると、MCPサーバーと呼ばれる連携用のプログラムが既に公式によって公開されているため、APIトークンを用意しClaudeのデスクトップアプリに以下のようなJSONファイルを配置するだけで、LLMにSlackの操作を任せることが可能になります。
Claude DesktopをSlackと接続するために必要なJSONファイル。事前にSlackでAPIトークンやチームIDを取得して埋める必要がある。(GitHub)
既にSlack、Git、Brave Searchといった主要なツールとの連携用MCPサーバーがGitHubレポジトリで公開されているほか、データベースやローカルフォルダとの連携も実現されています。さらに仕様がオープンソースとして公開されていることから、開発者は独自のMCPサーバーを構築・共有することが可能です。実際、発表からわずか1週間で有志によるMCPサーバーが多数公開されており、開発者コミュニティの期待の高さが窺えます。
そして最も注目すべきは、MCPはAIモデルに依存しない「標準規格」として設計されている点です。例えばOllamaやLM Studioといったローカルで動作するLLMソフトウェアがMCPに対応すれば、既存のMCPサーバーを自分の好きなLLMで即座に利用できるようになります。Slackとの連携機能をLlamaでも即座に使えるようになるわけです。
ここ数ヶ月間のLLM業界でのトレンドは「AI エージェント」であり、先日Anthropic社より、Claude 3.5 SonnetにPCを操作させられる「Computer Use」が発表されたばかりです(以前のニュースレター)。しかし、この機能の精度はまだ低く、さらにLLMの性能向上が鈍化していることも踏まえると、「AIに抽象的な指示を与えると、全てを遂行してくれる」という世界の実現はまだまだ先に思えます。
一方でその前段階として、「指示は具体的に出せるが、実現方法が分からない」といったケースにおいて、自然言語による指示だけでAIにタスクを遂行させられるようになるケースは、今後増えていくと考えられます。特に「アプリのプロトタイプ作成」や「データベースを利用したデータ分析」など、成果物が使い捨てでも良い場合により効果を発揮すると考えられます。そしてMCPの登場によってLLMと各種データ・ツールの連携が容易になったことは、このような現実的なAI活用のシナリオをより身近なものにしていくはずです。
💡 MCPは、Claudeのデスクトップアプリで試すことができます。詳しくは公式ガイドをご覧ください。
2. SNSで話題のAIツールをピックアップ!
Plus AI (https://www.plusdocs.com/jp)
GoogleスライドやPowerpointにアドオンとして追加して直接利用できる、スライド生成AIツール。既に100万ダウンロードを達成
ファイルをアップロードしたり、文章を入力してスライド生成でき、言語はもちろん、スライド枚数や用途(クライアント提案、ウェビナーなど)も指定できる
ミニマルなテンプレートも数多く用意されているので使いやすい
7日間の無料トライアルあり。ただし、主要な機能を利用するためには、Proプラン以上に一旦加入する必要がある点に注意
Runway (https://runwayml.com/)
最も有名な動画生成AIツールのうちの一つ。ここ数ヶ月で新機能をいくつもリリースしており、2回目以降でも試す価値あり
先週新たに「Expand Video」機能が公開され、動画のアスペクト比を「横長→縦長」「縦長→横長」と変換可能に
「Expand Video」の他にも、先日話題になった「Act-One」など多くの機能を無料で試すことができる
3. 🐬NoLang×NotebookLMで、情報整理から動画生成まで一気通貫で行う方法を紹介!
今回は、NotebookLMとNoLangを組み合わせることで、情報整理から動画生成までを一気通貫で効率的に行う方法についてご紹介します!どなたにもおすすめできる非常に便利な方法ですので、是非最後までお読みください!
(0) はじめに:NotebookLMとは?
NotebookLMは、Googleが公式に提供する強力なAIツールであり、以下の2つを行えます:
・アップロードした文書やURLついてAIと対話しながら理解を深めていく
・理解した内容をメモとして保存する
そしてNotebookLMは、一度に複数の資料をアップロードできる上、YouTubeリンクにも対応しています。これはChatGPTやClaudeにない独自の強みであり、NoLangとの相性も抜群です!これより、NoLangと組み合わせて動画を作成する方法について説明していきます。
(1) NotebookLMに資料をアップロード
まずは、NotebookLMに動画の題材となる資料を片っ端からアップロードしていきます。NotebookLMはGoogleの公式AIツールで、PC内のドキュメントはもちろん、GoogleドキュメントやYouTube URLなどもアップロードすることができます。Xの投稿リンクを貼るのもおすすめです。
もしURLが無効になってしまった場合は、内容をコピーしてテキストとして貼り付けることもできます。
(2) 資料の要約を作成してもらい、全体像を把握
続いて、NotebookLMの要約機能を使って資料の全体像を把握します。「目次」「よくある質問」「学習ガイド」など、目的に応じて要約形式を選択可能です。ここでは「目次」を選択してみましょう。
すると以下のような要約が表示されます。ここで題材に関する概観を掴んでおきましょう。
(3) AIと対話しながら理解を深めていく
要約を確認したら、NotebookLMのチャット機能を使って資料の内容について質問していきましょう。複数の資料を横断的に参照してくれることが強みであり、例えばNoLangの活用事例について質問してみると、質の高い回答を得られていることが分かります!
(4) メモ機能を活用して自分の理解をまとめる
AIとの対話を通じて理解が深まってきたら、「メモを追加」を押してメモを作成し、重要なポイントを整理していきます。ここで作成したメモは、後でNoLangへの入力文として活用できます。
(5) あとはNoLangで動画生成!
最後に、整理したメモをNoLangに入力し、プロンプトなどの動画設定を行って動画生成すれば完成です!NotebookLMとNoLangを組み合わせることで、このように文献理解から動画生成までを効率良く行うことが可能です。非常におすすめな方法ですので、是非試してみてください!
解説は以上となります。以前のニュースレターにてNoLang2.0についての詳細な解説を行っているので、NoLangを使いこなしたい方は、是非こちらもご覧ください!
さいごに
最後までお読みいただきありがとうございました。
サービス改善のため、アンケートにご協力いただけると幸いです。「ワンクリック」で完了します。
一番ためになったのは? |
運営元の紹介
生成AI特化開発チームMavericksは、AI分野における深い知見と高度な技術力を活かし、多岐にわたるAIプロダクトの開発に取り組んでいます。これまでに、
どんなWebページでも3秒で解説動画に変換する「🐬NoLang」
ほしいAIがすぐに見つかる「👋sayhi2.ai (Say Hi to AI)」
生成AIアップスケーラー「🥩カクダイV1」
といったプロダクトをリリースしてまいりました。
またMavericksは、ニュースレターだけでなくXやInstagramにおいても、開発プロダクトに関する最新情報について積極的に発信しています。是非チェックしてみてください!
🐬NoLangとPerplexityを組み合わせれば、最新トレンドに関する解説動画も簡単に生成できます!
「ゆっくり解説」も「ショート動画」も、リサーチから生成まで一瞬で完了!
Perplexityのいいところは、引用文献も閲覧できること。怪しいな...と思ったらすぐに確認、修正まで可能です!
続く >> x.com/i/web/status/1…
— マーベリック|生成AI@NoLang (@sayhi2ai_jp)
6:08 AM • Jul 11, 2024