ログイン
ブログ記事
この記事を書いたメンバー
名前: 月川拓海
月川拓海の世界
動画、3Dモデル、モーションなどを生成できるAIについて調べてみました
投稿日時：2023/11/13(月) 22:43
テキストや1枚の画像から動画をつくったり、テキストや画像から3Dモデルを作ったり、テキストや動画からモーションを作ったりする最近のソフトについて調べてみました。
A. 動画を作るAI
1. テキストから動画を作るAI
Stable Diffusionでは、animateDiffやTemporal Kitという拡張機能をインストールして、1枚の画像からGIFアニメを作ることができます。
画像は美しいですが、GIFなので、動画としては滑らかではなく、カクカクしています。まだまだ発展途上のような気がします。Stable Diffusion のDeforum機能も同様です。
しかし、同じStable Diffusionでも、外から映像を取り込んで、ControlNetを複数使用する「Multi ControlNet」で制御してつくったアニメは、GIFではないので、動きが滑らかで素晴らしい出来栄えになっています。
2. 画像や動画から動画を作るAI
KaiBer AIは、画像や動画からAI動画を作成できますが、ストーリーのある長い動画生成には適しておらず、テキストだけでは動画はできません。無料版は30秒しか利用できず、Water Markが入ります。
Pikalabsもテキストや画像から動画を作るAIです。Pikalabsはハイレベルの動画が作れます。現在はβ版で、無料で利用できますが、将来的には有料版も提供される予定です。利用には、Discordへの登録が必要です。
「無料でテキストからAI動画生成ができる！ Labsの使い方」で詳しい使い方を解説して下さっています。
Runway Gen-2もテキストや動画から動画を作るAIです。こちらもハイレベルの動画が作れます。
無料版もありますが、有料のStandardアカウントを利用すると、月額15ドルまたは年額144ドル（前払いの場合）で、より高解像度のビデオの生成、Runwayの透かしなし、そして月間ビデオ制限の増加（625秒まで）などのプレミアム機能を利用することができます。
3. 用意されたアバターを選んでしゃべらせる動画を作るAI
これにはKreado AIやCanva Talking AIがあります。
これらでは、口パクできるキャラクターに文章をしゃべらせることが簡単にできるので、ユーチューバーが使うのには便利だなと思いました。しかし、動きが不自然で、複雑な動画はつくれそうにないように思いました。どちらも無料です。
B. テキストや画像から3Dモデルを作るAI
1. Luma AI は様々な角度から撮影した画像から3Dモデルを作成してくれるサービスで、Imagine 3Dという、文字を入力して3Dモデルを生成してくれるサービスも始めました。リアルなものが得意なようです。
2. 3Dモデル生成AI「CSM（Common Sense Machines）」は、テキストや画像から3Dモデルを作成できるサービスです。無料版では生成までに時間がかかり、メッシュの解像度は低いようですが、月20ドルとか60ドル払うと生成時間も早く、クオリティの高いものができるそうです。
3. マイクロソフトが発表した、写真や呪文だけで高品質な3Dアバターを生成するAI「Rodin」は、ロダンという名前からも分かるように、実写の人間並みの品質ですが、Stable Diffusionの美形キャラクター好きな日本人には好まれないようなタイプのキャラクターであるように感じました。
4. Kaedimは、2D画像からAI機能で自動的に3Dモデルを作成してくれるサービスです。裏で人がモデリングしていたり違法なモデルが使われている可能性がある上に、結構、お金もかかるので使いにくそうです。
しかし、いずれのAIやサービスも、Headshot 2のようにキャラクターにボーンを入れることまではしてくれないので、動画をつくるには、さらなる手間がかかります。
C. モーションを作るAI
1．テキストからモーションを作るAI
MoonValleyは、テキストからモーションを作るAIです。
GIFアニメのようにキャラクターや背景がユラユラ動くので発展途上だと思います。
2. 動画から3Dモデルやモーションを作るAI
DeepMotionのAnimate３Dは、動画から3Dモデルやモーションを作成することができます。MotionGPT ベータ版では、Generative AI の力を利用してテキストをアニメーションに変換します。無料でできるのは20秒までで商用不可です。
3. 動画から3Dモーションを作るAI
Plaskは、動画から3Dモーションを作成してくれるAIです。スマートフォンなどで動画を撮影すればそのまま利用することができるので、非常に簡単に試すことができます。精度はあまりよくなさそうで、後に修整は必要みたいです。無料でできるのは1日900クレジット（30秒）以内。Pro版は月に50ドルが必要です。
D. モーションキャプチャ等からモーションを作るAI
1. ReallusionのMotion LIVEは顔、手、体を同時にモーションキャプチャーします。作成したアニメーションを FBX または BVH としてエクスポートすることもできます。アップグレード価格が499ドルですが、現在半額セール中。体験版はこちらから。
2. Rokoko Visionは、ウェブカメラやスマートフォンでモーションキャプチャしてモーションを作ります。また、月20ドル出すと、２台のカメラキャプチャが可能になり、性能が上がります。
3. XR Animator- AI Mocap for VRM/MMDは、AIベース (MediaPipe) の全身モーションキャプチャで、画像、ビデオ、および Webカメラを入力としてサポートしています。
モーションキャプチャを記録し、VMD/BVHモーション フォーマットにエクスポートします。
これはBoothで無料配布されています。
BVHモーション フォーマットにエクスポートできるということなので、iCloneに持ってきて使えそうです。
以上のAIの中で試してみたいのは、自分でモーションを作れる無料のXR Animatorです。
月川は、11年ほど前（古い！）にiClone 5用のKinectモーションキャプチャーで、モーションを作って動画にしたことがあるのです（下の動画）が、ひどい結果でした。動画は、コメント欄でけなされながらも2万9千回も視聴されたので、反響があってよかったと言えばよかったです 😊😊😊
Reallusionには、プロの手による高品質のモーションが手ごろな値段で売られています。でも、普通に話したり歌ったりといった何気ないモーションは、オーバーに見えるものもあるので、最新のAIを駆使して自分でモーションを作ってみたい気もします。カッコよく動けないし、あんまりお金をかけたくないので、試すといっても片手間になりそうです。
➡ 後に試してみました。モーションキャプチャした動画からモーションを出力したかったのですが、使い方が簡単ではないし、使いにくいのでやめました。時間がある時にまた挑戦するかもしれません。
11年前に作ったモーションキャプチャー動画
A. 動画を作るAI
1. テキストから動画を作るAI
Stable Diffusionでは、animateDiffやTemporal Kitという拡張機能をインストールして、1枚の画像からGIFアニメを作ることができます。
画像は美しいですが、GIFなので、動画としては滑らかではなく、カクカクしています。まだまだ発展途上のような気がします。Stable Diffusion のDeforum機能も同様です。
しかし、同じStable Diffusionでも、外から映像を取り込んで、ControlNetを複数使用する「Multi ControlNet」で制御してつくったアニメは、GIFではないので、動きが滑らかで素晴らしい出来栄えになっています。
2. 画像や動画から動画を作るAI
KaiBer AIは、画像や動画からAI動画を作成できますが、ストーリーのある長い動画生成には適しておらず、テキストだけでは動画はできません。無料版は30秒しか利用できず、Water Markが入ります。
Pikalabsもテキストや画像から動画を作るAIです。Pikalabsはハイレベルの動画が作れます。現在はβ版で、無料で利用できますが、将来的には有料版も提供される予定です。利用には、Discordへの登録が必要です。
「無料でテキストからAI動画生成ができる！ Labsの使い方」で詳しい使い方を解説して下さっています。
Runway Gen-2もテキストや動画から動画を作るAIです。こちらもハイレベルの動画が作れます。
無料版もありますが、有料のStandardアカウントを利用すると、月額15ドルまたは年額144ドル（前払いの場合）で、より高解像度のビデオの生成、Runwayの透かしなし、そして月間ビデオ制限の増加（625秒まで）などのプレミアム機能を利用することができます。
3. 用意されたアバターを選んでしゃべらせる動画を作るAI
これにはKreado AIやCanva Talking AIがあります。
これらでは、口パクできるキャラクターに文章をしゃべらせることが簡単にできるので、ユーチューバーが使うのには便利だなと思いました。しかし、動きが不自然で、複雑な動画はつくれそうにないように思いました。どちらも無料です。
B. テキストや画像から3Dモデルを作るAI
1. Luma AI は様々な角度から撮影した画像から3Dモデルを作成してくれるサービスで、Imagine 3Dという、文字を入力して3Dモデルを生成してくれるサービスも始めました。リアルなものが得意なようです。
2. 3Dモデル生成AI「CSM（Common Sense Machines）」は、テキストや画像から3Dモデルを作成できるサービスです。無料版では生成までに時間がかかり、メッシュの解像度は低いようですが、月20ドルとか60ドル払うと生成時間も早く、クオリティの高いものができるそうです。
3. マイクロソフトが発表した、写真や呪文だけで高品質な3Dアバターを生成するAI「Rodin」は、ロダンという名前からも分かるように、実写の人間並みの品質ですが、Stable Diffusionの美形キャラクター好きな日本人には好まれないようなタイプのキャラクターであるように感じました。
4. Kaedimは、2D画像からAI機能で自動的に3Dモデルを作成してくれるサービスです。裏で人がモデリングしていたり違法なモデルが使われている可能性がある上に、結構、お金もかかるので使いにくそうです。
しかし、いずれのAIやサービスも、Headshot 2のようにキャラクターにボーンを入れることまではしてくれないので、動画をつくるには、さらなる手間がかかります。
C. モーションを作るAI
1．テキストからモーションを作るAI
MoonValleyは、テキストからモーションを作るAIです。
GIFアニメのようにキャラクターや背景がユラユラ動くので発展途上だと思います。
2. 動画から3Dモデルやモーションを作るAI
DeepMotionのAnimate３Dは、動画から3Dモデルやモーションを作成することができます。MotionGPT ベータ版では、Generative AI の力を利用してテキストをアニメーションに変換します。無料でできるのは20秒までで商用不可です。
3. 動画から3Dモーションを作るAI
Plaskは、動画から3Dモーションを作成してくれるAIです。スマートフォンなどで動画を撮影すればそのまま利用することができるので、非常に簡単に試すことができます。精度はあまりよくなさそうで、後に修整は必要みたいです。無料でできるのは1日900クレジット（30秒）以内。Pro版は月に50ドルが必要です。
D. モーションキャプチャ等からモーションを作るAI
1. ReallusionのMotion LIVEは顔、手、体を同時にモーションキャプチャーします。作成したアニメーションを FBX または BVH としてエクスポートすることもできます。アップグレード価格が499ドルですが、現在半額セール中。体験版はこちらから。
2. Rokoko Visionは、ウェブカメラやスマートフォンでモーションキャプチャしてモーションを作ります。また、月20ドル出すと、２台のカメラキャプチャが可能になり、性能が上がります。
3. XR Animator- AI Mocap for VRM/MMDは、AIベース (MediaPipe) の全身モーションキャプチャで、画像、ビデオ、および Webカメラを入力としてサポートしています。
モーションキャプチャを記録し、VMD/BVHモーション フォーマットにエクスポートします。
これはBoothで無料配布されています。
BVHモーション フォーマットにエクスポートできるということなので、iCloneに持ってきて使えそうです。
以上のAIの中で試してみたいのは、自分でモーションを作れる無料のXR Animatorです。
月川は、11年ほど前（古い！）にiClone 5用のKinectモーションキャプチャーで、モーションを作って動画にしたことがあるのです（下の動画）が、ひどい結果でした。動画は、コメント欄でけなされながらも2万9千回も視聴されたので、反響があってよかったと言えばよかったです 😊😊😊
Reallusionには、プロの手による高品質のモーションが手ごろな値段で売られています。でも、普通に話したり歌ったりといった何気ないモーションは、オーバーに見えるものもあるので、最新のAIを駆使して自分でモーションを作ってみたい気もします。カッコよく動けないし、あんまりお金をかけたくないので、試すといっても片手間になりそうです。
➡ 後に試してみました。モーションキャプチャした動画からモーションを出力したかったのですが、使い方が簡単ではないし、使いにくいのでやめました。時間がある時にまた挑戦するかもしれません。
11年前に作ったモーションキャプチャー動画
この記事は外部ブログを参照しています。すべて見るには下のリンクをクリックしてください。
記事タイトル：動画、3Dモデル、モーションなどを生成できるAIについて調べてみました
(ブログタイトル：月川拓海の世界)
アーカイブ
- 2024年4月（11）
- 2024年3月（6）
- 2024年2月（8）
- 2024年1月（11）
- 2023年12月（6）
- 2023年11月（8）
- 2023年10月（5）
- 2023年9月（7）
- 2023年8月（7）
- 2023年7月（6）
- 2023年6月（6）
- 2023年5月（2）
- 2023年4月（3）
- 2023年3月（5）
- 2023年2月（5）
- 2023年1月（6）
- 2022年12月（7）
- 2022年11月（5）
- 2022年10月（7）
- 2022年9月（8）
- 2022年8月（9）
- 2022年7月（7）
- 2022年6月（11）
- 2022年5月（5）
- 2022年4月（8）
- 2022年3月（6）
- 2022年2月（5）
- 2022年1月（6）
- 2021年12月（5）
- 2021年11月（8）
- 2021年10月（7）
- 2021年9月（6）
- 2021年8月（6）
- 2021年7月（9）
- 2021年6月（8）
- 2021年5月（15）
- 2021年4月（10）
- 2021年3月（5）
- 2021年2月（7）
- 2021年1月（10）
- 2020年12月（11）
- 2020年11月（10）
- 2020年10月（10）
- 2020年9月（8）
- 2020年8月（8）
- 2020年7月（5）
- 2020年6月（3）
- 2020年5月（9）
- 2020年4月（14）
- 2020年3月（18）
- 2020年2月（10）
- 2020年1月（10）
- 2019年12月（12）
- 2019年11月（24）
- 2019年10月（30）
- 2019年9月（29）
- 2019年8月（15）
- 2019年7月（8）
- 2019年6月（12）
- 2019年5月（7）
- 2019年4月（7）
- 2019年3月（4）
- 2019年2月（9）
- 2019年1月（7）
- 2018年12月（9）
- 2018年11月（12）
- 2018年10月（10）
- 2018年9月（7）
- 2018年8月（8）
- 2018年7月（12）
- 2018年6月（7）
- 2018年5月（9）
- 2018年4月（13）
- 2018年3月（17）
- 2018年2月（10）
- 2018年1月（19）
- 2017年12月（14）
- 2017年11月（18）
- 2017年10月（16）
- 2017年9月（18）
- 2017年8月（15）
- 2017年7月（20）
- 2017年6月（19）
- 2017年5月（22）
- 2017年4月（11）
- 2017年3月（9）
- 2017年2月（9）
- 2017年1月（8）
- 2016年12月（8）
- 2016年11月（6）
- 2016年10月（2）
