ログイン
ブログ個人
月川拓海の世界 2023/11
| <<前へ |
Headshot 2を使って「AIキャラクターを、動かせる3Dキャラクター」に変換する（18）
投稿日時：2023/11/28(火) 22:55
「Headshot 2を使ってArtbreederキャラクターを3D キャラクターに変換」というタイトルの動画を作ろうと思って、今までに変換したキャラクターを手直ししていました。
手を入れるほど、似なくなってしまうのが悲しいですね。
手直しは、キリがないので、この4体のキャラクターで動画を作ることにしました。
今日の絵は、Headshot 2を使ってArtbreederキャラクターを3D キャラクターに変換したものです。
上段はArtbreederキャラクターで、下段が3D キャラクターです。
Headshot 2を使ってArtbreederキャラクターを3D キャラクターに変換したもの
手を入れるほど、似なくなってしまうのが悲しいですね。
手直しは、キリがないので、この4体のキャラクターで動画を作ることにしました。
今日の絵は、Headshot 2を使ってArtbreederキャラクターを3D キャラクターに変換したものです。
上段はArtbreederキャラクターで、下段が3D キャラクターです。
Headshot 2を使ってArtbreederキャラクターを3D キャラクターに変換したもの
Reallusion MarketplaceでBlack Friday セール開催中
投稿日時：2023/11/21(火) 23:08
Reallusion MarketplaceでBlack Friday セールが開催中です。
Marketplace上のすべての商品が30% オフになります。
さらに5,000 DA ($50) を超えるすべての注文で1,000 ボーナス ポイント ($10) が得られます。
ブラックフライデーは11月30日までです。
さっそく以前から欲しかったSckriptさんのウィッグと衣装などを買ってきました。
Sckript 1900 Series Dresses Bundleは本来5000 DAポイント、Sckript Classic Beauties Hair Pack 4.0は10000 DAポイントなので、ちゃんと30%引きになっていました。
今日の絵は、今日買ったSckriptさんの衣装を着けて1枚レンダリングしました。モデルはArtbreederの画像をHeadshotで3Dキャラクターに変換したものです。
Sckript 1900 Series Dresses Bundleの中から
Marketplace上のすべての商品が30% オフになります。
さらに5,000 DA ($50) を超えるすべての注文で1,000 ボーナス ポイント ($10) が得られます。
ブラックフライデーは11月30日までです。
さっそく以前から欲しかったSckriptさんのウィッグと衣装などを買ってきました。
Sckript 1900 Series Dresses Bundleは本来5000 DAポイント、Sckript Classic Beauties Hair Pack 4.0は10000 DAポイントなので、ちゃんと30%引きになっていました。
今日の絵は、今日買ったSckriptさんの衣装を着けて1枚レンダリングしました。モデルはArtbreederの画像をHeadshotで3Dキャラクターに変換したものです。
Sckript 1900 Series Dresses Bundleの中から
AI「PikaLabs」で百鬼夜行の動画を作ってみました
投稿日時：2023/11/18(土) 22:00
Microsoft Bing Image Creator (DALL・E3)で生成した百鬼夜行の画像からPIKA LABSで動画をつくり、CyberLink Power Director 22で編集しました。
PIKA LABSでは3秒分しか動画にできないので、30枚の画像から30個の動画を作って繋げました。
使わせていただいたアイテム
1. Microsoft Bing Image Creator (DALL・E3)（無料）
2. PIKA LABS（無料）
3. サウンド Free BGM DOVA-SYNDROMEの「Beat it now」（作曲者 ともじろうさん）
4. 編集と出力 CyberLink PowerDirector 22
#AI動画 #AI #DALLE3 #PIKALABS #SOZO美術館 #CyberLink PowerDirector22
PIKA LABSでは3秒分しか動画にできないので、30枚の画像から30個の動画を作って繋げました。
使わせていただいたアイテム
1. Microsoft Bing Image Creator (DALL・E3)（無料）
2. PIKA LABS（無料）
3. サウンド Free BGM DOVA-SYNDROMEの「Beat it now」（作曲者 ともじろうさん）
4. 編集と出力 CyberLink PowerDirector 22
#AI動画 #AI #DALLE3 #PIKALABS #SOZO美術館 #CyberLink PowerDirector22
テキストや静止画から動画を生成するAI「PikaLabs」を試してみました
投稿日時：2023/11/16(木) 22:28
テキストや静止画から動画を生成するAI「PikaLabs」を試してみました。
3日前のこのブログのA. 動画を作るAIの 2. 画像や動画から動画を作るAIで言及したPikalabsです。
次の3つは、日本語でPikaLabsの使い方の解説をしてくださっているサイトです。
・無料でテキストからAI動画生成ができる！ Pika Labsの使い方」
・静止画から動画を生成するAIが凄い【PikaLabs】
・【海外で話題！】静止画から動画を生成するAIが凄い【PikaLabs】
登録してしまえば使い方は簡単です。
左の欄のgenerate-1などをクリックしてから、一番下のボックスに「/anim」と入力してクリックすると、画像を入れる窓が開くので、画像を入れます。テキストを入れる場合は「/create」と入力します。「他1」という表示が出てくるので、他１の左横に呪文を入れるだけです。
生成した動画は、検索ボックスの右横の受信ボックスの中の「メンション」に7日間保存されます。
動画にマウスを当てると、右上にダウンロードの表示が出るのでダウンロードします。
PikaLabsは、高品質で美しく、無料で利用できます。しかし、現在はβ版なので、解像度があまり高くなく、3秒分しか生成されません。
Runway Gen-2はじめ、他のAIでも無料で使えるものは解像度があまり高くなく、Water Markが入ったり、録画時間も3秒や4秒といった短時間のものが多いです。Runway Gen-2 では1か月に5000円以上支払っても1度に作れる動画は4秒です。これをたくさんつないでいっても合計で37分50秒分しか利用できないので、割高ですね。PikaLabsも正規版ではそのくらいに設定されるような気がします。
確かにいいAIではありますが、費用対効果が見合うかどうかは見定める必要があるかと思います。たくさんお金をかけても一度に生成できるのが3秒のままなら、月川が思うような動画は作れないと思います。
今日PikaLabsで作った3秒動画はX（Twitter）に投稿しました。3秒では、瞬きして終わってしまいました。
3秒動画の元画像
3日前のこのブログのA. 動画を作るAIの 2. 画像や動画から動画を作るAIで言及したPikalabsです。
次の3つは、日本語でPikaLabsの使い方の解説をしてくださっているサイトです。
・無料でテキストからAI動画生成ができる！ Pika Labsの使い方」
・静止画から動画を生成するAIが凄い【PikaLabs】
・【海外で話題！】静止画から動画を生成するAIが凄い【PikaLabs】
登録してしまえば使い方は簡単です。
左の欄のgenerate-1などをクリックしてから、一番下のボックスに「/anim」と入力してクリックすると、画像を入れる窓が開くので、画像を入れます。テキストを入れる場合は「/create」と入力します。「他1」という表示が出てくるので、他１の左横に呪文を入れるだけです。
生成した動画は、検索ボックスの右横の受信ボックスの中の「メンション」に7日間保存されます。
動画にマウスを当てると、右上にダウンロードの表示が出るのでダウンロードします。
PikaLabsは、高品質で美しく、無料で利用できます。しかし、現在はβ版なので、解像度があまり高くなく、3秒分しか生成されません。
Runway Gen-2はじめ、他のAIでも無料で使えるものは解像度があまり高くなく、Water Markが入ったり、録画時間も3秒や4秒といった短時間のものが多いです。Runway Gen-2 では1か月に5000円以上支払っても1度に作れる動画は4秒です。これをたくさんつないでいっても合計で37分50秒分しか利用できないので、割高ですね。PikaLabsも正規版ではそのくらいに設定されるような気がします。
確かにいいAIではありますが、費用対効果が見合うかどうかは見定める必要があるかと思います。たくさんお金をかけても一度に生成できるのが3秒のままなら、月川が思うような動画は作れないと思います。
今日PikaLabsで作った3秒動画はX（Twitter）に投稿しました。3秒では、瞬きして終わってしまいました。
3秒動画の元画像
動画、3Dモデル、モーションなどを生成できるAIについて調べてみました
投稿日時：2023/11/13(月) 22:43
テキストや1枚の画像から動画をつくったり、テキストや画像から3Dモデルを作ったり、テキストや動画からモーションを作ったりする最近のソフトについて調べてみました。
A. 動画を作るAI
1. テキストから動画を作るAI
Stable Diffusionでは、animateDiffやTemporal Kitという拡張機能をインストールして、1枚の画像からGIFアニメを作ることができます。
画像は美しいですが、GIFなので、動画としては滑らかではなく、カクカクしています。まだまだ発展途上のような気がします。Stable Diffusion のDeforum機能も同様です。
しかし、同じStable Diffusionでも、外から映像を取り込んで、ControlNetを複数使用する「Multi ControlNet」で制御してつくったアニメは、GIFではないので、動きが滑らかで素晴らしい出来栄えになっています。
2. 画像や動画から動画を作るAI
KaiBer AIは、画像や動画からAI動画を作成できますが、ストーリーのある長い動画生成には適しておらず、テキストだけでは動画はできません。無料版は30秒しか利用できず、Water Markが入ります。
Pikalabsもテキストや画像から動画を作るAIです。Pikalabsはハイレベルの動画が作れます。現在はβ版で、無料で利用できますが、将来的には有料版も提供される予定です。利用には、Discordへの登録が必要です。
「無料でテキストからAI動画生成ができる！ Labsの使い方」で詳しい使い方を解説して下さっています。
Runway Gen-2もテキストや動画から動画を作るAIです。こちらもハイレベルの動画が作れます。
無料版もありますが、有料のStandardアカウントを利用すると、月額15ドルまたは年額144ドル（前払いの場合）で、より高解像度のビデオの生成、Runwayの透かしなし、そして月間ビデオ制限の増加（625秒まで）などのプレミアム機能を利用することができます。
3. 用意されたアバターを選んでしゃべらせる動画を作るAI
これにはKreado AIやCanva Talking AIがあります。
これらでは、口パクできるキャラクターに文章をしゃべらせることが簡単にできるので、ユーチューバーが使うのには便利だなと思いました。しかし、動きが不自然で、複雑な動画はつくれそうにないように思いました。どちらも無料です。
B. テキストや画像から3Dモデルを作るAI
1. Luma AI は様々な角度から撮影した画像から3Dモデルを作成してくれるサービスで、Imagine 3Dという、文字を入力して3Dモデルを生成してくれるサービスも始めました。リアルなものが得意なようです。
2. 3Dモデル生成AI「CSM（Common Sense Machines）」は、テキストや画像から3Dモデルを作成できるサービスです。無料版では生成までに時間がかかり、メッシュの解像度は低いようですが、月20ドルとか60ドル払うと生成時間も早く、クオリティの高いものができるそうです。
3. マイクロソフトが発表した、写真や呪文だけで高品質な3Dアバターを生成するAI「Rodin」は、ロダンという名前からも分かるように、実写の人間並みの品質ですが、Stable Diffusionの美形キャラクター好きな日本人には好まれないようなタイプのキャラクターであるように感じました。
4. Kaedimは、2D画像からAI機能で自動的に3Dモデルを作成してくれるサービスです。裏で人がモデリングしていたり違法なモデルが使われている可能性がある上に、結構、お金もかかるので使いにくそうです。
しかし、いずれのAIやサービスも、Headshot 2のようにキャラクターにボーンを入れることまではしてくれないので、動画をつくるには、さらなる手間がかかります。
C. モーションを作るAI
1．テキストからモーションを作るAI
MoonValleyは、テキストからモーションを作るAIです。
GIFアニメのようにキャラクターや背景がユラユラ動くので発展途上だと思います。
2. 動画から3Dモデルやモーションを作るAI
DeepMotionのAnimate３Dは、動画から3Dモデルやモーションを作成することができます。MotionGPT ベータ版では、Generative AI の力を利用してテキストをアニメーションに変換します。無料でできるのは20秒までで商用不可です。
3. 動画から3Dモーションを作るAI
Plaskは、動画から3Dモーションを作成してくれるAIです。スマートフォンなどで動画を撮影すればそのまま利用することができるので、非常に簡単に試すことができます。精度はあまりよくなさそうで、後に修整は必要みたいです。無料でできるのは1日900クレジット（30秒）以内。Pro版は月に50ドルが必要です。
D. モーションキャプチャ等からモーションを作るAI
1. ReallusionのMotion LIVEは顔、手、体を同時にモーションキャプチャーします。作成したアニメーションを FBX または BVH としてエクスポートすることもできます。アップグレード価格が499ドルですが、現在半額セール中。体験版はこちらから。
2. Rokoko Visionは、ウェブカメラやスマートフォンでモーションキャプチャしてモーションを作ります。また、月20ドル出すと、２台のカメラキャプチャが可能になり、性能が上がります。
3. XR Animator- AI Mocap for VRM/MMDは、AIベース (MediaPipe) の全身モーションキャプチャで、画像、ビデオ、および Webカメラを入力としてサポートしています。
モーションキャプチャを記録し、VMD/BVHモーション フォーマットにエクスポートします。
これはBoothで無料配布されています。
BVHモーション フォーマットにエクスポートできるということなので、iCloneに持ってきて使えそうです。
以上のAIの中で試してみたいのは、自分でモーションを作れる無料のXR Animatorです。
月川は、11年ほど前（古い！）にiClone 5用のKinectモーションキャプチャーで、モーションを作って動画にしたことがあるのです（下の動画）が、ひどい結果でした。動画は、コメント欄でけなされながらも2万9千回も視聴されたので、反響があってよかったと言えばよかったです 😊😊😊
Reallusionには、プロの手による高品質のモーションが手ごろな値段で売られています。でも、普通に話したり歌ったりといった何気ないモーションは、オーバーに見えるものもあるので、最新のAIを駆使して自分でモーションを作ってみたい気もします。カッコよく動けないし、あんまりお金をかけたくないので、試すといっても片手間になりそうです。
➡ 後に試してみました。モーションキャプチャした動画からモーションを出力したかったのですが、使い方が簡単ではないし、使いにくいのでやめました。時間がある時にまた挑戦するかもしれません。
11年前に作ったモーションキャプチャー動画
A. 動画を作るAI
1. テキストから動画を作るAI
Stable Diffusionでは、animateDiffやTemporal Kitという拡張機能をインストールして、1枚の画像からGIFアニメを作ることができます。
画像は美しいですが、GIFなので、動画としては滑らかではなく、カクカクしています。まだまだ発展途上のような気がします。Stable Diffusion のDeforum機能も同様です。
しかし、同じStable Diffusionでも、外から映像を取り込んで、ControlNetを複数使用する「Multi ControlNet」で制御してつくったアニメは、GIFではないので、動きが滑らかで素晴らしい出来栄えになっています。
2. 画像や動画から動画を作るAI
KaiBer AIは、画像や動画からAI動画を作成できますが、ストーリーのある長い動画生成には適しておらず、テキストだけでは動画はできません。無料版は30秒しか利用できず、Water Markが入ります。
Pikalabsもテキストや画像から動画を作るAIです。Pikalabsはハイレベルの動画が作れます。現在はβ版で、無料で利用できますが、将来的には有料版も提供される予定です。利用には、Discordへの登録が必要です。
「無料でテキストからAI動画生成ができる！ Labsの使い方」で詳しい使い方を解説して下さっています。
Runway Gen-2もテキストや動画から動画を作るAIです。こちらもハイレベルの動画が作れます。
無料版もありますが、有料のStandardアカウントを利用すると、月額15ドルまたは年額144ドル（前払いの場合）で、より高解像度のビデオの生成、Runwayの透かしなし、そして月間ビデオ制限の増加（625秒まで）などのプレミアム機能を利用することができます。
3. 用意されたアバターを選んでしゃべらせる動画を作るAI
これにはKreado AIやCanva Talking AIがあります。
これらでは、口パクできるキャラクターに文章をしゃべらせることが簡単にできるので、ユーチューバーが使うのには便利だなと思いました。しかし、動きが不自然で、複雑な動画はつくれそうにないように思いました。どちらも無料です。
B. テキストや画像から3Dモデルを作るAI
1. Luma AI は様々な角度から撮影した画像から3Dモデルを作成してくれるサービスで、Imagine 3Dという、文字を入力して3Dモデルを生成してくれるサービスも始めました。リアルなものが得意なようです。
2. 3Dモデル生成AI「CSM（Common Sense Machines）」は、テキストや画像から3Dモデルを作成できるサービスです。無料版では生成までに時間がかかり、メッシュの解像度は低いようですが、月20ドルとか60ドル払うと生成時間も早く、クオリティの高いものができるそうです。
3. マイクロソフトが発表した、写真や呪文だけで高品質な3Dアバターを生成するAI「Rodin」は、ロダンという名前からも分かるように、実写の人間並みの品質ですが、Stable Diffusionの美形キャラクター好きな日本人には好まれないようなタイプのキャラクターであるように感じました。
4. Kaedimは、2D画像からAI機能で自動的に3Dモデルを作成してくれるサービスです。裏で人がモデリングしていたり違法なモデルが使われている可能性がある上に、結構、お金もかかるので使いにくそうです。
しかし、いずれのAIやサービスも、Headshot 2のようにキャラクターにボーンを入れることまではしてくれないので、動画をつくるには、さらなる手間がかかります。
C. モーションを作るAI
1．テキストからモーションを作るAI
MoonValleyは、テキストからモーションを作るAIです。
GIFアニメのようにキャラクターや背景がユラユラ動くので発展途上だと思います。
2. 動画から3Dモデルやモーションを作るAI
DeepMotionのAnimate３Dは、動画から3Dモデルやモーションを作成することができます。MotionGPT ベータ版では、Generative AI の力を利用してテキストをアニメーションに変換します。無料でできるのは20秒までで商用不可です。
3. 動画から3Dモーションを作るAI
Plaskは、動画から3Dモーションを作成してくれるAIです。スマートフォンなどで動画を撮影すればそのまま利用することができるので、非常に簡単に試すことができます。精度はあまりよくなさそうで、後に修整は必要みたいです。無料でできるのは1日900クレジット（30秒）以内。Pro版は月に50ドルが必要です。
D. モーションキャプチャ等からモーションを作るAI
1. ReallusionのMotion LIVEは顔、手、体を同時にモーションキャプチャーします。作成したアニメーションを FBX または BVH としてエクスポートすることもできます。アップグレード価格が499ドルですが、現在半額セール中。体験版はこちらから。
2. Rokoko Visionは、ウェブカメラやスマートフォンでモーションキャプチャしてモーションを作ります。また、月20ドル出すと、２台のカメラキャプチャが可能になり、性能が上がります。
3. XR Animator- AI Mocap for VRM/MMDは、AIベース (MediaPipe) の全身モーションキャプチャで、画像、ビデオ、および Webカメラを入力としてサポートしています。
モーションキャプチャを記録し、VMD/BVHモーション フォーマットにエクスポートします。
これはBoothで無料配布されています。
BVHモーション フォーマットにエクスポートできるということなので、iCloneに持ってきて使えそうです。
以上のAIの中で試してみたいのは、自分でモーションを作れる無料のXR Animatorです。
月川は、11年ほど前（古い！）にiClone 5用のKinectモーションキャプチャーで、モーションを作って動画にしたことがあるのです（下の動画）が、ひどい結果でした。動画は、コメント欄でけなされながらも2万9千回も視聴されたので、反響があってよかったと言えばよかったです 😊😊😊
Reallusionには、プロの手による高品質のモーションが手ごろな値段で売られています。でも、普通に話したり歌ったりといった何気ないモーションは、オーバーに見えるものもあるので、最新のAIを駆使して自分でモーションを作ってみたい気もします。カッコよく動けないし、あんまりお金をかけたくないので、試すといっても片手間になりそうです。
➡ 後に試してみました。モーションキャプチャした動画からモーションを出力したかったのですが、使い方が簡単ではないし、使いにくいのでやめました。時間がある時にまた挑戦するかもしれません。
11年前に作ったモーションキャプチャー動画
| «前へ |
2023年11月
| <<前月 | 翌月>> |
| |
| |
| |
| |
| |
| |
| |
| |