ログイン
ブログ個人
月川拓海の世界 2023/10/12
Headshot 2を使って「AIキャラクターを、動かせる3Dキャラクター」に変換する（14）
投稿日時：2023/10/12(木) 23:11
今日は、今まで書いてきたことをまとめてみました。
1枚のAI画像から3Dキャラクターを作る方法は、いろいろありますが、人力がかなり必要だったり、高額だったり、あまり似ていなかったりするものもあるように思います。
その中で、月川は、Kaedim、PanoHead、PIFuHD 、DAZのFace transfer" pluginを使ったものなどに注目しています。
月川が使っているCharacter Creator 4（CC4）のHeadshot 2は、1枚の画像から比較的簡単に3Dキャラクターをつくることができます。
システム要件と体験版はここをクリックしてください。
Headshot 2の価格は199ドルですが、既存のユーザーはアップグレード価格で99ドルになります。
Headshot 2は、CC3キャラクターの頭部に画像を投影してモーフスライダーで形を合わせていく手法です。
しかし、このソフトも完璧ではなく、簡単にできるキャラクターには、次の3つの弱点があります。
? 上瞼に睫毛のテクスチャが貼りついているので、目を閉じた時にそれが目立つ
? 鼻孔に肌色の蓋がされてしまうので、鼻が詰まったように見える
? 口と口腔粘膜の境界に黒い線が出るので、口を開いた時にそれが目立つ
これらにマスクをかけて修整すると不自然になり、化粧で誤魔化すと別人になります。
なので、マスクや最終的な顔の展開図の段階で、人力で画像を修整する必要があります。
YouTubeを見ていると、腕のいい人は、お絵描きソフトでとても上手く修整しておられます。
月川は絵が下手なので、元絵にあまり上手く似せることはできませんが、動画用のキャラクターとしては使えるものができています。
下の画像は、Stable Diffusionでつくった元絵です。この絵の生成条件を書いておきます。
モデル：yayoi_mix
Prompt：
Frontal beautiful face, masterpiece, best quality, highres,8k, portrait,beautiful black hair, intricate, elegant, highly detailed, majestic, digital photography, light red lips
Negative prompt:
EasyNegative, badhandv4, bad-image-v2-39000, bad-hands-5, negative_hand-neg, bad_prompt_version2, ng_deepnegative_v1_75t, verybadimagenegative_v1.3
Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 7, Seed: 2237545869, Size: 512x512, Model hash: 260570b6f8, Model: yayoiMix_v20, VAE hash: 63aeecb90f, VAE: basil mix.vae.pt.safetensors, Version: v1.6.0
以下の画像では、次の条件で生成しています。
0：元絵
1：Headshot 2のAuto機能で生成。
2：Headshot 2のPro機能で生成。上瞼にMinimum Eyelid Rimという最小限のマスクだけ使用。
鼻孔と口にはマスクなし。
3：Headshot 2のPro機能で生成。上瞼にMaximum Upper Eyelid Fillという最大限のマスクを使用。
鼻孔と口にもマスクを使用。アイラインとアイシャドーの化粧。
4：3の顔の展開図を人力で修整
下図は、元絵との比較で開眼状態。１と２は元絵に近いですが、上瞼にマスクをかけて化粧をした3では雰囲気が変わっています。
下図は、1、2、3の目を閉じて口を開いた時の顔です。
1と2では、上瞼に睫毛のテクスチャが貼りついていて、口と口腔粘膜の境界に黒い線が見えるので接近して撮影するには適していません。モブキャラや遠くから撮影するキャラクターならこれでも使えるとは思いますが、使いたくはないですね。
3では上瞼は綺麗ですが、上唇に黒線が残っているので、修整が必要です。
下図は4という絵が入っていますが、これは1~3の絵を元に顔の展開図をお絵描きソフトのGIMPで修整して作ったものです。頑張って作りましたが、元絵に似ているかどうかというと、イマイチな気がします。キャラクターとしては、2が一番似ているのではないかと思います。
下図は4のキャラクターで、目を開いて口を閉じた状態です。
下図は同じく4のキャラクターで、目を閉じて口を開いた状態です。これなら、瞬きしてしゃべっても見るに耐えます。接近して撮影できるキャラクターとして使えると思います。
下図は4のキャラクターのHeadshot 2で生成された目の虹彩です。
下図は元絵にさらに似せるために元絵の眼球部分のテクスチャを上図に重ねたものです。キャラクターを近くで見た時に違いが分かると思います。
現在、「Headshot 2を使ってStable Diffusionキャラクターを3Dキャラクターに変換しました」という動画を作り始めていますが、この動画の中で1~4の条件でつくったキャラクターを動画にした場合にどのように見えるかもお見せする予定です。なお、顔の展開図を修整した段階の４のキャラクターはType 3 として説明するつもりです。
#Headshot2 #StableDiffusion #AIart #AIArtworks #3Dキャラクターに変換
1枚のAI画像から3Dキャラクターを作る方法は、いろいろありますが、人力がかなり必要だったり、高額だったり、あまり似ていなかったりするものもあるように思います。
その中で、月川は、Kaedim、PanoHead、PIFuHD 、DAZのFace transfer" pluginを使ったものなどに注目しています。
月川が使っているCharacter Creator 4（CC4）のHeadshot 2は、1枚の画像から比較的簡単に3Dキャラクターをつくることができます。
システム要件と体験版はここをクリックしてください。
Headshot 2の価格は199ドルですが、既存のユーザーはアップグレード価格で99ドルになります。
Headshot 2は、CC3キャラクターの頭部に画像を投影してモーフスライダーで形を合わせていく手法です。
しかし、このソフトも完璧ではなく、簡単にできるキャラクターには、次の3つの弱点があります。
? 上瞼に睫毛のテクスチャが貼りついているので、目を閉じた時にそれが目立つ
? 鼻孔に肌色の蓋がされてしまうので、鼻が詰まったように見える
? 口と口腔粘膜の境界に黒い線が出るので、口を開いた時にそれが目立つ
これらにマスクをかけて修整すると不自然になり、化粧で誤魔化すと別人になります。
なので、マスクや最終的な顔の展開図の段階で、人力で画像を修整する必要があります。
YouTubeを見ていると、腕のいい人は、お絵描きソフトでとても上手く修整しておられます。
月川は絵が下手なので、元絵にあまり上手く似せることはできませんが、動画用のキャラクターとしては使えるものができています。
下の画像は、Stable Diffusionでつくった元絵です。この絵の生成条件を書いておきます。
モデル：yayoi_mix
Prompt：
Frontal beautiful face, masterpiece, best quality, highres,8k, portrait,beautiful black hair, intricate, elegant, highly detailed, majestic, digital photography, light red lips
Negative prompt:
EasyNegative, badhandv4, bad-image-v2-39000, bad-hands-5, negative_hand-neg, bad_prompt_version2, ng_deepnegative_v1_75t, verybadimagenegative_v1.3
Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 7, Seed: 2237545869, Size: 512x512, Model hash: 260570b6f8, Model: yayoiMix_v20, VAE hash: 63aeecb90f, VAE: basil mix.vae.pt.safetensors, Version: v1.6.0
以下の画像では、次の条件で生成しています。
0：元絵
1：Headshot 2のAuto機能で生成。
2：Headshot 2のPro機能で生成。上瞼にMinimum Eyelid Rimという最小限のマスクだけ使用。
鼻孔と口にはマスクなし。
3：Headshot 2のPro機能で生成。上瞼にMaximum Upper Eyelid Fillという最大限のマスクを使用。
鼻孔と口にもマスクを使用。アイラインとアイシャドーの化粧。
4：3の顔の展開図を人力で修整
下図は、元絵との比較で開眼状態。１と２は元絵に近いですが、上瞼にマスクをかけて化粧をした3では雰囲気が変わっています。
下図は、1、2、3の目を閉じて口を開いた時の顔です。
1と2では、上瞼に睫毛のテクスチャが貼りついていて、口と口腔粘膜の境界に黒い線が見えるので接近して撮影するには適していません。モブキャラや遠くから撮影するキャラクターならこれでも使えるとは思いますが、使いたくはないですね。
3では上瞼は綺麗ですが、上唇に黒線が残っているので、修整が必要です。
下図は4という絵が入っていますが、これは1~3の絵を元に顔の展開図をお絵描きソフトのGIMPで修整して作ったものです。頑張って作りましたが、元絵に似ているかどうかというと、イマイチな気がします。キャラクターとしては、2が一番似ているのではないかと思います。
下図は4のキャラクターで、目を開いて口を閉じた状態です。
下図は同じく4のキャラクターで、目を閉じて口を開いた状態です。これなら、瞬きしてしゃべっても見るに耐えます。接近して撮影できるキャラクターとして使えると思います。
下図は4のキャラクターのHeadshot 2で生成された目の虹彩です。
下図は元絵にさらに似せるために元絵の眼球部分のテクスチャを上図に重ねたものです。キャラクターを近くで見た時に違いが分かると思います。
現在、「Headshot 2を使ってStable Diffusionキャラクターを3Dキャラクターに変換しました」という動画を作り始めていますが、この動画の中で1~4の条件でつくったキャラクターを動画にした場合にどのように見えるかもお見せする予定です。なお、顔の展開図を修整した段階の４のキャラクターはType 3 として説明するつもりです。
#Headshot2 #StableDiffusion #AIart #AIArtworks #3Dキャラクターに変換
2023年10月
| <<前月 | 翌月>> |
| |
| |
| |
| |
| |