大きくする 標準 小さくする

月川拓海の世界 2023/10

Headshot 2を使って「AIキャラクターを、動かせる3Dキャラクター」に変換する(16)

 written by 月川拓海 投稿日時:2023/10/30(月) 22:34

Headshot 2を使ってStable Diffusionキャラクターを3Dキャラクターに変換 (1) 」というタイトルの動画をYouTubeにアップしました。

Headshot 2 で作ったキャラクターは、iCloneに送るだけで自動的にiAvatarに変換されます。

このキャラクターは、Stable Diffusionのキャラクターそのままという訳ではありませんが、特徴をとらえたキャラクターになるので、キャラクター作りの助けになると思います。

なお、Headshot 2 で作ったキャラクターは、ReallusionのMarketplaceで販売することができます。

Headshot 2を使えば、自分のお気に入りのAIキャラクターや自分で描いたイラストを「動かせる3Dキャラクター」に変換してiCloneで動画を作ることができます。

このキャラクターは、FBX形式で出力もできるので、iClone以外のソフトでも動画にすることができるので、お薦めです。


#Headshot2 #StableDiffusion #AIart #AIArtworks #3Dキャラクターに変換

Headshot 2を使って「AIキャラクターを、動かせる3Dキャラクター」に変換する(15)

 written by 月川拓海 投稿日時:2023/10/26(木) 22:40

Headshot 2を使ってStable Diffusionキャラクターを3Dキャラクターに変換 (1) 」というタイトルの動画を作成中です。

動画の撮影は終わったので、後は編集して解説のセリフを入れたら終わりです。

といっても1時間以上の動画を5~10分位に短縮して、セリフと字幕を入れていくのですが、これがなかなか時間がかかるのです。

なにしろ、「Headshot 2を使って、Stable Diffusionキャラクターを、3Dキャラクターに変換しました。」というセリフのイントネーションや抑揚の調節をするのに10分以上かかっているので、いつ終わるのか見当がつきません。

                  今作っている動画のスナップショット

1. S0-min

2. S4-min

3. S5-min

4. S9-min

5. S10-min

6. S6-min

7. S11-min

8.S1-min

9. S2-min


Headshot 2を使って「AIキャラクターを、動かせる3Dキャラクター」に変換する(14)

 written by 月川拓海 投稿日時:2023/10/12(木) 23:11

今日は、今まで書いてきたことをまとめてみました。

1枚のAI画像から3Dキャラクターを作る方法は、いろいろありますが、人力がかなり必要だったり、高額だったり、あまり似ていなかったりするものもあるように思います。

その中で、月川は、KaedimPanoHeadPIFuHDDAZのFace transfer" pluginを使ったものなどに注目しています。

月川が使っているCharacter Creator 4(CC4)のHeadshot 2は、1枚の画像から比較的簡単に3Dキャラクターをつくることができます。

システム要件と体験版はここをクリックしてください
Headshot 2の価格は199ドルですが、既存のユーザーはアップグレード価格で99ドルになります

Headshot 2は、CC3キャラクターの頭部に画像を投影してモーフスライダーで形を合わせていく手法です。

しかし、このソフトも完璧ではなく、簡単にできるキャラクターには、次の3つの弱点があります。
? 上瞼に睫毛のテクスチャが貼りついているので、目を閉じた時にそれが目立つ
? 鼻孔に肌色の蓋がされてしまうので、鼻が詰まったように見える
? 口と口腔粘膜の境界に黒い線が出るので、口を開いた時にそれが目立つ
これらにマスクをかけて修整すると不自然になり、化粧で誤魔化すと別人になります。
なので、マスクや最終的な顔の展開図の段階で、人力で画像を修整する必要があります

YouTubeを見ていると、腕のいい人は、お絵描きソフトでとても上手く修整しておられます。
月川は絵が下手なので、元絵にあまり上手く似せることはできませんが、動画用のキャラクターとしては使えるものができています。

下の画像は、Stable Diffusionでつくった元絵です。この絵の生成条件を書いておきます。
■■ 00047-2237545869-min
モデル:yayoi_mix
Prompt:
Frontal beautiful face, masterpiece, best quality, highres,8k, portrait,beautiful black hair, intricate, elegant, highly detailed, majestic, digital photography, light red lips

Negative prompt:
EasyNegative, badhandv4, bad-image-v2-39000, bad-hands-5, negative_hand-neg, bad_prompt_version2, ng_deepnegative_v1_75t, verybadimagenegative_v1.3

Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 7, Seed: 2237545869, Size: 512x512, Model hash: 260570b6f8, Model: yayoiMix_v20, VAE hash: 63aeecb90f, VAE: basil mix.vae.pt.safetensors, Version: v1.6.0

以下の画像では、次の条件で生成しています。
0:元絵
1:Headshot 2のAuto機能で生成。
2:Headshot 2のPro機能で生成。上瞼にMinimum Eyelid Rimという最小限のマスクだけ使用。
  鼻孔と口にはマスクなし。
3:Headshot 2のPro機能で生成。上瞼にMaximum Upper Eyelid Fillという最大限のマスクを使用。
  鼻孔と口にもマスクを使用。アイラインとアイシャドーの化粧。
4:3の顔の展開図を人力で修整

下図は、元絵との比較で開眼状態。1と2は元絵に近いですが、上瞼にマスクをかけて化粧をした3では雰囲気が変わっています。
ブログ用顔比較1-min

下図は、1、2、3の目を閉じて口を開いた時の顔です。
ブログ用顔比較2-min
1と2では、上瞼に睫毛のテクスチャが貼りついていて、口と口腔粘膜の境界に黒い線が見えるので接近して撮影するには適していません。モブキャラや遠くから撮影するキャラクターならこれでも使えるとは思いますが、使いたくはないですね。
3では上瞼は綺麗ですが、上唇に黒線が残っているので、修整が必要です。

下図は4という絵が入っていますが、これは1~3の絵を元に顔の展開図をお絵描きソフトのGIMPで修整して作ったものです。頑張って作りましたが、元絵に似ているかどうかというと、イマイチな気がします。キャラクターとしては、2が一番似ているのではないかと思います。
ブログ用顔比較3-min

下図は4のキャラクターで、目を開いて口を閉じた状態です。
ブログ用顔比較4-min

下図は同じく4のキャラクターで、目を閉じて口を開いた状態です。これなら、瞬きしてしゃべっても見るに耐えます。接近して撮影できるキャラクターとして使えると思います。
ブログ用顔比較5-min

下図は4のキャラクターのHeadshot 2で生成された目の虹彩です。
ブログ用顔比較7-min

下図は元絵にさらに似せるために元絵の眼球部分のテクスチャを上図に重ねたものです。キャラクターを近くで見た時に違いが分かると思います。
ブログ用顔比較8-min

現在、「Headshot 2を使ってStable Diffusionキャラクターを3Dキャラクターに変換しました」という動画を作り始めていますが、この動画の中で1~4の条件でつくったキャラクターを動画にした場合にどのように見えるかもお見せする予定です。なお、顔の展開図を修整した段階の4のキャラクターはType 3 として説明するつもりです。
■夕子プロモサムネイル用

#Headshot2 #StableDiffusion #AIart #AIArtworks #3Dキャラクターに変換

今日のDAZでの買い物中に気づいたこと

 written by 月川拓海 投稿日時:2023/10/04(水) 21:41

今日のDAZでの買い物中でのこと。

Tokenという割引があることは今までも知っていました。勝手に割引してくれているのだと思っていたのですが、APPLIEDという緑の項目があるのに気付いて、なにげにクリックしたら、さらに割引されたのでビックリしました。

昨日までクリックしたことがなかったので、損していたようです。。。

割引についての説明がいっぱいあるので、色々読むのが面倒くさかったからですが、アホでした。

買い物23.10.4

DALL3でAI画像の生成を始めました

 written by 月川拓海 投稿日時:2023/10/03(火) 23:19

どうやら、AI沼にハマってしまったようです。

Headshot 2で最高のキャラクターを作ってみたいと思ってAIを始めたのですが、Stable DiffusionのSDに飽き足らず、SDXLに手を出し、今日は現在流行が始まったばかりのDALL3を始めてしまいました。

Headshot 2用の画像は、完全に対称の顔で、影がなく、顔に髪の毛がかかっていない真正面から撮影した顔でなければならないのですが、この条件の画像を得るのはとても大変なのです。それで少しでも理想の画像を手に入れるために奔走しているわけです。

DALL3では、プロンプトが10回以上ブロックされてしまいました。

老け顔が出てくるので、「10才」と入れると「児童の性的搾取、虐待、児童の性的対象化」に引っかかっている模様で、児童ポルノと勘違いされたのかプロンプトがブロックされて生成できなくなってしまいました。

また、DALL3では女性の「髪の毛が全くない」の意味が分からないのかロングヘアになってしまいます。髪の毛がない女性の画像のデータを持ち合わせていないのだと思います。

「髪の毛のないフランス人の美少女」と入力すると、即ブロックされました。

仕方なく、「a woman with a bun bun and a flower in her hair」といったプロンプトを入れて髪の毛が顔にかかるのを阻止しています。

下の絵は、DALL3で作ったHeadshot 2用の画像です。
60. DELL3

こちらはSDXLで作ったHeadshot 2用の画像です。
61. SDXL

#DALL3 #SDXL #aiart  #AIArtwork  #Headshot 2