今回はcontrolNET最新版(v1.1.410)の新機能「IP-Adapter」の
導入方法と、どういう機能かの紹介です。
IP-Adapterの導入
まずcontrolNETを最新版にアップグレードします。
Web UIからextensionsタブを開き、installedから
check for updatesをクリックし、controlNETだけにチェックを入れ
Apply and restart UIをクリックします。
次にHugging Faceのlllyasviel氏のページから
ip-adapter_sd15_plusのmodelsを入れます。
SDXLの方は１つ下の物です。
これをextensionsからsd-webui-controlnetの中のmodelsにインストールします。
controlNETのモデルにしては容量が軽いですが、
これは初回生成時に２GB程のインストールが掛かります。
IP-Adapterの機能紹介
要約すると
controlNETに入れた画像の作風や描画を強く再現する。
プロンプトで入力した要素を付け加えたり、変更を加えたりする。
機能の分類としてはReferenceに近い感じですが
元となった画像の要素の再現度がかなり上がってますね。
実際に使ってみます。白いウェディングドレスの画像をセット
ネガティブプロンプトはそのままに。通常プロンプトにblack dressと入れます。
そうして出たのがこちらです。2枚目の元画像と比較すると
髪の毛や背景など全体的に暗くなりましたが
ポージングや姿勢、描画レベルなどは元の画像に準じてますね。
inpaintと併せる
controlNETの2つ目のタブに同じ画像を設定し、Inpaintを選択します。
今度はプロンプトにtiara(ティアラ)と入れ
Inpaintは頭の部分を塗る事で部分的な変化を加えてみます。
Inpaint_Onlyのみは変更前と変更後の境目にズレが出る事がありましたが、
IP-Adapterと併せてControl Weight値を調整すると綺麗な部分変更が出来ます。
dw-openposeと併せる
ウェディングドレスの少女(アウファーちゃん)をIP-Adapterに入れて、
没絵のダイナミックなポージングをdw openposeに読み込ませます。
1枚目の白髪ショートのウェディングドレス姿が2枚目のポーズになります。
1枚目はプロンプトもLoRAもなし。
2枚目はプロンプトとadd_detail:LoRAアリです。
プロンプトなしでも元絵の要素の再現度が高く、
漫画や同一キャラクターの安定感は今までよりも更に上がった感じがします。
まとめ
修正・調整・構図の変更、どれをとってもレベルが高く、
やり方次第で出来る事が広がります。
構図が全く違う絵でもキャラクター要素をより近づける事が出来るので、
Referenceから更に数段レベルが上がって驚きました。
