(controlNET)アニメ画に対応。新たなプリプロセッサ「dw openpose」を紹介

「openpose」にて追加された新しいPreprocessordw openpose

導入方法、以前とどう違うのか、どう優れてるかを解説します。

dw openposeの導入方法

stable diffusion Web UIでのやり方を紹介します。
※自己責任でお願いします。
controlNETを更新するだけで入ってると聞いたので、
まずcontrolNETを更新する方法から紹介します。

  • stable diffusion Web UIを開き、extensionsタブのCheck for updatesを押すとバージョンアップを確認できます。
  • 右側でlatestとある部分に☑マークが出たら
    controlNETの部分以外を外してApply and restart UIを押します。
    ※拡張機能の干渉によるエラーを避けるため
     controlNETだけ☑が付くようにしてください。

InstalledからApply and restart UIで再起動し、controlNETを確認してください。

preprocessorからdw openposeが有れば完了です。

無かった時のためにgitから入れる方法も書いておきます

  • まずこちらからGitHubのリンクを開きます。
  • 画像のように緑色のCodeから.gitのアドレスをコピーします。
  • stable diffusion Web UIを開き、extensionsタブのinstall from URLから
    コピーした「.git」のアドレスを入れてinstallをクリックします

InstalledからApply and restart UIで再起動し、Preprocessorに
dw openposeが入ってるかを確認してください。

dw openposeについて

おさらいですが、openposestable diffusionの拡張機能controlNETの1つ。

画像を読み取りポージングを棒人間に置き換え、

顔は白い点で解釈する「プリプロセッサ」を通じて、

読み取った画像に近い物を生成する仕組みです。

このプリプロセッサを大幅に強化したのがdw openposeです。

従来のプリプロセッサ「openpose_full」と比較すると

  • アニメ画やイラストからも表情を読み取れるように
  • 読み取り精度も上がり、棒人間の指や腕がクオリティアップ
  • 大人数が映る写真や絵からも読み取りが可能
  • これまでのopenposeと別の技術ライセンスが使われ商用利用が可能

この4点をそれぞれ解説します

イラストからも表情を読み込める

openpose_fullは実写風の画像でしか表情・顔の向きを読み取れませんでした。

そのため読み込み対象を用意するハードルが高く、

表情の読み取り機能に関しては「無いに等しい」物でした。

openpose_fullに入れる画像
openpose_fullから出た棒人間。白い点が曖昧です

dw openposeはイラスト画からの表情の読み取りが可能になり、

顔の向き・表情を元のイラストに近づけてくれます。

dw openposeから出た棒人間。表情も読み取ってます
そうして生成されたイラスト。表情はかなり近いです

読み取り精度のアップ

手首や指先の読み取り精度が上がり、物を持った手や指も認識します。

上の画像にもあるように腕や指に独自の解釈を入れる事もあるので、

ペイントツールでちょっとした修正が必要な場合もあります。

大人数の読み取りが可能

身体の輪郭がしっかりしてる画像であれば、3人から5人ほどは認識します。

以前の「抱き枕、設定画風プロンプトの組み合わせ」投稿より

(dakimakura:1.5)アウファーちゃん3人
dw openposeの棒人間
中央の腕に独自解釈が入ってます
生成した画像。かなり元絵に忠実です

ドレスなど着込んだ服、また枠外などで肩や肘・膝などの関節が隠れると

うまく読み取れなかったり、独自の解釈をしがちです。

設定画風のアウファーちゃん
右の画は顔すら認識されませんでした
そうして生成された画像です

「読み取る事そのもの」についてはまだ改善の余地がありそうです。

商用利用が可能に(重要)

従来のopenposeは「映像に映る人の身体や動きを棒人間として解釈する

映像キャプチャ技術に関する部分が使われており、技術ライセンス元は

アメリカのカーネギー・メロン大学。

「非商用利用は無料で許可。商用利用を行った場合、
 相手に2万ドルの支払い義務を課す」デュアルライセンスとしてます。

一歩間違えれば250万円を超える支払い義務が発生するため、

openposeは表に出しにくい日陰の扱いでした。

dw openposeはこれまでと別で「Apache 2.0 License」による
商用利用も完全に無料の技術ライセンスに変わってます。

こうしてopenposeが日の目を見られるようになりました。

まとめ

dw openposeは技術の進歩であると同時に

AIイラストの抱える問題を解決した大きな1歩と言えます。

novelAIやniji journeyといったイラスト生成サービスで導入されると考えると

今後の発展を大きく期待できますね。

しかし同時に、アニメや他人のイラストからの読み取りも幅広く可能になったので

悪用厳禁の戒めは今まで通り持ちつつ楽しく活用したいですね。

タイトルとURLをコピーしました