(controlNET)アニメ画に対応。新たなプリプロセッサ「dw openpose」を紹介

「openpose」にて追加された新しいPreprocessor「dw openpose」

導入方法、以前とどう違うのか、どう優れてるかを解説します。

dw openposeの導入方法

stable diffusion Web UIでのやり方を紹介します。
※自己責任でお願いします。
controlNETを更新するだけで入ってると聞いたので、
まずcontrolNETを更新する方法から紹介します。

dw openposeについて

おさらいですが、openposeはstable diffusionの拡張機能controlNETの１つ。

画像を読み取りポージングを棒人間に置き換え、

顔は白い点で解釈する「プリプロセッサ」を通じて、

読み取った画像に近い物を生成する仕組みです。

このプリプロセッサを大幅に強化したのがdw openposeです。

この4点をそれぞれ解説します

イラストからも表情を読み込める

openpose_fullは実写風の画像でしか表情・顔の向きを読み取れませんでした。

そのため読み込み対象を用意するハードルが高く、

表情の読み取り機能に関しては「無いに等しい」物でした。

dw openposeはイラスト画からの表情の読み取りが可能になり、

顔の向き・表情を元のイラストに近づけてくれます。

読み取り精度のアップ

手首や指先の読み取り精度が上がり、物を持った手や指も認識します。

上の画像にもあるように腕や指に独自の解釈を入れる事もあるので、

ペイントツールでちょっとした修正が必要な場合もあります。

大人数の読み取りが可能

身体の輪郭がしっかりしてる画像であれば、3人から5人ほどは認識します。

以前の「抱き枕、設定画風プロンプトの組み合わせ」投稿より

ドレスなど着込んだ服、また枠外などで肩や肘・膝などの関節が隠れると

うまく読み取れなかったり、独自の解釈をしがちです。

「読み取る事そのもの」についてはまだ改善の余地がありそうです。

商用利用が可能に(重要)

従来のopenposeは「映像に映る人の身体や動きを棒人間として解釈する」

映像キャプチャ技術に関する部分が使われており、技術ライセンス元は

アメリカのカーネギー・メロン大学。

一歩間違えれば250万円を超える支払い義務が発生するため、

openposeは表に出しにくい日陰の扱いでした。

こうしてopenposeが日の目を見られるようになりました。

まとめ

dw openposeは技術の進歩であると同時に、

AIイラストの抱える問題を解決した大きな1歩と言えます。

novelAIやniji journeyといったイラスト生成サービスで導入されると考えると

今後の発展を大きく期待できますね。

しかし同時に、アニメや他人のイラストからの読み取りも幅広く可能になったので

悪用厳禁の戒めは今まで通り持ちつつ楽しく活用したいですね。