記事内に広告が表示されます

「Regional Prompter」による領域分割とLoRAの適用【Stable Diffusion web UI】

Regional Prompter & LoRA スマホ・PC
スポンサーリンク

 前回は「Regional Prompter(リージョナル・プロンプター)」を取り上げました。このページはその内容の一部を補完するものです。

「Regional Prompter」による描画領域の分割【Stable Diffusion web UI】
「Regional Prompter」という拡張機能を利用することで、複数の人物を任意の位置に配置して各人物に対して髪型や服装を指定することができます。

 「Regional Prompter」は画面(キャンバス)を複数の領域に分割して、それぞれの領域において異なるプロンプトを指定することを可能にする「Stable Diffusion web UI」の拡張機能です。

 「Regional Prompter」によって分割された個々の領域では、異なる「LoRA」を適用することができます。たとえば、画面に左右に二人の人物を登場させるときに、左の人物には キャラクターAの LoRA を適用して、右の人物にはキャラクターBの LoRA を適用するといったことが可能です。絵柄がまったく違っていても適用可能です。もちろん、LoRA を片方の領域だけに適用することもできます。

 この手法は、キャラクターに関する LoRA だけでなく、画風と品質に関わる LoRA にも同様に適用できることがあります。通常は異なるキャラクターを登場させるために各領域に特定の LoRA を適用することが一般的ですが、ここでは画風と品質を変化させる LoRA を実験的に適用してみました。

スポンサーリンク

「Regional Prompter」による描画領域の分割と「LoRA」の適用

「Regional Prompter」準備編

 このページでは、これまで取り上げた以下の二つの要素を利用しています。先にそちらをご覧ください。

 「Regional Prompter」の導入とその基本設定については以下のページにまとめています。

「Regional Prompter」による描画領域の分割【Stable Diffusion web UI】
「Regional Prompter」という拡張機能を利用することで、複数の人物を任意の位置に配置して各人物に対して髪型や服装を指定することができます。

 画風と品質を変化させる LoRA については以下のページで紹介しています。

「flat」 LoRA による画風の変化と画像の精緻化【Stable Diffusion web UI】
「flat」LoRA はマイナス適用するという斬新な発想で画風を大きく変化させるとともに描き込みを増やして細部を精緻化させることを可能にします。

「Regional Prompter」の設定と画像の生成例(その1)

Regional Prompter & LoRA

 「Regional Prompter」を「Active(有効化)」します。ここでは、「水平方向(horizon)」を選んでから、「Generation mode(生成モード)」を「Latent(ラテント)」に切り替えます。LoRA をそれぞれの領域に効かせるためには「Latent(ラテント)」への切り替えが必要です。

 「Divide Ratio(分割比)」と「Base Ratio(ベース比)」はここではデフォルトのままにしています。 「Use common prompt(共通のプロンプトを使用する)」にチェックを入れます。

 設定が完了したら「visualize and make template(視覚化してテンプレートを作成する)」ボタンをクリックします。

Regional Prompter & LoRA

 プロンプトは上記のように入力しています。プロンプト間は「BREAK」で区切っています。今回の画像生成では種類の異なる LoRA を各領域に適用しています。

 左側の領域にはキャラクターの縁取りを変化させる LoRA「outline」 を適用して、右側の領域には以前紹介した「flat2」をマイナスで適用しています。すると、どうなるでしょうか。

Regional Prompter & LoRA Regional Prompter & LoRA

 左の画像は「768×512」を2倍にアップスケールしたもので、右の画像は「768×512」のままです。画像はブログ掲載にあたって縮小しています。

 これらの画像からは LoRA が左右で別々に適用されていることが見てとれます。画面の中央あたりでプロンプトと LoRA の影響が明らかに分離されています。ただし、髪や服の色は指定と異なるものが表現されることが少なくありません。

 いずれにしても生成された画像はなかなか面白い表現になっているのではないでしょうか。

 今度は領域の分割を変更するとともにプロンプトも変更してみました。

「Regional Prompter」の設定と画像の生成例(その2)

Regional Prompter & LoRA

 設定は「Divide Ratio(分割比)」を「1;3,1,1」に変更しています。

 画面の分割方法の詳細は先に挙げた「Regional Prompter」のページをご覧ください。

Regional Prompter & LoRA

 プロンプトは上記のものを入力しています。LoRA は先ほどと同じものを適用しています。

Regional Prompter & LoRA Regional Prompter & LoRA

 解像度はどちらも「768×512」です。

 先ほどと同じように左右の人物の表現が異なります。ズボンの表現を比較すると分かりやすいのですが、左右で描き込み具合がまったく異なります。背景も LoRA の影響を受けて左右で違う表現になっています。

 なお、頭や顔の一部分は LoRA の適用がない状態になっていますが、これは領域1(上部)に LoRA が適用されていないためです

 LoRA が適用されている領域2(左側)と領域3(右側)は、それぞれの LoRA の影響が出ています。左側は縁取りが明確に表現されていますし、右側は服の描き込みがかなり増えています。しかし、そこから領域1(上部)にはみ出てしまったところは LoRA が効いていません。

 このように領域の分割次第で LoRA の影響範囲が変わるのです。

Regional Prompter & LoRA Regional Prompter & LoRA

 画像の解像度はどちらも「512×768」です。

 こちらの例でも、領域1(上部)は LoRA の効果が反映されていないため、LoRA 未適用時と同じような表現になっています。したがって、領域を分割して異なる LoRA を適用する場合は分割する領域に注意を払う必要があるといえます。

 また、中央の重なっている部分は左側に適用した LoRA の効果が出ているようです。このあたりは解像度や領域の分割などを工夫することで微調整ができそうです。

 人物を離すことで LoRA が相互に干渉することをある程度は防げます。また、LoRA 適用時における領域の分割は、複雑なものよりもシンプルなものの方が好ましいといえます。

 もう一度、領域をシンプルに分割することで LoRA の効果範囲を確認してみます。

「Regional Prompter」の設定と画像の生成例(その3)

Regional Prompter & LoRA

 ここでは画面を横に2分割に戻してみました。つまり、先ほどの領域1(上部)に相当する部分を削除したということです。

 これによって、LoRA が髪の一部や顔の部分に適用されていなかった問題を防げるはずです。

Regional Prompter & LoRA

 プロンプトは領域を減らすにあたって領域1(上部)に入力していた「beautiful sky」を全体のところに移動させています。

Regional Prompter & LoRA Regional Prompter & LoRA
Regional Prompter & LoRA Regional Prompter & LoRA
↑LoRA が全体に適用された例 ↑LoRA が一部に適用されていない例

 左側の2枚が新しい画像です。解像度はどちらも「768×512」です。

 右側にある前の画像と比べると、顔はもちろんのこと頭の天辺まで LoRA の効果がしっかりと反映されていることが見てとれます。

 このように領域の分割をシンプルにすることによって、指定した領域内にある人物や背景に LoRA を上手く適用することができるようになります。

 こちらで紹介しているように領域をいくつかに分割した上で、色々な LoRA を適用してみると面白いかもしれませんね。

 (追記)以下のページでも LoRA の適用例を掲載しています。ぜひご覧ください。

髪を虹色に変えて華やかに【Stable Diffusion web UI】
キャラクターの髪の色は定番の色に設定しがちです。そこであえて華美な虹色を採用することで新鮮みが生まれます。
「Regional Prompter」による描画領域の分割【Stable Diffusion web UI】
「Regional Prompter」という拡張機能を利用することで、複数の人物を任意の位置に配置して各人物に対して髪型や服装を指定することができます。
「flat」 LoRA による画風の変化と画像の精緻化【Stable Diffusion web UI】
「flat」LoRA はマイナス適用するという斬新な発想で画風を大きく変化させるとともに描き込みを増やして細部を精緻化させることを可能にします。
「Latent Couple」による人物の描き分け【Stable Diffusion web UI】
「Latent Couple」という拡張機能を利用することで、画面を分割して各領域ごとにプロンプトを効かせて、各人物をうまく描き分けることができるようになります。