展示会キービジュアルの作り方（メイキング）
今回は展示会キービジュアルの作り方（メイキング）を、【 Departure 】の主人公二人に解説してもらいます。
kirariキラリです。こんにちは！
Rucakoルカコです。宜しくお願いします。
キービジュアルのテーマ
「テクノロジー（AI）と我々が”鏡の表裏関係”にある」という
動画のテーマを表現した、2枚(2人)が対になるキービジュアルです。
kirariはじめに、キービジュアルは鏡越しの私たちを描いたイラスト画像です。同じ構図を２枚別の視点で描くのは2Dイラストでは大変ですが、3Dであれば容易に作れます。
Rucakoテーマと表現手段(AI)がリンクする構造は本編【Departure】にも伺えるので、適切なキービジュアルと言えるのではないでしょうか。
AIによる画像生成
Rucakoレイアウトは３Dで行い、AIによる画像生成で質感を補強しています。使用したAIは、3D的な考え方が得意なので、相性の良い使いかただと思います。
kirari誰でも無料で使えるのも魅力ですよね。
Rucakoそうなんです。PCをお持ちであれば無料で使用可能です。興味があるかたはこれを機会にAI画像生成を始めてみてはいかがでしょうか。
【3D】キャラクターを呼び出す
Rucakoそれでは、キャラクターデータの呼び出しから始めましょう。
こちらが3Dで作成された私たちのモデルデータです。
kirari本編【Departure】では私たちは別々の場所にいたので、２人が並んでいるのは新鮮ですね！
AIがポーズを読み取るための骨
Rucakoこの3Dモデルに、AIがキャラクターのポーズを読み取るための骨を追加したものがこちらです。
kirariこのカラフルな骨のことをもう少し知りたい人は以下のページをご覧ください。
–ちょっと技術的な話– 読みたくない人はここをクリック
kirariモデルはAutodeskMayaで制作されています。これは本編【Departure】で使われたものと同じです。
Rucako画像生成はStableDiffusionWebUI(Automatic1111)を使用します。3DからControlNet画像を生成する手段としてBlender用「Openpose for blender 」を検討しましたが、既存のMayaでのレンダリング環境をそのまま使いたかったのでBlenderへの移行は見送りました。
kirariBlenderのレンダラーも非常によくできているのですが…恐らく多くのCGプロダクションがこのようなジレンマを抱えている現状と思われます。
RucakoセットアップはAdvanced Skeletonを使用しています。これは本編の段階で既に組まれていたリグです。そのリグに、OpenPose用のオブジェクトをコンストレイントしています。
RucakoAdvanced Skeletonのフェイシャルリグの位置とOpenPoseのFaceポイント位置が類似していたので、構造をそのまま活かすことが出来ました。
Rucako色はマテリアルカラーではなく頂点カラーを使用しています。制作者がゲーム業界初期に大変お世話になった古（いにしえ）の技術です。容量が減るので今回はこちらを使います。
Rucakoサーフェースシェーダーの出力カラーにaiUserDataColorノードをコネクトするとArnoldレンダラーで頂点カラーを確認できます。
kirari無事私たちにAI用の骨が付加されました。
Rucako公開されている情報も少なく実験的な試みなので、今後もAIが読み込みやすい色や形になるように試行錯誤していきます。
【3D】キャラクターの配置
キャラクターにポーズをとらせる
Rucakoこちらがキャラクターを配置した状態です。
皆さんがお察しの通り、鏡越しに私たちが同じポーズをとっています。
kirari力業のように思われるかもしれませんが、実オブジェクトで鏡面反射を表現する手法はゲーム業界では伝統があり、今でも使われる手法です。
カメラの位置を微妙にずらして
kirari上から見た状態です。緑と白の線がカメラの位置と方向を示しています。位置をわざとずらして、２枚の画が並んだ際の過度な繰り返し感を軽減しています。
AIは指がうまく描けない
kirari手はAIが苦手な個所です。今回の指は特に再現が難しそうです。出来上がりがうまくいくかドキドキしますね。
壁モデルの配置
kirari私たちを隔てる壁は本編【Departure】には無い素材なので新規で作成しました。
Rucako壁の質感の作り方を別ページで解説しています。こちらもよろしければご覧ください。
【3D】画像を生成する
kirariレイアウトが終わった後は、3Dでの画像生成を行います。絵的な要素以外に、AIが読み込むための様々な要素を追加で生成します。
Rucako１度に沢山の要素を生成してくれるのも3Dの有難い機能ですね。
Rucako生成する画像の大きさは832×1180です。印刷用としては小さいのですが、AIは大きな画像を読み込めないので、最終段階で画像を拡大します。
–ちょっと技術的な話– 読みたくない人はここをクリック
何故exr形式のフォーマットを選んでいるの？
kirariStable Diffusion WebUIのControlNetはexrを読み込めないのでは？と思ったあなたは非常に鋭い目をお持ちですね！
Rucakoexr形式による出力は、必ずしも必要という訳ではありません。今回exrを選んだ理由はDepth(深度）情報を出力する際8Bit（256段階）ではダイナミックレンジが足りず白飛び（黒潰れ）してしまう可能性があるためです。
kirari一度色域を担保できるexrで書き出し、PhotoshopでDepthの色域を調整したうえで最終的にPNG形式に変換して、Stable Diffusionに読み込ませています。
【3D】生成画像の確認
Rucako3Dで生成した画像です。今回は合計６種類用意しました。
kirari人間にとってはよくわからない画もありますね。
RucakoAIが情報として読み込む要素なので、私たちは意味を理解しなくてもよいですよ。次のステップではこちらをAIに読み込ませます。
【AI】呪文（言葉による指示）を与える
kirariAIのツールを起動します。最初にAIに呪文（言葉による指示）を与えます。
Rucako下の２つのウィンドウでAIに描いてほしい要素と描かせない要素を指示します。
Rucako描いてほしい要素に”Rembrandt van Rijn style“(レンブラントのスタイル）という言葉がありますが。AIがレンブラントの絵画を学習していなければ指示通りの画を描いてくれません。
kirari今回のAIはコミック系のイラストを多く学習している子なので、あまり期待はせず、おまじない程度の呪文（指示）という感じですね。
Rucakoそれでもレンブラント風に描かせたい場合は“dynamic lighting” (ダイナミックな照明),“mimicking a Baroque masterpiece” (バロックの傑作を模倣して)など、レンブラントの絵画の特徴を文字化します。AIとのコミュニケーションの楽しいところであり、難しいところですね。
【AI】AIに画像を与える
Rucako次にAIに対して画像による指示を与えます。先ほど3Dで生成した6種類の画像から、今回は3種類を使用しました。
kirari最初にライティング込みの画像、次に骨（ポーズ）の画像、最後にカメラからの距離の画像をセットしました。
【AI】画像を生成する
Rucako画像生成した結果はこちら（右側）です。3Dで作ったポーズを崩さずにAIが細部を描き込んでくれましたね。
kirari３Dの私たちは固い印象だけど、手描きの柔らかさが出て女性っぽい印象が付加されましたね！！
Rucako心配していた指の表現も破綻がなくて安心しました。
【AI】生成画像の確認
画像の高解像度化
kirari最後に画像を大きくします。キービジュアルは印刷物用画像なので高解像度化は必要な作業ですね。
Rucako具体的な方法は別ページにまとめました。興味がある方は是非ご覧ください。
締めの言葉
kirari今回のキービジュアルのメイキング解説は如何でしたか？
Rucako実展示室は2024年4月14日に終了いたしました。お越しくださいました皆様誠に有難うございます。
kirari今あなたがご覧になっているWeb展示室はアーカイブとして暫く公開継続いたします。このページを楽しんでいただければ私たちもとても嬉しいです。
【おまけ】OpenPose_HIK for Maya【free data download】
kirari今回ControlNetの読み込みで使用したMaya用OpenPose用のオブジェクトデータを公開します。Human_IKにコンストレイントしてありますのでご興味のあるかたはリターゲットしてお使いください。
