内容が古くなっている場合があります。
構成
・なぜ素材なのか
・パノラマ合成
・雲ではない雲っぽい素材
・クロマキー合成的に使う
・空の置き換えからはじまるもの
なぜ素材なのか
写真から空の部分だけ別の空に（ほぼ自動で）置き換える機能がPhotoshopに実装された。空を完璧に範囲指定（抜き合わせ）できるばかりか、元画像とのなじみをAIによって調整された画像はデフォルトのままでも商用利用できるレベルに達している。
置き換える空はPhotoshop内にストックされている何パターンかの画像を利用できるが、これらを使えば別の誰かが合成した写真と「空」と「雲」のパターンがかぶるのを避けられない。いずれ人々がWEB上の写真やポスターなどを指差して「ああ、あれはPhotoshopの空を使っている」と粗探しに興じる日がくるだろう。
そもそもPhotoshopが提供する空は機能のお試し用と言ってよいものだろうし、売り物や作品で空の置き換えをするなら自前で用意するほうがよいのではないか。ストックフォトから空写真を買ってくる方法もあるが……。
空の素材を自前で撮影するのは技術的に難しい話ではない。そこそこ広めの画角で撮影してCamera RAWのままでも、これをDNG形式のRAWデータにしておいても、TIFFやPNGだろうとPSDだろうとなんだったら不可逆圧縮のJPEGで画像化して、空の置き換え時に素材として選択するだけだ。
そして［空の置き換え］はクロマキー合成の抜き合わせのようにも使える。合成する素材は空と認識されるものが含まれていれば（空の写真でなくても）使用できる。
このように空の素材を用意しようとか、空の素材としてどのようなものが使えるのかと考えると［空の置き換え］という機能はいったい何なのか、AIはどのような判断をして何をしているのかを理解したくなる。［空の置き換え］の本質がわかれば使い途の可能性が広がるはずだ。
この記事の最後に記すが、Photoshopの進化の方向性を考えると将来写真撮影は主たる被写体と状況をパーツまたはAIによるシミュレーションで合成する方向へ確実に向かうと予測される。
もちろん一発撮りの写真の価値は変わらないだろうし、むしろ希少価値はあがるかもしれない。しかしながら、写真がデジタル化されてハイダイナミックレンジ処理が使えるようになって、ドロドロに効果をかけるのはダサいとしても隠し味として明部・暗部の調整に使うのはあたりまえになったのを思い出してもらいたい。［置き換え］はこれくらい普遍的になり、素材づくりを意識するのもあたりまえになるのではないかと思われる。
パノラマ合成
空の素材づくりにパノラマ合成が使える。
画角が狭いレンズであってもパノラマとしてステッチ合成すれば広い範囲をひとつの画像に収められる。絶好の空模様と出会っても、広い画角のレンズが手元になかったりスマートフォンで撮影するほかないときなど、パノラマ合成前提なら広大な領域を記録できる。
空のみをパノラマ合成できるのか？ 1カットずつ隣り合うカットと重複部分があれば問題なくつなぎ合わせられる。重複部分を作らざるを得ないので撮影カット数だけ画角は広がらないが２カットで1.5〜1.7倍くらいの領域をつくれる。
標準〜中望遠くらいの画角なら、２段、３列くらいのカットを撮影しておけばかなり広い領域が撮影できる。横方向に３列だけでも使い勝手のよい素材になる。こうして撮影、合成したパノラマ画像は整形後そのまま使ってもよいし、優れた部分をトリミングするとか複数の素材を切り出すとかしてもよい。
ちなみにライカ判フルフレーム100mmで横３列の撮影をすると30mm程度の画角を持つレンズの水平画角に相当する範囲を画像化できる。50mmで横３列なら（合成を見込んだ重複部をどれだけ取るかもあるが）15mm程度の水平画角相当の範囲になる。つまり準広角レンズを使用するなら２段２列で相当な広さの空素材がつくれる。
建築物、自動車、構造物、人体や動物のほか水平線が写り込んだ写真をパノラマ合成すると、パノラマ投影法のうち「遠近法」で厳密に撮影して処理したもの以外は画像が繋がったとしても違和感を覚える歪みや傾きが生じるケースが多い。円筒法、球面法では歪曲させるのが前提なのであたりまえだ。空は多少ゆがんだところで異常に気づく人はいない。
パノラマ合成を未経験の人は億劫だったりハードルが高そうに感じるかもしれないが、敢えて厳密さをまったく考えず適当に撮影してみた例を次に示す。カメラは手持ちで重なりの部分を意識しつつも勘だけで２段、３列を撮影している。
ちなみに１カットで撮影できる空の様相は以下の写真程度の範囲に限られる。（合成後の左下隅に相当）
1カットごとつなぎを厳密に考えずラフに撮影したので２段、３列をすべて結合できず２カット無駄になっているが素材としては十分な広さになった。十分に広い素材を使うと、合成時に移動、倍率の変更が可能になって空の使いたい部分を的確にレイアウトできる。なおLightroom classicでは、この後通常のRAW現像が可能なので明るさ、調子、色調を調整可能だ。
ラフに撮影しても以下のように素材化できるので、もう少し厳密にやれば万全な素材がつくれるだろう。ラフでありながら１カットのみの撮影と比較して水平方向に３倍の画素数（画像サイズ）を持つ素材がつくれたのだ。
活用例
入れ替え前の画像の画角は準広角程度なので空素材の一部しか使用していないが、空の移動、拡大、縮小の自由度が高かった。
元画像
置き換え後
ちゃんとパノラマ合成をするならシフトレンズを使ったり、三脚に据えたカメラを水平に移動させたりする必要がある。だが空素材なら、一点に立ったままの手持ちで左右にカメラを振って水平方向のカットを撮影したり、仰角をつけて垂直方向のカットを撮影してもよい。
雲ではない雲っぽい素材
［空の入れ替え］がPhotoshopに実装されている他の範囲指定と違う点は、入れ替え前の画像から［空］を認識して範囲指定し、ここに素材の［空］と認識される部分を合わせるところにある。
空がまったく含まれない画像を素材として使おうとした場合どうなるか。トタンの色合いが、いかにもありそうな空の色だが……。
このトタン外壁を撮影した写真を空素材として登録しようとしたが、以下のようにアラートが表示され使用できなかった。
ではトタン外壁を撮影した写真を素材ではなく、元画像として［空］を検出させようとするとどうなるか。
このように空と認識されるものがない画像は、元画像にも素材にも使えない。
AIが空と判定する画像、雲ではないが雲っぽいものなら雲素材として使えるのではないか。
この画像はPhotoshopのフィルターで描画した雲模様だ。この画像を［空の置き換え］に適用させてみると以下のようになった。雲の代用品にはできないし、この合成が写真として意味があるとは思えないが、人工的に生成した模様を空の写真素材同様に使用できるのがわかった。
ところが、この画像にイラストや図形を書き加えるとAIは［空］と認識しなくなる。上掲の雲っぽい模様が水墨画のぼかしに似ているからと龍や雷神風神などをあしらったりすると、同じ雲模様でも［空］と認識されなくなる。
次のようなグラデーションもAIは［空］と認識する。
したがって雲がない朝焼け、夕焼けの赤らんだ部分と天頂近くの青く暗い部分をつなぐグラデーションはグラフィックソフト等で作成できる。ここに人工的に生成した雲、実際に撮影した雲を合成してもAIは空と認識してくれる。
クロマキー合成的に使う
［空の置き換え］は機械的に生成した色面やグラデーションを空と認識する。以前からある範囲指定の手法［色域］や［被写体］の指定と同様に使えるか、こうして範囲指定して置き換えを行うと違いがあるか入れ替える側、素材側双方で検証してみた。
元画像
ほぼ均一な明度を背景にしたカラーという植物の写真だ。均一な明度のため背景を簡単確実に抜けるので元画像として使用する。
この画像に［空の置き換え］を適用すると、背景と被写体の関係が認識され両者は分離される。そして背景を空（または空以外のもの）に置き換えることができる。空は前段落で紹介したパノラマ合成でつくった素材だ。
背景を人工的に生成したグラデーションにしたうえで、［空の置き換え］を適用してみる。
白背景から置き換えた例のように、前段落で紹介したパノラマ合成でつくった素材に置き換えた結果が次の画像になる。
画像上部のグラデーションの最暗部は空として認識されなかったが、他の部分は問題なく置き換えられている。つまりグラデーションの最暗部以外は被写体の背景にある空と認識されたが、最暗部は空ではあり得ない＝空以外の要素とされことになる。被写体の植物周りに発生しているぼかしは、AIが被写体と背景の馴染みを考慮して作成したものだ。
ではブルーバック同等の均一な青を背景に流し込んだ画像ではどうか。
この画像に［空の置き換え］を適用してみる。
置き換えた空の明度が前の例と異なっているが、これは元画像となる青い背景の濃度・明度をAIが暗い照明状態と認識した結果、暗い環境にある主たる被写体に合わせて空もまた暗くした結果だ。被写体の明るさ等はいくらでも調整できる。
ではグリーンバックならどうなるか。
緑色であっても［空］と認識されたが、ぼかし領域に不自然な色が残った。
このぼかしは［エッジをフェード］の値を０にしてほぼ消せたが、画面下側の茎と茎の間にあるもっとも彩度が高い部分は消せなかった。
AIは空そのものでなくても、人工的に生成したグラデーションや色面でも「背景」の「空」と認識するようだ。
ここまではあきらかな空素材を適用させたが、次は風景しかも空と認識されるか怪しそうなものを使用してみた。どんより暗い冬景色の写真だ。
結果は以下のようになり、空として背景にされた画像を移動させると雪が積もった地面などを構図に入れられた。
Photoshopには［空の置き換え］以外に［選択範囲］→［空を選択］が実装され、空を検知するアルゴリズムは共通だと思われる。したがって［空の置き換え］から操作しなくても、［選択範囲］→［空を選択］で青い背景を選択させた後に画像を合成するのも可能だ。この場合は、青の濃度・明度を判断されて置き換える背景の明るさが変わることがない。
空の置き換えからはじまるもの
［空の置き換え］は風景写真などの空を置き換えるだけでなく、スタジオで撮影した背景が単色色面の写真にも適用できるのがわかった。また［空］を置き換えるとする機能だが、素材に空さえ含まれていれば風景そのものを使用できるのもわかった。人工的に生成した画像も素材として使えた。
ただし［空］が存在しないと的確に指摘される写真があったし、［空］ではないと指摘される素材もあった。
一連の検証からAdobeは、スタジオで撮影した単色色面背景のポートレイトやブツ撮りの背景を空に変えられるようAIの学習を誘導したのがわかる。そのかわり空がない風景写真、背景が何らかの物体で埋め尽くされている静物写真は誤認識しないようにちゃんと学習させている。
そしてグラデーションや人工的に生成した雲パターンを［空］と認識するようにしているところに意図的なものを感じる。
ここ数年のPhotoshopの進化は、画像の基本特性を編集する部分が成熟したこともあって範囲指定の自動化・精緻化へ向かっている。自動化・精緻化の背景にはAIの進化がある。
前述のスタジオで撮影して背景を空に置き換える作業は、［空の置き換え］を使わずとも［選択範囲］で活用できるさまざまなツールで抜き合わせができる。［被写体を選択］の進化版であろう［選択とマスク］ツールは自動認識と作業者の手作業との連携で簡単かつ意図通りに範囲指定できる優れものだ。［空を選択］というツールも実装された。［空を選択］ツールは置き換えまではしないというだけで、範囲指定もアルゴリズムは［空の置き換え］と共通している。
こうした流れをスタジオ撮影でも抜き合わせが可能な［空の置き換え］と併せて考えると、いずれ近いうちにグリーバック等が必要なクロマキー合成にとってかわるツール、単に被写体と背景を分離したり［空］に置き換えたりするツールではなく、様々なシチュエーションや光線状態に変更するツールが登場するのは間違いないように感じられる。
β版だがAIを活用する［ニューラルフィルター］も提供されているのがPhotoshopだ。
［ニューラルフィルター］では顔の表情、顔の向き・視線方向（ポージング）、ライティングの方向を変更できる。背景のボケと空気感、これらに伴う色調の変化もシミュレーションできるのだ。
© Fumihiro Kato.
Unauthorized copying and replication of the contents of this site, text and images are strictly prohibited. All Rights Reserved.