内容が古くなっている場合があります。
2020.10.28 追記しました。
Photoshopにβ版ながらAIとクラウド処理を活用する［ニューラルフィルター］が実装された。使用感を手短に伝えるが、作例をどうするかやや困った問題と直面した。［ニューラルフィルター］は人物の表情、瞳の向き、顔の向き等々を変えられるだけでなく、肌の処理、メイク、人着にも対応している。肌のキメ処理などはよいとして、許可取りしていないモデルさんの表情を変えるのはどうかと感じた。
後述するが、つまりそれくらい自由度高く表情等を変えられる。下手をすると見世物になりかねない。さらに選択から漏れるようなカットほど効果てきめんでわかりやすいのだった。［ニューラルフィルター］を使用した「印象の短信」ということもあり手持ちの既存データを使っているので、「モデルさんの表情を変えるのはどうか」と感じるのだ。
このあたりを穏便に済ましつつ機能と使用感その他を伝えようと思う。
なお注意してもらいたいのは、［ニューラルフィルター］は現段階でβ版として提供されているもので、この記事で試用したのは2020年10月26日段階のものだ。同機能はクラウド上で処理されているうえに、逐次フィードバックを受けAIによる処理内容が変化する可能性が高い。このため以下で紹介する内容、試用した結果の画像に現れる効果は恒久的なものではないと理解したうえで解釈してもらいたい。
［ニューラルフィルター］とは何か
Adobe Photoshopに実装された［ニューラルフィルター］機能とは、人物の表情、年齢、毛の量、顔の向き、照明の向きといった被写体そのものとポージング、ライティング等に関わる基本形だけでなく、メイクアップ、モノクロのカラー化、肌のテクスチャー改善など多様な操作をAIで解析して、効果の程度をスライダーで選択できるようにしたものだ。
ポートレイト撮影後に「もうちょっと表情が……」「顔の向きがなあ……」などと不満が残ったとき後処理でどうにかならないかと夢のような願望を抱いたことはないだろうか。いままでは文字通り夢のような願望でしかなかったが、Photoshopの［ニューラルフィルター］は願望をかなり実現してくれるかもしれない。
Photoshopの［ゆがみ］効果に顔認識機能があり、顔のパーツごと大きく小さく広く狭くし、傾きを変えたりすることで顔を微調整できた。［ニューラルフィルター］では個別パーツを指定しないで［笑顔］度、［驚き］度、［怒り］度のプラス方向、マイナス方向への調整で表情をつくり、前述のように童顔化・高齢化等のほか顔の向きなども変えられる。
処理はクラウド上で行われるためレスポンスがよいと言い難いが、Photoshopの他の重い処理の待ち時間相当かやや時間がかかるくらいと思えば間違いない。
では［ゆがみ］で表情を修正するのと何が違うのか。
［ゆがみ］でパーツごと変形させたほうが劇的に顔が変わる。ここで言う「劇的」とは、人体の骨格・筋肉など基本形・標準形を無視した変形まで可能で、操作していると容易に破綻する可能性が高いのを意味する。顔が変わる＝変顔に容易に近づくのであって、操作にはほどよいさじ加減が求められる。つまり顔のバランスに頓着せず拡大したり角度を変えたり位置を変えるのが［ゆがみ］の機能だ。
［ニューラルフィルター］で表情を操作すると人間の顔の構造・バランスを維持したうえで面構えがかなり変化するが、これは［ゆがみ］でパーツを変形させるのとは結果があきらかに違う。違いは表情への効果だけでなく、笑顔の度合いを高めると口が開き、元写真にはなかった前歯が描き足され、視線の向きを操作をすると白目の中にある瞳が移動するのは［ゆがみ］では実現しようのないものだ。
毛量の増減、顔の向きについても人間の髪型、立体としての頭（顔）の形を理解したうえで変更を加えるので、Photoshopの様々な変形機能をつかって像を引っ張ったり縮めたりして変形させたものとは自然さがまるで違う。
このβ版が公開されるまでにAIは人間の頭部、顔、髪型、表情を学習してきたはずで、こうして得た表情などのパターンが適用され効果のあらわれかたを自然にしている。現段階では元画像の特性、効果をかける強さ、複数の効果を重ねがけしたときなど生成される像が破綻する場合があり、UIにはフィードバックを促すボタンやアラートも出るのでAIはさらに学習を続けていると考えてよい。
はじめて操作する人は、たぶんUIの最上段にある［笑顔］をおっかなびっくりプラス方向に動かして「たいして変わらない」と思うかもしれない。これは元画像の性質／モデルの顔立ちそのものや表情、撮影結果等の影響もあるし、［笑顔］というものの振れ幅への我々の感じ方が影響しているのもかもしれない。次に思い切り最大限スライダーを動かし「これじゃない……」と感じるかもしれない。そこで［笑顔］以外の［驚き］、［怒り］も同時に操作すると劇的に表情が変わって「やりすぎだろう」と匙を投げる人もいそうだ。
［ニューラルフィルター］は変顔製造マシーンではなく、［笑顔］・［驚き］・［怒り］は代表的な表情筋の動きに対して命名されたものだから、これらを微妙な塩梅で混ぜて加減するのが本来の使いどころだろう。ただし注意深く使っても「これはあの人の顔ではない」と感じるかもしれない。こうした心理は、顔面のパーツの動きや比率や形が変化することで顔が微妙に変わっているからかもしれないし、その人がしない・するはずがない表情のため違和感が生じるせいなのか（あるいは両方なのか）今後よく検討すべき点であると感じた。
［ニューラルフィルター］の使用例
思うところがあり、20数年前に撮影した（フィルム）写真をトリミングして元画像とした。ロケ中のスナップショット的カットなので様々な点でバランスが悪い。ここで明暗比が強すぎる画像を使用したのは照明効果がどれくらい効くのか検証するためであり、視線が向かって右側へ寄っているのは視線方向をこの位置からどれだけ自然に変更できるか試してみるためだ。多様な変更を例示したかったが効果が破綻する場合があり、被写体の尊厳を損ないかねないため掲載を見合わせたもの（適用パターン）がある。
2020.10.28 追記 / 記事掲載後さらにフィルターを試用することで、あきらかに「真っ正面向き」の顔でフィルターの適用結果がよいのが確実になった。全画面面積中の顔のサイズが小さい、はっきり描写されていないなど難しい局面でも自然な変更結果が得られやすい。また現在もAIが学習中なのか適用する時期によって変更結果が安定しないのかもしれないと感じるケースがあった。ただし、この点については断定を保留したいと思う。
［許可なく事例をダウンロードまたはキャプチャすること、これらを転載することを固く禁じる］
元画像
顔が傾き、正面向きでなく、向かって右側は被写界深度からはずれている。つまり傾きがなく正面向きでピンが行き渡っている写真以外で、どれだけ顔認識とパーツ認識が働き、どれだけ効果が得られるか確かめる意図がある。
以下、画像中央にある仕切りを左右に移動させて元画像との違いを確認してほしい。
では「笑顔にする」と方針を決めた上で、何がどうなるか確かめてみた。
元画像と笑顔＋20の比較
笑顔化へスライダーを移動させ、極端すぎる変化で表情が破綻する手前で止めている。口元を中心に変化し、他のパーツも表情筋の変化にともない変化している。元画像では口は閉じていたが、笑顔化によって開いた唇からAIが描画した前歯がのぞいている。
モデルさんには申し訳ないが、よい笑顔表現ではない。とはいえ被写体の人物がこのような表情をしても違和感はなく、他のカットにこうした表情が混じっていても不思議ではないくらいに自然だ。とはいえ更に効果を強めると表情がおかしくなる。
よい表情とは言い難いが［笑顔］のスライダーだけ動かし破綻する手前で寸止めした例として理解してもらいたい。
元画像と怒り-20の比較
表情のスライダーはプラス側へ動かせるだけでなくマイナス方向へも動かすことができる。
［怒り］のスライダーを＋へ動かすと表情が険しくなるが、マイナスへ動かすと穏やかな顔つきになる。元画像を怒り-20にしたのが上掲の写真だ。この段階では変化が少なく見えるかもしれないが、次に掲示する笑顔15・怒り-20のように複合的に使用したとき単なる笑顔のみの場合と表情があきらかに異なる。
元画像と［笑顔15・怒り-20］の比較
笑顔20から笑顔15に変更しているため口の開きが少なくなっているのもあるが、表情を穏やかにする怒り-20の影響があらわれ、単純に笑顔をプラス方向へ強めたのとは違う自然な感じが出ているかもしれない。
笑顔20と［笑顔15・怒り-20］の比較
最善の表情ではないが、微妙な塩梅で表情に差が出ているのがわかるはずだ。
元画像と［視線-20（向かって左側へ寄せる）・笑顔20・怒り-20］の比較
先ほどの笑顔＋、怒り－に加え、視線を向かって左へ寄せている。この操作で解像感が著しく低下したのもあったうえで、表情が大いに変化している。表情が移り変わる途中にシャッターを切ったときありがちな顔と言えばよいだろうか。ボツカット相当である。
そして被写体には申し訳ないが明らかに別人の顔になってしまった。
照明の向き-40（向かって右側からの照明効果）
照明の方向を変えることで、どれだけアンダーが自然に持ち上がるか試している。向かって右が明るくなったが、-40から最大の-50へスライダーを進めるとおかしな照明ムラが生じた。つまり、この画像では-40が最大効果と言える。
顔の向き31（向かって右側へ向ける）
顔の向きを向かって右側へ向け、より正面向きに近づけている。人体の構造と矛盾のない動きかもしれないが、モデルさんの正面向きの顔とはだいぶ違いが出てしまった。このような顔貌の方はいらっしゃるので、別人でもあるし違和感も伴っているが表情や顔のつくりは真っ当なのかもしれない。
「笑顔にする」のは至難の技だったので「笑顔に近づける」表情づけの試行錯誤の結果、次の画像を最終形としたい。ここまで見てきた方は、まだ釈然としないものを感じるだろうと思う。この慣れない作業を続けてきた私もまた、正直なところよくわからなくなっている（明日以降冷静になれば別かもしれないが）。
最終形とした画像
元画像と最終形の比較
道具として［ニューラルフィルター］はどうなのか
元にする画像の状態、被写体の表情しだいのところはあるが、現段階の［ニューラルフィルター］で思い通りに微妙かつ精巧な表情づくりをするのは難しい。はっきり言えるのは、撮影時にちゃんと最適化しておいたほうが速いし結果も良いということだ。［ニューラルフィルター］は魔法のツールだが、まだ完璧なツールではない。
［ニューラルフィルター］に感じた問題点を列記する。
1. クラウド上での処理を待つためレスポンスが悪くスライダーで変化の強さを変更しても途中段階の変化がわからないため、あてずっぽうに強さを決め、しばらく待って結果を見て、またあてずっぽうで修正する——の繰り返しになる。
2. 経験を積まないと各表情項目の変更で顔のパーツがそれぞれどのように変化するか、各表情項目の組み合わせがどのような効果を得られるかわからない。
3. （推測に過ぎないが）欧米人が表情を口元のかたちの変化で読み取る傾向を反映して、口周りの変化が顕著で日本人が重視する目元の表情の変化が小さいように感じられる。
4. まだ様々な項目で不自然が残る。
こうした現段階でのネガティブさを知ったうえで、［ニューラルフィルター］が可能な範囲まで仕事を進めたうえで出力し［ゆがみ］フィルターで最終調整するのがよいかもしれない（もしくは［ゆがみ］フィルターで基本形をつくって［ニューラルフィルター］で詰める）。［ニューラルフィルター］で作業してみるとわかるが、笑顔をつくろうとしてあと一息口角を上げたいが無理だったとか、険しい顔をつくろうとして目元がどうにもさまにならないなどという事態になりがちだからだ。
そして現状の［ニューラルフィルター］は元画像の微修正用にとどめるか、戯画・漫画的な面白効果として過剰で変な効果を逆手に取るかの２方向が使いみちかもしれない。繰り返すが［ニューラルフィルター］は魔法のツールだが、まだ完璧なツールではない。人間は人間の顔に対して敏感なので、上に示した例でわかるとおり何かが少しでも過剰であったり、感情推移の中途にあらわれる変化中の表情に対して強烈な違和感が生じる。そうでなくてもほんの少し何かが足りないだけで、つくり笑いや硬い表情に見えるものだ。
なお冒頭に書いたように、2020年10月に［ニューラルフィルター］が実装されたばかりのPhotoshopを使って機能を検証している。以後のバージョンや、クラウド処理の高度化後、AIが経験値を蓄えたのちまで当記事の内容が通用するかどうか不明である。
© Fumihiro Kato.
Unauthorized copying and replication of the contents of this site, text and images are strictly prohibited. All Rights Reserved.