深度合成の光学と計算科学：DOF・回折・焦点推定を数式から理解する

深度合成をデータ立方体として考える

焦点位置だけを変えて撮影した連番は、二次元画像の束ではなく、x、y、zの三次元データです。各フレーム番号kは物理的な焦点位置z_kに対応し、各画素には色だけでなく「その焦点位置で、どの空間周波数がどれだけ伝達されたか」が記録されています。Shape from Focusはこの応答から表面深度を推定し、extended depth of fieldは推定結果を使って全焦点画像を再構成します。

重要なのは、観測された画像が真の表面テクスチャそのものではないことです。物体の放射・反射分布がレンズの点像分布関数PSFで畳み込まれ、センサーで標本化され、デモザイクと階調変換を経た結果です。したがって、焦点評価は光学・センサー・現像の全段を含む観測モデルに対して行われます。

薄レンズ式、共役距離、撮影倍率

近軸光学では、焦点距離f、物体側距離s、像側距離s'の関係は薄レンズ式で表せます。無限遠ではsが十分大きくs'はほぼfですが、マクロ域ではsとs'の両方が有限になり、センサー上の像寸法が急速に大きくなります。撮影倍率mは像寸法と物体寸法の比であり、薄レンズ近似ではs'/sに対応します。

1:1、すなわちm=1では、被写体の1 mmがセンサー上でも1 mmになります。センサーサイズが異なっても光学倍率mそのものは変わりません。小さいセンサーで被写体が画面を大きく占めるのは画角と記録範囲の違いであり、倍率の定義とは分けて扱う必要があります。

実効F値と瞳倍率：マクロで暗くなり回折が増える理由

レンズに表示されたF値Nは、基本的に無限遠近傍での焦点距離と入射瞳径の比です。近接撮影では像側距離が伸びるため、センサーから見た光束の角度が狭くなり、実効F値N_effが増加します。対称レンズの近似ではN_eff=N(1+m)ですが、実レンズでは入射瞳と射出瞳の比である瞳倍率Pを含める必要があります。

実効F値が増えると、単位面積あたりの照度が下がり、同じシャッター速度を保つには光量またはISOが必要になります。同時に回折像も大きくなるため、「被写界深度を増やすために絞る」操作は、マクロ域では予想以上に早く微細構造を失わせます。

幾何光学的DOF：許容錯乱円は物理定数ではない

幾何光学では、焦点面から外れた点はセンサー上で円盤状のぼけになります。その直径が許容錯乱円c以下である範囲を被写界深度DOFと定義します。しかしcはレンズ固有値ではなく、センサー画素、出力サイズ、観察距離、要求解像度で決める品質基準です。Web縮小画像と研究記録の100%表示では、同じ撮影でも許容cが違います。

高倍率で前後がほぼ対称とみなせる範囲では、物体側DOFはおおむねmの二乗に反比例します。倍率を1倍から2倍へ上げると、他条件が同じでもDOFは概ね4分の1方向へ縮みます。ここに実効F値と瞳倍率が入るため、単純な「F値だけ」の表は撮影設計として不十分です。

波動光学的DOF：Airy disk、PSF、OTF、MTF

有限径の開口を通過した光は回折し、理想的な点光源もセンサー上ではAiry patternになります。Airy diskの大きさは波長λと実効F値に比例し、絞るほど大きくなります。緑色光を基準にしても、青・赤では回折像の大きさが異なり、レンズの色収差とセンサーの色フィルターを通じてRGB各チャンネルの焦点応答は一致しません。

PSFのフーリエ変換がOTFで、その絶対値がMTFです。ピントが外れると高周波の伝達が先に落ちますが、周波数によって応答曲線の形が違います。このため単一サイズのLaplacianだけでは、太い胴体の面、細い体毛、周期的な鱗粉を同じ精度で評価できません。マルチスケール焦点評価が必要になる物理的理由はここにあります。

センサー標本化とNyquist：画素数は解像度そのものではない

センサーの画素ピッチpは、記録できる最大空間周波数を制限します。Nyquist周波数より高い模様は正しく記録できず、偽色やモアレとして折り返します。一方、Airy diskやレンズMTFが十分に大きければ、画素だけ細かくしても新しい物体情報は増えません。光学系とセンサーの帯域を揃える必要があります。

一般的なカラーセンサーはBayer配列などの色フィルターを持ち、一画素が全RGBを直接測るわけではありません。デモザイクは近傍から欠けた色を推定するため、細い毛や規則的な鱗粉で色付きの微細構造を生成することがあります。焦点スコアが偽色へ反応しすぎないよう、輝度・色・空間スケールの扱いを分離する設計が重要です。

Zサンプリング：枚数ではなく合焦応答を標本化する

深度合成のステップ幅Δzは、被写体の全奥行きを枚数で割って決めるものではありません。Z方向に変化する焦点スコア曲線を、ピークの位置と形が再現できる密度で標本化する問題です。間隔が広すぎるとピークを飛び越し、どのフレームにも十分な高周波が存在しない欠落帯が生まれます。細かすぎると撮影時間、動体差、照明ドリフト、データ量が増えます。

実務では、要求する最小構造について、隣接フレームの合焦帯が重なるようにします。幾何DOFの半分前後を初期値にする方法は有用ですが、最終判断は実写の焦点曲線で行うべきです。高倍率、低コントラスト、半透明、周期模様では重なりを増やします。

光量、ショットノイズ、照明の時間安定性

焦点評価は局所コントラストを測るため、ノイズも高周波として誤検出します。光子数N_photonに支配されるショットノイズの標準偏差は概ね√N_photonで、信号対雑音比は√N_photonに比例します。光量を4倍にするとショットノイズ限界のSNRは約2倍です。ISOを上げても入射光子は増えないため、可能なら照明、露光時間、開口、センサー飽和の範囲で光子数を確保します。

スタック全体では平均光量だけでなく時間安定性が重要です。LEDのPWM、商用電源フリッカー、発熱による出力低下、ストロボ充電状態はフレーム間のコントラストを変えます。露出差を後から揃えても、飽和したハイライトとショットノイズ分布は元に戻りません。マニュアル露出、固定ホワイトバランス、安定後の光源を使います。

ディフューザーは単に影を薄くする道具ではなく、被写体から見た光源の角度分布を設計する装置です。大きな面光源は光沢部の反射像を広げ、飽和点を減らします。交差偏光は表面反射を抑えますが、構造色・金属光沢・半透明部の見え方を変え、光量も失うため、標本記録では偏光あり／なしを比較します。

撮影機構：レンズ駆動、カメラ移動、標本移動、テレセントリック

カメラのフォーカスブラケットは高速ですが、内部レンズ群が動くことで画角と歪曲が変わるfocus breathingを伴います。カメラをレールで前後させる方法はレンズ状態を固定できますが、視点自体が移動するため遠近関係が変化します。標本側を光軸方向へ動かす方法はカメラとレンズを固定できますが、照明との相対位置や支持具の振動に注意が必要です。

テレセントリック光学系は物体距離または像距離の変化に対する倍率変動を抑えられ、焦点解析に理想的です。一般のマクロレンズは非テレセントリックなので、焦点移動に伴う倍率差を位置合わせで補正します。ただし補間を行うたびに高周波は変化するため、撮影時に幾何変化を小さくすることが最良の前処理です。

RAW前処理：合成前に変えてよいもの、固定すべきもの

焦点スコアを比較する画像は、フレーム間で同じ伝達関数を持つ必要があります。自動露出、自動コントラスト、フレーム別ノイズ低減、局所トーンマッピング、可変シャープネスを混ぜると、処理差を合焦差と誤認します。色収差補正やレンズプロファイルも、全フレームへ同じ幾何モデルで適用できる場合に限ります。

VerimisStackのRAW経路は16bitへ展開し、カメラホワイトバランスを使い、自動増感を行わず、同じデモザイク条件で各フレームを処理します。ここで目的にしているのは写真を派手に仕上げることではなく、Z方向比較の測定条件を揃えることです。露出補正は任意であり、通常は撮影時に揃っている入力を優先します。

JPEGはガンマ、輪郭強調、ノイズ低減がすでに入っています。それでも十分な光量と高品質設定なら実用的ですが、焦点曲線の絶対形状はRAW/TIFFと同じではありません。形式を混在させず、同一スタックは同じ現像経路で統一します。

位置合わせ：位相相関、特徴点、ECCを一つの候補系にする

位置合わせの第一目的は、同じ物体点が全フレームで同じ座標へ来ることです。大きな平行移動にはフーリエ位相相関が強く、回転・倍率差・部分的な構造変化には局所特徴点が初期値として役立ちます。ECCは画像間の正規化相関を最大化し、アフィン変換をサブピクセルで詰めるのに向きます。どれか一つを絶対視せず、初期候補と精密化を分けます。

VerimisStackの強化位置補正は、スタック中央付近を基準に、前後へ隣接フレームをたどります。位相相関、回転に強いバイナリ特徴、直前変換などから初期候補を作り、画像相関で候補を評価した後、複数解像度のECCで精密化します。変換行列の行列式、軸別スケール、移動量、相関、前フレームからの不連続を監視し、異常な解を採用しません。

大きな手ブレを補正すると画面端に無効領域が生まれます。全フレームの有効マスクを積み重ね、最大の共通長方形を求めてクロップすることで、端に黒帯や別フレームの境界が残るのを防ぎます。これは背景を消す処理ではなく、全入力が実在する座標領域を保証する処理です。

焦点評価：単一Laplacianでは足りない

合焦画像は高周波を多く含むため、Laplacian、勾配エネルギー、局所分散、バンドパス応答などが焦点尺度として使われます。しかし、Laplacianはノイズと飽和境界に敏感、勾配は方向性の強いエッジへ偏る、分散は模様の有無に依存するという弱点があります。窓が小さすぎればノイズ、大きすぎれば深度境界の混合が支配します。

VerimisStackは複数スケールで、二階微分、Scharr系勾配、Laplacian、帯域差、局所分散、構造テンソル由来の方向一貫性を観測します。各スケールの応答を局所コントラストとノイズ床で正規化し、太い面と微細構造のどちらかだけが支配しないよう統合します。PMax向けの細部評価とDMap向けの安定評価は、共通観測を再利用しつつ異なる空間支持を持ちます。

ここで公開しないのは、スケール集合、各観測の重み、百分位クリップ、局所正規化の係数、被写体別プリセットがそれらをどう変更するかです。重要な設計原理は、焦点を一つのエッジ強度ではなく、空間周波数と局所統計の合意として測る点にあります。

Z方向の焦点曲線：argmaxだけで終わらせない

各画素pについてS_k(p)をフレーム方向へ並べると焦点曲線が得られます。単純な最大値argmaxは高速ですが、一枚だけのノイズピーク、周期模様の複数ピーク、露出差、ステップ欠落に弱い方法です。真の合焦ピークは通常、近傍フレームにも連続した支持を持ちます。

VerimisStackはZ方向の近傍支持を使い、単発ピークより連続したピークを優先します。信頼度は最大値と競合ピークの相対差だけでなく、ピーク前後の曲率からも評価します。鋭く孤立した最大値と、幅広く曖昧な最大値を同じ確信度として扱わないためです。

任意の光学補助を有効にすると、EXIFからカメラ、レンズ、F値、焦点距離を読み、ユーザーのフォーカスステップと位置合わせで観測した倍率変化を組み合わせ、フレーム番号を非一様な光学Z座標へ写像します。これは画像の焦点証拠を置き換えるAI推測ではなく、Z方向平滑化の距離尺度を撮影系へ合わせる弱い事前分布です。

DMap：焦点ラベルをエッジ保存型エネルギーで最適化する

生の焦点ラベルは画素ごとに独立しているため、低コントラスト面で斑点状になります。DMapでは、各候補ラベルの焦点スコアをデータ項、近傍深度の連続性を平滑化項、元の強い証拠から離れすぎない拘束を保持項として最適化します。画像エッジを跨ぐ近傍結合は弱くし、同じ面の内部では強くします。

VerimisStackは現在ラベル周辺の候補を反復評価し、焦点スコア、エッジで重み付けした深度差、初期ラベルからの距離を比較します。高信頼画素と微細エッジは保持し、低信頼かつ低ディテールの領域だけを強く平滑化します。変更が収束した領域を再計算しない差分走査で速度を上げていますが、評価エネルギー自体は変えません。

この段階の難所は、体毛のような細線をノイズと誤認して消さないことです。ガイド画像の勾配だけでなく、焦点信頼度と局所ディテールを保持条件に含め、深度島を消す処理と微細構造を守る処理を同じ場所へ無条件に適用しません。

PMax：空間周波数ごとに最良係数を選ぶ

DMapが「一つの画素へ一つの深度ラベル」を基本とするのに対し、PMax系は画像を複数の空間周波数帯へ分解し、帯域ごとに強い係数を選べます。太い輪郭は粗いレベル、体毛や鱗粉は細かいレベルで別々のフレームから来るため、微細構造を強く残せます。

VerimisStackはDMap再構成を低周波の安定基底にし、各入力のGaussian/Laplacian pyramidから周波数帯別の係数候補を評価します。粗い面では広い支持でノイズを抑え、細いridge状構造では狭い支持へ切り替えます。必要な品質設定では、DMap深度近傍との整合も使い、離れた背景の強いエッジが前景の毛へ侵入する確率を下げます。

最大係数を無条件に取るだけでは、ノイズ、デモザイク偽色、ぼけ輪郭の高コントラストまで選ばれます。そこで周波数帯の支持、近傍深度、係数の一貫性、粗細スケール間の合意を組み合わせます。どの条件で細部チャネルへ切り替えるかはVerimisStack固有部分として公開しません。

Hybrid：信頼度とエッジ証拠でPMaxとDMapを統合する

PMaxは細部を強く出せますが、低信頼領域のノイズやハロも拾いやすくなります。DMapは面と階調を自然に保ちやすい一方、深度境界を誤ると細線が欠けます。Hybridは固定50:50ではなく、画素ごとの焦点信頼度と両結果のエッジ証拠から混合率を決めます。

VerimisStackでは、PMax側がDMapより明確な構造を持ち、かつ焦点証拠が十分な場所ではPMaxを強めます。低信頼で構造差が乏しい面はDMapへ戻します。混合率を空間的にわずかに連続化して、選択マスクそのものが新しい輪郭にならないようにします。最高精度と高速モードでは、利用するスケール数と最適化範囲が異なります。

ハロ、ゴースト、二重毛、面ノイズを原因別に分ける

明るいハロは、前景がぼけたときに本来の輪郭より外へ広がるPSFと、背景側の合焦フレームを同じ座標で競合させることで生まれます。二重毛は位置合わせ誤差、被写体運動、異なる深度から選んだ周波数帯の不一致が主因です。面ノイズは焦点スコアがセンサーノイズやデモザイクを微細構造として選ぶと発生します。症状は似ていても対策は別です。

VerimisStackは低信頼面のスペックル、深度境界、PMaxとDMapの不一致を別の信号として扱います。ただし、どの入力にも鮮明な脚先がない、撮影中に脚の形が変わった、前景に隠された背景を復元したい、といった場合は観測情報が存在しません。補正は既存フレームから一貫した候補を選ぶもので、存在しない解剖構造を生成する処理ではありません。

Pro版の手動レタッチはこの限界に対する明示的な操作です。完成画像と選択元フレームを同じ位置・倍率で表示し、ユーザーが観測済みの画素を戻します。自動処理の確信度が低い場所を人間が元画像で検証できることは、ブラックボックス補完より研究・標本記録に向いています。

速度設計：精度を落とさずに計算を減らす

フォーカススタッキングの計算量は、画素数P、フレーム数K、スケール数Sに概ね比例し、ピラミッドと深度候補探索が加わります。全フレームを同時にRAMへ置く設計は高解像度RAWで破綻しやすいため、VerimisStackはスコア体積をメモリマップし、画像は必要順に読みます。デコード、純粋な前処理、TIFF書き出しを限定的に先読みし、共有配列の更新順は固定します。

焦点スコアと最良・次点更新のホットパスはネイティブCでも実行でき、NumPy配列へ直接書き込みます。深度最適化は、前反復で変化した画素とその近傍だけを再評価する方式へ切り替えます。ピラミッドでは選ばれないフレームや使われないレベルの読み込みを省きます。これらは評価関数を簡略化する高速化ではなく、同じ結果に不要な計算を減らす高速化です。

Free、Studio、Proの5〜10分級モードではスコア解像度、ピラミッド段数、最適化反復、出力物を抑えます。最高精度では原寸スコア、より広い周波数支持、追加の深度最適化、レタッチレイヤーを許可します。時間を掛ける場所は一律ではなく、誤りが最終像へ伝播しやすい焦点選択と境界へ集中させます。

撮影から合成までの研究用プロトコル

再現性を求める場合は、完成画像だけでなく撮影・現像・合成条件を記録します。カメラ、レンズ、倍率、絞り、実効F値の見積もり、光源、偏光、ステップ方式、ステップ幅、枚数、シャッター、ISO、RAW現像条件、位置合わせ方式、品質プロファイルを残します。

最初に短いZ走査を撮り、代表的な毛・鱗粉・複眼・平坦面についてフレーム別焦点スコアを確認します。ステップ欠落があれば本番前に直します。合成後は全体縮小像ではなく、前景境界、細線交差、反射面、低テクスチャ面、画面端を100%表示で検査します。PMax、DMap、Hybrid、深度、信頼度を並べると原因工程を分離できます。

• 入力順と最前面・最奥面の到達を確認する
• 全フレームで露出、色温度、シャープネス、ノイズ低減を固定する
• 要求する最小構造のZ方向ピークが隣接フレームへ連続しているか確認する
• 位置合わせ後の共通有効領域と倍率変化を記録する
• 焦点信頼度の低い場所を元フレームへ戻って検証する
• 競合比較では同じ入力、出力解像度、処理時間、レタッチ有無を開示する

深度合成で原理的に解けないもの

深度合成は単眼の焦点系列から情報を得るため、テクスチャのない完全な一様面では焦点位置を強く決められません。鏡面反射のハイライトは物体表面へ固定された模様ではなく、視点・光源・法線で移動します。半透明体では複数深度の光が同じ画素へ重なります。これらは通常の不透明Lambert面を仮定した焦点評価から外れます。

遮蔽で一度も見えない背景、動いて全フレームで形が違う脚、全フレームで回折・ブレに埋もれた毛は、選択アルゴリズムだけでは復元できません。AI生成で見た目を埋めることは可能でも、標本記録として観測事実とは区別する必要があります。VerimisStackの基本方針は、まず撮影済み情報から最も整合する解を選び、必要なら元フレームを指定してレタッチすることです。

したがって最高画質は、ソフトの強さだけでなく、光学帯域、Zサンプリング、SNR、幾何安定性、被写体運動の積で決まります。深度合成は撮影後の救済ではなく、撮影系と推定系を共同設計する技術です。

VerimisStackについて公開する範囲

公開できる設計は、16bit統一入力、候補生成と精密化を分けた位置合わせ、複数スケールの焦点観測、Z曲線の連続性、ピーク形状からの信頼度、エッジ保存型DMap、周波数帯別PMax、信頼度駆動Hybrid、ネイティブ・ストリーミング高速化です。これらは学術的に説明可能で、出力を検証するために必要な情報です。

一方、各被写体クラスでモヤ・ハロ・二重毛を抑える係数、品質プロファイルが切り替えるスケールと探索幅、候補棄却の複合条件、深度境界と細線が競合したときの優先規則、実写セットから得た失敗パターンは製品固有のノウハウとして非公開です。アルゴリズム名の羅列ではなく、どの観測を信頼し、どの誤差をどこで止めるかが差になります。

この記事はVerimisStackを再実装する仕様書ではありません。ユーザーが撮影条件を設計し、出力の失敗原因を読み、研究・制作で結果を説明できるための技術文書です。