拡張現実での被写界深度の拡大

Mar 27, 2023

Scientific Reports volume 13、記事番号: 8786 (2023) この記事を引用

238 アクセス

1 オルトメトリック

メトリクスの詳細

３Ｄ表示装置は、奥行き情報を持った画像を表示する。 両眼視差に基づく従来の 3D 表示デバイスは、特定の画面の奥行きにのみ正確に焦点を合わせることができます。 通常の状況では人間の目の被写界深度 (DOF) が狭いため、比較的広い範囲の仮想深度領域を提供する 3D ディスプレイでは、鮮明な 3D 画像が表示される DOF に制限があります。 この問題を解決するには、自由度を拡大するための光学条件を見つけ、それに関連する現象を解析する必要があります。 このため、レイリー基準とストレール比を使用することにより、この DOF の拡張の基準が提案されます。 フラットパネルディスプレイを使用して、DOFを効果的に拡張できる実用的な光学構造を考案しました。 この光学構造は、ニアアイディスプレイの分野における AR、VR、MR に応用できる可能性があります。 この研究結果から、将来的に自由度が拡大された3D画像を提供する3Dディスプレイの基本的な光学条件と規格が提案されます。 さらに、これらの条件や基準は、さまざまな分野の3Dディスプレイ開発において、要求される性能を実現するための光学設計にも適用できることが期待されます。

メガネ型またはメガネ不要のステレオタイプ 3D ディスプレイなどの 3D ディスプレイは、通常、両眼視差を提供します1、2。 さらに、運動視差を提供するために、観察者の位置情報をフィードバックとしてソフトウェア処理に使用することができます3,4,5,6。 マルチビュー 3D ディスプレイを使用すると、光学的に運動視差を提供することもできます 7、8、9、10、11。 さらに、人が自然環境で物体を見つめるとき、両目からの視線は物体の位置に集まり、網膜の中心窩に注視点が形成されます。 同時に、目は輻輳の深さに焦点を合わせて、網膜の像が鮮明になるように水晶体の厚さを調整します。 このように、人間の目では輻輳と調節の連動作用が自然に行われています。

３Ｄ画像の場合、両眼視差画像により奥行き感を与えることもできる。 3D 画像認識は、両眼効果と単眼効果を組み合わせることによって実現されます。 単眼効果には、フォーカス制御の効果があります。 しかし、3D画像を観察する場合、人間の目が調節によって網膜上に鮮明な像として知覚する仮想物体の奥行き範囲は、瞳孔幅3mmで平均約±0.3ジオプトリーであることが知られています12。 したがって、±０．３ジオプトリを超える焦点深度を有する３Ｄ画像が３Ｄディスプレイから提供される場合、網膜上の画像のぼやけにより、観察者は、そのような差がある提供された３Ｄ画像から全体の鮮明な３Ｄ画像を見ることができない。深く。 つまり、輻輳調節衝突（VAC）が発生します13,14。 このVAC現象は目の疲労を引き起こす可能性があるため、表現できる3D映像の奥行きには必然的に限界があり、3D映像の応用範囲も限られてしまう。 したがって、一般的な３Ｄ画像においてＤＯＦを拡大した場合、単眼画像は、拡大されたＤＯＦ領域における画像の奥行き情報に関わらず、常に鮮明な画像を示す２Ｄ画像であるといえる。 しかし、このような3D画像に両目の視線状況の両眼視差を組み合わせると、両目の視線深度がDOFの範囲内であれば常に鮮明な画像を見ることができます。 ただし、これは実像の性質を備えた 3D 画像ではありません。 しかし、観察者は、ＤＯＦの深度範囲内のどの深度で３Ｄ画像点を観察しても鮮明な画像を認識できるため、注視点の３Ｄ画像を認識することに問題はない。

この VAC 問題を解決する 3D ディスプレイ技術は、ホログラフィー技術と同様に、虚像深度からの光の逸脱を制御できる必要があります 15,16。 あるいは、立体画像表示装置のように 3D 画像を提供するための空間表示を実装します17、18、19。 これらの技術は、一般的なガラスを使用しない 3D ディスプレイに適用できますが、ホログラム技術には、用途に応じて振幅と位相を表示する空間光変調器の性能に依然として制限があり、ボリューム 3D ディスプレイにも 3D ディスプレイのスペースを制限するという問題があります。 。 したがって、商用 3D ディスプレイの開発にはかなりの困難が伴います。 したがって、焦点調整情報を提供できる 3D ディスプレイの研究開発は、主にニアアイ ディスプレイ (NED) 分野で試みられてきました 20,21,22。 NEDでは、3D映像を提供する視域が限られている場合でも焦点調節が可能な深度領域を拡大する検討を進めてきた。 さらに、フルパララックス方式23、スーパーマルチビュー（SMV）方式24、ライトフィールド方式25、26など、焦点調整を満たすさまざまな方式が存在します。 さらに、仮想スクリーンの深さを変更する技術が適用される可能性があります27,28。 DOF拡大のための光学条件が形成されていれば、マクスウェルビュー方式の3Dディスプレイの場合、単眼鏡に視点が1つしかない場合でも、両眼注視深度が一定であれば常に鮮明な3D画像を視聴することができます。 DOF の深度範囲内。 特に、ＳＭＶ法は、瞳孔内に２つ以上の視差情報点を与えることにより、焦点制御情報の手掛かりとなる可能性を示唆している。 両眼視差を利用して両目の画像情報から奥行き情報を推測できるのと同様に、片方の目に複数の視差の情報を与えることで、奥行き情報を得ることができ、人為的なピント調整の手がかりを与えることができるという前提からスタートします。片目でも提供できます。 この場合、人工的な焦点制御情報を提供するために、各視点画像を形成する SMV の DOF は広くなければならず、焦点がさまざまな深さにシフトされた場合でも、鮮明な画像を見ることができます 29,30,31。 このような背景から、SMV32、33、34、35 を含むいくつかの種類の 3D 画像を実現するには、広い DOF を持つ単一の視差画像を実装することが重要な要素となります。 したがって、マクスウェルビュー形式の 3D 表示の場合、単眼鏡に 1 つの視点しか与えられない場合でも、このアプリケーションを使用できます。 さらに、広い深さ範囲の DOF を持つ光学系をマクスウェル ビュー、SMV、IP、ライト フィールドなどの光学構造に適用すると、参考文献 29、34、35 に適用されているように、ホログラムのような効果が得られます。 SMV。 これにより、究極の３Ｄ映像であるホログラム映像と類似した３Ｄ映像を生成することができる。

DOF 拡張技術を実現する手法としてピンミラーアレイ型 AR 光学系がある 36,37。 ピンミラーベースの技術には、コンパクトな光学系を実装でき、アイボックスを拡大できるという利点がありますが、ピンミラーアレイの使用には、DOF拡大効果が減少するという逆効果もあります。 さらに、HOE 技術 38 やホログラフィック網膜投影を応用した DOF 拡張技術 39,40,41,42 が研究されています。 これらの技術は、将来、ホログラフィックディスプレイやHOE技術が成熟した際に、実用化技術として応用される可能性を示した。

ＳＭＶが提案しているように、瞳孔径内に２つ以上の視差画像が存在する場合にはピント調整が可能となる可能性がある。 この技術開発の背景を考慮すると、フルパララックス SMV 技術の概念と光線状の光形状を実装する方法を組み合わせることで、仮想的に合焦と非合焦を実現でき、3D 画像のフォーカスに関する問題を解決できる可能性があります。 さらに、瞳に入射する光の形状を調整することで広いDOFを実現できれば、原理的にはすべてピントの合った3D映像を提供できる。 この場合、常にピントが合っているため、ＳＭＶ条件を満たさなくても、１つの視点情報のみを用いて、フォーカス制御に関するピント問題のない３Ｄ画像を生成することができる。 このようなピントの問題のない 3D 画像は、さまざまな用途に活用できます。 しかし、この技術における 3D ディスプレイの光学条件は、3D 画像を形成する光の形状に応じた DOF の拡大の限界について系統的に研究されていません 26,29,43,44,45,46。

本研究では、幾何光学と回折光学の特性を考慮して、観察者が焦点を調整できる自由度の範囲の条件を検討します。 これらの理論的背景、シミュレーション、実験結果に基づいて、焦点調節可能な 3D 画像の深さ範囲に関連する幾何学的および回折光学条件が導出されます。 この光学構造では、角度分解能と DOF の拡大の間の相関関係が導出され、各角度分解能に対する DOF の限界が調べられました。 合焦時の解像力の基準であるレイリー基準と、解像力の判定に使用できるストレール比を用いて、回折効果や幾何学的なデフォーカスを考慮し、取り得る自由度の範囲の目安を提示する方法を考案しました。 -焦点。 そして、この研究に基づいて、商業的に適用可能な角度分解能と自由度拡大の条件が見出されました。 さらに、これらの条件を実現するために、AR型NEDディスプレイに適用可能な現実的な光学系を考案し、光学系における自由度拡大のシミュレーションと実験検証を行った。 これらの光学条件は AR および VR 光学系に適用でき、最終的には 3D ディスプレイの DOF を拡張して広い深度領域に 3D 画像を表示する光学系の設計に適用できます。 また、拡張された DOF XR または 3D ディスプレイにより、VAC 現象を軽減できます。

そこで本論文では、光学系の現実的な構造と焦点深度の限界を決定することで広DOF 3D画像を形成する手法を提案し、光学系の再現実験とシミュレーション結果により焦点深度の拡大が実現できることを検証する。 。 まず、3次元空間における光源の位置と瞳に入射する光の幅との相関関係を利用して、DOFを拡大する条件を導出します。 次に、この幾何学的条件を実現できる光学系の構造を考案します。 第三に、この幾何学的自由度拡大時に生じる光学系の回折現象を調べることにより、自由度拡大による回折量を計算する。 次に、考案・設計した光学系における幾何学的自由度拡大と回折光学的自由度拡大との相関関係を考慮して、自由度を最大化する条件を求め、そこから実現可能な実用条件に到達する。 最後に、これらの条件をシミュレーションし、テスト用の光学システムを構築することで現実的な DOF 拡大の基本条件を検証します。

3D画像を構成する各画素の光を理想的に光線にすることができれば、目の水晶体の屈折力に関係なく常に深いDOFを得ることができます。 しかし、このような状況は自然環境では起こり得ません。 所定の深さから発生した光は、瞳孔を通過する際に一定の幅を持ちます。 したがって、瞳孔を通過する光が一定の幅を形成するという条件の下で、瞳孔上でその幅を持つ光に対する DOF とその基準深度を検討する必要がある 45,47,48。 図 1 のように設定された深度領域の焦点深度を持つ光源の開始深度が \({d}_{best}\) である場合、3D 画像を表現するための仮想スクリーンの深度は \ ({d}_{最高}\)。 ここで、仮想スクリーンの深さ (\({d}_{best}\)) よりも近い深さ (\({d}_{n}\)) の 3D 画像点に目が焦点を合わせると、 \({d}_{best}\) の 3D 画像点の像は、網膜より前の \(\alpha \) に近い位置に形成されるため、スポット サイズが \({B}_{n }\) が網膜に形成されます。 一方、目が仮想スクリーンの深さ (\({d}_{best}\) よりも遠い深さ (\({d}_{f}\)) の 3D 画像点に焦点を合わせた場合、 )の場合、像は網膜よりも \(\beta \) ほど奥の位置に結像し、網膜上でも \({B}_{f}\) のスポットサイズでぼけます。 これらの条件下で、DOF に関連するスポット サイズがある特定の値に決定されると、DOF 領域の光源の開始深度 (\({d}_{best}\)) を決定できます。 \({B}_{n}\) と \({B}_{f}\) は、決定された値と等しくなければなりません。

目の焦点深度と最適な深度 (\({d}_{best}\)) の関係。

図 1 を考慮すると、\({D}_{best}\) は近距離視度 (\({D}_{n}\)) と遠距離視度の算術平均の関係があることがわかります。距離視度 (\({D}_{f}\)) は次のようになります。

DOF 範囲 \(\Delta D\) は次の式で与えられます。

仮想スクリーン上の像点 (\({P}_{best}\)) から発生した光が目のレンズを通過するとき、瞳孔上の光の幅、つまり瞳孔上の配光領域の直径は、 PDと表記します。

式では、 (2) より、DOF 範囲は網膜の幾何学的なぼやけの直径、つまり \({B}_{n}\) または \({B}_{f}\) に比例することが示されています。そして、水晶体から網膜までの有効網膜距離 \(E/n\) と、水晶体上の物体側結像点からの光の幅 PD の両方に反比例します。 ただし、有効網膜距離は固定値であるため、DOF 範囲を広げるには PD を小さくする必要があると結論付けることができます。 \({B}_{n}\) または \({B}_{f}\) は、目の DOF 標準によって決定できます。

DOF 領域を決定するための幾何学的光学基準については、前のセクションで説明しました。 しかしながら、この状況を実現できる二次元画像を提供する光学構造の設計が必要である。 この光学構造により、瞳孔の一定領域を通過する条件が満たされた場合にのみ2D画像が見えるようになります。 また、DOF 範囲は結像点から発生した光線が到達する眼レンズ上の PD の大きさに反比例するため、結像点からの光が眼レンズ上に集光する構造とする必要があります。建設されました。 この光の収束状況でも、ディスプレイの虚像全体が目に見えるはずです。 もう 1 つの条件は、目のレンズを通過する光が上で計算された特定の最適な深さ (\({D}_{best}\)) から開始できるように光学系を構成する必要があることです。 この 2 つの条件を満たす提案光学系の構造を図 2 に紹介します。この構造では、ディスプレイから発せられた光が目のレンズ上の光幅 (PD) に応じた第 1 レンズ開口部を通過し、結像します。 2 番目のレンズの焦点距離内にあるディスプレイの距離。

光学系設計の基本構造を示す概念図。

図３、図４の条件を設定すると、 図2と図3を参照して、幾何学的に最適なDOF範囲についてPDと\({d}_{best}\)(= \({L}_{img}\))を同時に決定できる光学システムを提案します。 目のレンズ (PD) 上の光の幅が狭いほど、DOF 範囲は広くなります。 ただし、光学系のPDが狭くなると、必然的に光回折現象が大きくなることに注意してください。 したがって、最適な DOF 範囲の拡大は、これら 2 つの相反する条件が適切に妥協された場合にのみ達成できます。

設計された光学構造における幾何学的関係変数を導出する概念図。

このセクションでは、幾何学的 DOF の範囲に応じて、回折と \(PD\) の関係について説明します。 前のセクションで設計した 2 つのレンズと接眼レンズを備えた光学系で発生する回折を考えてみます。 3 つのレンズを備えた光学系を介して網膜に像が形成されるとき、エアリーディスクのサイズは式 (1) で与えられることがわかります。 (3)32、41、49。

ここで、 \(\uplambda \) は目に入る光の波長を表し、 \({E}_{eff}\equiv E/n\) は有効網膜距離を表します。これは、目のレンズと眼球の間の網膜距離です。網膜を屈折率 n で割った値。 もちろん、目の瞳孔サイズが \(PD\) より小さい場合は、\(PD\) の代わりに瞳孔サイズを置き換えることができます。 したがって、DOF の範囲は、網膜内の幾何学的光学像のぼやけ (\({B}_{n}\) または \({B}_{f})\) のサイズが変化する条件の下で定義される可能性があります。 、式で与えられます。 (2) は、回折限界、つまり、式 (2) で与えられる回折による画像のぼやけのサイズに等しくなります。 (3)。 そして最終的に、DOF の範囲は次のように取得されます。

係数を簡単にするために、DOF の範囲の視度の単位 (\(\Delta D\))、波長の単位 \({\text{um}}\) (\(\uplambda \) を使用することに注意してください。 ))、および \(PD\) の単位 \({\text{mm}}\) が式 2 で使用されます。 (4)。 その結果、式(1)が成り立つことが分かる。 (4) は、光学系の構造に関係なく、DOF の範囲は \(PD\) の 2 乗にのみ反比例することを意味します。

AR 光学系の DOF を可能な限り広げるためには、PD に従って網膜内の画像の幾何学的光学効果と回折光学効果の間の最適なトレードオフを見つける必要があることを前のセクションで説明しました。 より具体的には、PD が増加すると、式 (1) にあるように、回折ブラーが減少します。 (3) 網膜での回折によるもので、幾何学的なぼやけが増加します。 その結果、PDが1mm程度が最適条件に相当することが確認できた。 図4aの条件BのPDの場合、眼のレンズの焦点が0Dと3DのDOF境界上にある場合、網膜内の回折半径と幾何学的スポット半径は、その像点に対して同じになります。図4bに示すように、1.5Dで形成された虚像。 目の焦点が DOF 境界にある場合、条件 A の PD サイズは条件 B の PD サイズよりも小さいため、仮想画像の最大解像度は最適な条件 B と比較してエアリー半径だけ減少します。目の焦点が DOF 境界にある場合、条件 B の PD サイズよりも大きい条件 C の PD サイズは、次の効果により、条件 B の PD サイズよりも大きなスポット半径を持ちます。幾何光学の。 その結果、回折によるエアリー半径が幾何学的スポット半径と同じになるような瞳面上のPDサイズがDOF範囲を拡大するための重要な条件となる。

瞳孔の開口幅における幾何学的デフォーカスと回折デフォーカスとの関係。

ただし、図 4 のこの半径は、幾何学的な回折光分布の強度に基づいています。 したがって、MFT も考慮する必要があります。 これから、回折限界による対応する光学系の解像限界は、基準深さ (\({D}_{best}\)) で決定できます。 次のサブセクションでは、より具体的な条件をシミュレーションを通じて確認します。

合焦時の解像力の基準であるレイリー基準と、解像力の測定に使用できるストレール比を用いて、回折効果や幾何学的なデフォーカスを考慮したPDサイズと実現可能なDOF範囲を導出する方法を考案しました。ピントが合っていないと判断します。 レイリー基準によれば、光学的に知覚できる間隔の最小値は、2 つの点像が網膜内のエアリー半径 (\(\uprho )\) ほど離れている場合と定義され、この場合、空間周波数はは \(1/\uprho \)[lp/mm] です。 式 (4) は、焦点がオンになっているときのエアリー半径に基づいて許容される DOF 領域を示します。これは \({d}_{best}\) 深度に基づいています。 この場合、画質は \({d}_{best}\) 深度に比べて \(\Delta D\) の両方の限界で低下します。これは、レンズ シミュレーション プログラムでコントラスト比を計算することで確認できます。 。 したがって、視覚認識の観点から、\({d}_{best}\)の深さでの画質と比べて画質の低下を感じさせない限界を提示する必要がある。 この基準には様々な方法が考えられるが、光学的に一般的に用いられるレイリーの1/4波長則を適用することで、眼のレンズの焦点ぼけによる収差の範囲をDOF範囲として求めることができる50,51。 この場合、式の係数は次のようになります。 (4) は 4.88 から 4 に変更されます。目の焦点が DOF 範囲の限界位置にある場合、Strehl 比の値は約 0.851、52、53 になります。 そこで本論文では，レイリーの 4 分の 1 波長則によるストレール比が 0.8 以上の範囲を，画像の変化が認識されずに合焦状態とみなせる DOF 範囲として設定した54,55。 ストレール比に基づく自由度の範囲は、レンズの像が劣化する現象と同様であり、その結果、幾何学的なスポットのサイズや幾何学的なスポットのサイズに基づいて設定された自由度の範囲に比べて、自由度の範囲が減少します。エアリーなディスク。 したがって、係数を 4.88 から 4 に変更すると、式 (1) は次のようになります。 (4) は次のように書くことができます

検証のために、DOF 範囲 3.0 D (ジオプター) および HFOV 35.3 度の AR 光学システムが設計されています。 さらに、定量的な方法では、単純化された目のレンズモデルを使用して、設計された AR 光学システムの虚像の品質を分析します。 DOF範囲を検証するためのAR光学系の構成を図5に示します。図5の具体的な仕様を表1に示します。

AR 光学系と拡張 DOF モジュールを組み合わせたもの。

先に設計した光学系でPDを調整することでDOF範囲を効果的に制御できるかどうかのシミュレーション結果を図6に示します。実験との比較のために3つの色波長（0.4861μm、0.5876μm、0.6563μm）を使用しています。虚像はピクセルを備えたディスプレイからのものであるため、方形波のゼロフィールドの MTF 特性が検査されます。

4種類のPD条件における方形波MTF特性。

虚像のラインペア (LP) に対応する角周波数は垂直の点線で表され、隣接する PSF のレイリー基準条件における変調の最大値と最小値から計算された MTF 値 (~ 0.14) は次のように示されます。赤い水平点線53。 シミュレーションにおける PD の値は、式 (1) で計算された DOF 範囲が含まれる PD サイズに設定されます。 (5) はそれぞれ 3D、2D、1.0D、0.26D です。 LP1 は 1 つの単位画素のオン/オフで構成され、LP2 は隣接する 2 つの単位画素のオン/オフで構成され、LP3 は隣接する 3 つの単位画素のオン/オフで構成され、LP4 は隣接する 4 つの単位画素のオン/オフで構成されます。ピクセル。 図6に示すように、PDが減少してDOF範囲が増加すると、解像度が低下します。 ３ＤのＤＯＦ範囲に相当する０．８９ｍｍのＰＤでは、ＬＰ１パターンの角周波数２０ｃｐｄにおけるＭＴＦコントラストは約０．１９であり、レイリー基準の条件よりも十分に大きなコントラスト値である。 各PD条件の簡易眼モデルの焦点調整位置をベストフォーカス（1.5D）から0.1Dステップで変化させたときのPSFのストレール比の変化をシミュレーションした結果を図7に示します。

各PD条件におけるアイフォーカス制御に応じたPSFのストレール比特性。

前述したように、ＰＳＦのストレール比が０．８より大きい場合が合焦領域に相当する。 図７より、計算により設定された各ＰＤ条件においてストレール比が０．８以上となる範囲は、計算により求められたＤＯＦ範囲とほぼ一致していることがわかる。 関連する特性を間接的に確認するために、仮想画像の最高解像度に対応する LP1 パターンのコントラスト値のシミュレーション結果を図 8 に示します。ここでは、コントラスト値を 1 に正規化して、画像の変化率を比較しています。各 PD 条件のコントラスト値。 目の焦点位置ごとのストレール比と比較すると、各条件で同じコントラスト値ではないものの、正規化コントラスト値0.71～0.77がストレール比0.8に相当することが確認できます。 これらが全く同じ値ではなく一定の範囲を持つのは、PD条件ごとに解像度が異なることと、同じストレール比の値でもフォーカス調整によりコントラスト値の感度が異なるためである。

LP1 パターンの正規化された方形波 MTF 特性。

虚像の最高解像度である LP1 パターンのフォーカス調整に応じたコントラストの絶対値の特性を図 9 に示します。また、図 9 には、フォーカス調整範囲のレイリー基準 (コントラスト値 ~ 0.14) から認識される LP1 パターンは、前に定義されたストレール比の基準に基づく DOF 範囲よりも広くなるように設計されています。

LP1パターンの方形波MTF特性。

設計したAR光学系を構築し、目の虚像認識に代わる固定焦点カメラを用いて実験結果を定量的・定性的に分析する。 図10に示すように、実験検証用の拡張DOF（EDOF）モジュールを備えたAR光学系は、表1の仕様に従って構成されています。

EDOF AR光学システムの設定写真と実験画像。

図 10a は定量的評価のための測定システムです。 ＭＴＦ測定実験では、ＬＰ１、ＬＰ２、ＬＰ３、ＬＰ４のパターンが光軸上に配置された図１０ｃの画像を用いて、定量的なＭＴＦ測定値を取得した。 また，図 10d,e の LP1 〜 LP4 パターンを並べた画像には，DOF 範囲の条件に応じた MTF パターンの定性比較評価用の画像が使用されている。

各絞り条件で計算により求めたDOF範囲が実験的に検証されているかどうかを判断するために、虚像の4つの空間周波数に対してカメラのフォーカス制御を0.1D単位で変化させて撮影した画像からコントラスト値を実験的に測定します。 。 設計した光学系のシミュレーション結果を図11に比較します。

各絞り条件におけるフォーカス制御によるコントラスト値特性のシミュレーションと実験結果の比較。 (a) PD 0.885 mm、(b) PD 1.084 mm、(c) PD 1.533 mm、(d) PD 3 mm。

PD に応じた 4 つの空間周波数のそれぞれに対するカメラの焦点位置に応じたコントラスト値のシミュレーションと実験結果は、PD 条件下で 2 mm 以内で合理的に一致します。 ＰＤが３ｍｍである条件を除いて、シミュレーションによって予測されたように、ＰＤが減少しても、ベストフォーカスでのコントラストが広い焦点範囲で維持されることが示されている。

図 12 は、図 11 のシミュレーションと実験における焦点調整によるコントラスト値の変化を正規化して得られた結果の比較を表しています。この実験では、DOF を決定するための論理的証拠としてのストレール比の値を確認することはできません。直接測定しました。 しかし、ＰＤサイズに応じたＤＯＦ範囲は、その値に対応する正規化コントラスト値を変化させる範囲から調整できることが実験的に示されている。

各絞り条件におけるフォーカス制御による正規化コントラスト値特性シミュレーションと実験結果の比較。 (a) PD 0.885 mm、(b) PD 1.084 mm、(c) PD 1.533 mm、(d) PD 3 mm。

図10dの画像をキャプチャした結果のうち、検証のために設計されたAR光学システムでカメラの焦点深度を調整したLP1とLP2のMTFパターンを図13に示します。ここでは、DOF範囲のキャプチャ画像の定性的結果が示されています。 PDサイズに応じて表示されます。 DOF 条件 3.0D で PD が 0.885 mm、DOF 条件 2.0D で PD が 1.084 mm、DOF 条件 1.0D で PD が 1.533 mm、DOF 条件が 3 mm の場合DOF 条件 0.26D で、カメラの焦点深度を調整して MTF パターン画像を比較します。 図 13 の各焦点深度条件の画像において、黄色の背景の画像は標準ストレール比に基づく DOF 範囲内の画像を示し、青色の背景の画像はレイリー基準条件を満たす画像を示します。 PDが0.885mmの場合、基準シュトレール比に基づくDOF範囲であるベストフォーカス(1.5D)から±1.5D以内で焦点が変化しても、最適画像と比較して大幅な画質劣化はありません。 , そのため、目の輻輳とピント調整の不一致によって生じるVACを軽減できることが期待されます。 PD1.084mmの場合、ベストフォーカス（1.5D）より0.2D小さい±0.9Dの範囲では、最適画像と比べて画質の劣化があまり感じられないことがわかります。ストレール比の基準に基づいた DOF 範囲。 PDが1.53mmの場合、標準的なストレール比に基づくDOF範囲であるベストフォーカス(1.5D)から±0.4Dの範囲では最適画像と比較して画質の劣化はあまり感じられません。 ベストフォーカス（1.5D）から+0.9Dと-0.8Dの間のフォーカス調整領域のLP1パターンは、レイリー基準よりも高いコントラストを提供します。 従来のAR光学系の条件はPDが3mm以上の条件と同様です。 ベストフォーカス±0.2D程度の位置では最適フォーカス位置での画質に比べて画質の劣化はほとんど感じられませんが、それ以上では急激に画質が劣化します。

フォーカス調整に応じたPD条件ごとのMTFパターン結果。

定性分析を実行するための光学システムを図 10b に示します。 3.0Dから0.3Dへの実験配置では、実際の物体を配置し、カメラのレンズ焦点回転角度を用いて推定焦点深度として0D(無限遠)を設定しました。 なお、虚像には図１０ｅの画像を使用する。 円形に配置された文字はＬＰ４パターンに対応したサイズに設定され、横方向に配置された最初の文はＬＰ３パターンに対応したサイズに設定されている。 LP1、LP2、および LP3 パターンは、定量分析との比較のために 2 行目に配置されます。 PDが3mmと0.885mmの場合の焦点深度調整による虚像と現実物体との撮影画像の比較を図14に示す。 図１４では、左側が従来のＡＲグラス条件に相当する３ｍｍのＰＤ条件の画像であり、右側が３．０ＤのＤＯＦ範囲に相当する０．８８５ｍｍのＰＤ条件の画像である。 定量評価で解析した従来のPD条件3mmでは、最適焦点深度から±1.0Dの焦点深度から横文字の虚像が劣化することが確認できる。 この結果は、従来の AR 光学系の場合に見られる低 DOF 現象を示唆しています。 本稿では、瞳孔位置でPDサイズを調整することでDOFを拡大できることを証明した定性的な結果として、3.0DのDOF範囲に対応するPDサイズの典型的な結果を図の右側に示します。図 14. 図 14 左側の結果とは異なり、焦点を 1.5D から± 1.5D に調整しても、20 cpd の LP1 パターンが解像できることがわかります。 このような焦点調整によるDOFが3Dの設定条件と従来の条件における虚像の画質の違いを明確に示すために、図14の中段の写真は、図14の文字部分を拡大した写真である。虚像。

PD 3 mmとPD 0.885 mmでのフォーカス調整による虚像と実物の比較。 (a) 0.0D、(b) 0.5D、(c) 1.5D、(d) 2.5D、(e) 3.0D に注目してください。

(図 14 の左側と右側の部分の定性的な DOF 範囲は、補足ビデオ S1 および S2 として見つけることができます)。

3Dディスプレイを実現する上で重要な要素の一つである単眼の焦点合わせに関して、自由度を拡大するための条件を導出する。 これらの基本条件をフルパララックス方式のSMV方式で実現すれば、擬似的に焦点調整をシミュレーションすることができ、ホログラムに近い映像を実現することができる。 また、広いDOF条件を持った単一の視差画像を片目に適用するだけで、全焦点の3Dディスプレイを開発することも可能です。 実際には、ニアアイディスプレイなどの狭い表示領域では、広い DOF をより簡単に実現できます。 このため、AR光学系に初めて適用され、3.0ジオプター範囲の広いDOFを実現しました。 レイリー基準とストレール比の基準を導入することにより、自由度範囲が適切な基準として使用できることが確認されました。 本稿ではAR光学系と広いDOFを提供する拡張DOFモジュールを組み合わせることで、回折効果と幾何学的なデフォーカス効果を考慮してFOVが決定され、DOF範囲と解像度を調整できることが示されたPD と瞳孔面内の輻輳領域のサイズに応じて。 また、虚像が提供される状況に応じてＰＤを調整することにより、解像力の向上効果が得られることが示された。 これらの特性を適切に利用すれば、さまざまな XR アプリケーションで広い DOF と高解像度の仮想画像を提供することができます。 VAC なしで快適な 3D 画像を提供するための光学規格が提示される可能性があります。 したがって、これらの成果は、将来的にはメガネレス3Dディスプレイの光学設計や実装にも活用できることが期待されます。 さらに、今後の研究では、DOF拡大の広範な適用を妨げる回折によるDOF制限と、アイボックス領域をどのように拡大するか36、38、56、57が重要なテーマとなるでしょう。

図 5 では、幾何学収差と色収差を最小限に抑えるために 2 枚の FL 20 mm 色収差レンズが使用されています。 さらに、PD のサイズは、2 枚の色消しレンズの中央にある虹彩絞りを調整することによって制御されます。 この光学系とディスプレイを組み合わせたものがEDOFモジュールです。 ディスプレイの画像は EDOF モジュールを通過し、AR 光学系の前に中間画像が生成されます。 そして、この中間像はAR光学系を通って目の瞳孔面に集光領域を形成し、最終的に網膜上に結像します。 AR光学系は、半透過型凹面鏡と平面ビームスプリッターからなるバードバス型のAR光学系である。 設計した AR 光学系の HFOV とアイレリーフは、図 5 と表 1 に示すように、それぞれ 35.3 度、19.1 mm です。このため、目の位置から見える虚像は FHD の 57.7% になります。表示領域。 光学系の虚像面の最適深度は1.5ディオプターとなるように設計されている。 虹彩絞りのサイズは、目の瞳孔面上の PD サイズを変更するために調整されます。 DOF 範囲を表に示します。 1 PD サイズに応じて調整できます。 シミュレーションで使用される簡略化された眼のレンズ モデルは、眼のレンズの等価度である 60 ディオプターに近い 16 mm の焦点距離を持つ単一の近軸レンズで構成されます。 焦点深度調整５８に対応して像面の位置を調整するように構成されている。

図 10a は、Edmund Optics の F 16 mm レンズ (No. 59870) と Basler の 1/2.5 インチ CMOS センサーを備えたカメラ (Model acA2500-14 µm) を使用した定量評価用の測定システムです。 カメラセンサーは目の特性を反映するため、ピクセルサイズが2.2μmになるように選択されています。 絞り条件は、3.0D、2.0D、1.0D、0.26DのDOF拡張に対応する瞳孔上のPDの値に設定されています。 これらの条件での実験では、最適な焦点深度は 1.5D に設定されています。 DOF拡張実験では、カメラの焦点調整位置を0.1D単位で変更し、MTFパターン画像をカメラで取得します。 また、MTF 測定実験では、LP1、LP2、LP3、LP4 のパターンを光軸上に配置した図 10c の画像を使用して定量的な MTF 測定値を取得し、コントラスト値は各パターンの最大値と最小値から計算されます。 また，図 10d,e の LP1 〜 LP4 パターンを並べた画像には，DOF 範囲の条件に応じた MTF パターンの定性比較評価用の画像が使用されている。

現在の研究中に使用および/または分析されたデータセットは、合理的な要求に応じて責任著者から入手できます。

大越哲著、三次元画像技術（アカデミック、1976 年）。

Google スカラー

Lueder、E. 3D ディスプレイ (Wiley、2012)。

Google スカラー

サンディン、DJ 他 Varrier TM 自動立体仮想現実ディスプレイ。 ACMトランス。 グラフ。 24(3)、894–903 (2005)。

記事 Google Scholar

Kim、S.-K.、Yoon、K.-H.、Yoon、SK、Ju、H. 裸眼立体視 3D ディスプレイの画質向上のための視差バリア エンジニアリング。 オプション。 Express 23(10)、13230–13244 (2015)。

論文 ADS CAS PubMed Google Scholar

Kim、SK、Yoon、KH、Yoon、SK、Ju、H。動的な視線追跡を備えた、デフラグされた画像ベースの自動立体 3D ディスプレイ。 オプション。 共通。 357、185–192 (2015)。

記事 ADS CAS Google Scholar

Kang, M.-K.、Nguyen, H.-P.、Kang, D.、Park, S.-G. & キム、S.-K. 非周期的な 3D ピクセル位置と動的ビュー インデックスを使用した、スーパー マルチビュー ディスプレイにおける適応型の視聴距離。 オプション。 Express 26(16)、20661 ～ 20679 (2018)。

記事 ADS Google Scholar

NA ドジソン 自動立体視 3D ディスプレイ。 IEEE コンピューティング。 社会 38、31–36 (2005)。

記事 Google Scholar

Yoshihiro, K.、hiroshi, Y.、Toshio, H. 45 視点の立体視ディスプレイによるホログラムのようなビデオ画像。 手順 SPIE 3012、154–166 (1997)。

記事 Google Scholar

高木 裕子 & 名護 直也 レンチキュラー ディスプレイをマルチプロジェクションして 256 ビューのスーパー マルチビュー ディスプレイを構築。 オプション。 Express 18(9)、8824 ～ 8835 (2010)。

論文 ADS PubMed Google Scholar

星野洋、岡野文、磯野博、湯山一、インテグラルフォトグラフィーの解像度限界の解析。 J. Opt. 社会午前。 A 15(8)、2059–2065 (1998)。

記事 ADS Google Scholar

ソン、J.-Y.、ソン、W.-H.、キム、S.-K.、リー、K.-H. & Javidi、B. クレアチン現実世界のような環境のための 3 次元イメージング。 手順 IEEE 101(1)、190–205 (2012)。

記事 Google Scholar

キャンベル、FW 人間の目の被写界深度。 Ｊ．Ｍｏｄ． オプション。 4(4)、157–164 (1957)。

Google スカラー

Lambooij, M. & Jsselsrein, W. 立体ディスプレイの視覚的不快感と視覚疲労: レビュー。 J.イメージングサイエンス。 テクノロジー。 53(3)、030201 (2009)。

記事 Google Scholar

Hoffman, DM、Girshick, AR、Akeley, K. & Banks, MS 両眼調節調節の競合は、視覚能力を妨げ、視覚疲労を引き起こします。 J.Vis. 8(3)、33 (2008)。

記事 Google Scholar

Huebschman, ML、Munjuluri, B. & Garner, HR ダイナミック ホログラフィック 3D 画像投影。 オプション。 Express 11(5)、437–445 (2003)。

論文 ADS PubMed Google Scholar

アン、Ｊら。 スリムパネルのホログラフィックビデオディスプレイ。 ナット。 共通。 11, 5568 (2020)。

論文 ADS CAS PubMed PubMed Central Google Scholar

Blundell, B. & Schwartz, A. 容積測定三次元表示システム (Wiley-IEEE Press、1999)。

Google スカラー

Downing, E.、Hesselink, L.、Ralston, J. & Macfarlanem, R. 3 色のソリッドステート 3 次元ディスプレイ。 科学。 解像度 273、1185–1189 (1996)。

CAS Google スカラー

宮崎大、芝和、宗塚和、松下和、傾斜光学像の三次元走査に基づく体積表示システム。 オプション。 エクスプレス 14(26)、12760 ～ 12769 (2006)。

論文 ADS PubMed Google Scholar

Kramida, G. ヘッドマウント ディスプレイにおける両眼輻輳と調節の競合を解決します。 IEEE TVCG 22(7)、1912 ～ 1931 年 (2016)。

PubMed Google Scholar

松田 N.、フィックス A.、ランマン D. 焦点面表示。 ACMトランス。 グラフ。 36(4)、86 (2017)。

記事 Google Scholar

Hua, H. ヘッドマウント ディスプレイでフォーカス キューを有効にする。 手順 IEEE 105(5)、805–824 (2017)。

記事 Google Scholar

Maimone、A. et al. ピンライト ディスプレイ: 焦点のぼけた点光源を使用した、広い視野の拡張現実メガネ。 ACMトランス。 グラフ。 33(4)、1–11 (2014)。

記事 Google Scholar

上野、T. & 高木、Y. 輻輳と調節の矛盾を解決するスーパーマルチビュー近眼ディスプレイ。 オプション。 エクスプレス 26(23)、30703 ～ 30715 (2018)。

論文 ADS PubMed Google Scholar

ファン、F.-C. ライト フィールド ステレオスコープの没入型コンピュータ グラフィックスは、フォーカス キュー付きの因子化された近眼ライト フィールド ディスプレイを介して表示されます。 ACMトランス。 グラフ。 34(4)、1–12 (2015)。

Google スカラー

Huang, H. & Hua, H. 3D ライト フィールド ディスプレイの視覚応答に対する光線位置サンプリングの影響。 オプション。 Express 27(7)、9343–9360 (2019)。

論文 ADS PubMed Google Scholar

Liu, S.、Hua, H. & Cheng, D. アドレス指定可能なフォーカス キューを備えた光学式シースルー ヘッドマウント ディスプレイの新しいプロトタイプ。 IEEEトランス。 ヴィス。 計算します。 グラフ。 16(3)、181–193 (2010)。

Google スカラー

Lee, S. et al. 断層撮影近眼ディスプレイ。 ナット。 共通。 10、2497 (2019)。

論文 ADS PubMed PubMed Central Google Scholar

キム、S.-K.、キム、D.-W.、クォン、YM、ソン、J.-Y. 3D ディスプレイにおける単眼の奥行きキューの評価。 オプション。 エクスプレス 16(26)、21415 ～ 21422 (2008)。

論文 ADS PubMed Google Scholar

キム、S.-B. & パーク、J.-H. 拡大されたアイボックスを備えた光学シースルー Maxwellian ニアトゥアイ ディスプレイ。 オプション。 レット。 43(4)、767–770 (2018)。

論文 ADS PubMed Google Scholar

Do、H.、Kim、YM、Min、S.-W. 再帰性反射フィルムを使用したマクスウェルビューに基づくフォーカスフリーのヘッドマウント ディスプレイ。 応用オプション。 58(11)、2882–2889 (2019)。

論文 ADS PubMed Google Scholar

Jang、C.ら。 Retinal 3D: 網膜上の瞳孔追跡ライトフィールド投影による拡張現実近眼ディスプレイ。 ACMトランス。 グラフ。 36(6)、1–13 (2017)。

記事 Google Scholar

Westheimer、G. マクスウェリアンの見解。 ヴィス。 解像度 6、669–682 (1966)。

論文 CAS PubMed Google Scholar

キム、D.-W.、クォン、Y.-M.、パク、Q.-H. & キム、S.-K. レーザースキャニング法を用いたヘッドマウントディスプレイ型多焦点ディスプレイシステムの解析。 オプション。 工学 50(3)、21415–21422 (2011)。

Google スカラー

キム、S.-K.、キム、E.-H. & キム、D.-W. 傾斜光源アレイを使用したフルパララックス多焦点立体ディスプレイ。 オプション。 工学 50(11)、114001 (2011)。

記事 ADS Google Scholar

Zhang、Q.ら。 ピンミラーアレイと凹面反射板を使用した導波路型ニアアイディスプレイの設計、解析、最適化。 オプション。 エクスプレス 30(18)、32208 ～ 32220 (2022)。

記事 Google Scholar

Park, S. プラスチック光学に基づく拡張現実と複合現実の光学シースルーコンバイナー。 情報 37(4)、6–11 (2021) を表示します。

記事 MathSciNet Google Scholar

Choi, M.-H.、Shin, K.-S.、Jang, J.、Han, W.、Park, J.-H. ピンミラーホログラフィック光学素子アレイを用いた導波路型マクスウェリアンニアアイディスプレイ。 オプション。 レット。 47(2)、405–408 (2022)。

論文 ADS PubMed Google Scholar

Wang、Z.ら。 誤差拡散アルゴリズムに基づいたレンズレス位相専用ホログラフィック網膜投影ディスプレイ。 オプション。 エクスプレス 30(26)、46450 ～ 46459 (2022)。

論文 ADS PubMed Google Scholar

Song, W.、Li, X.、Zheng, Y.、Liu, Y.、Wang, Y. 多重化エンコーディング ホログラフィック法を使用したフルカラー網膜投影ニアアイ ディスプレイ。 オプション。 Express 29(6)、8098 ～ 8107 (2021)。

論文 ADS PubMed Google Scholar

高木 裕子 & 藤本 直也 ホログラフィック マクスウェル ビュー ディスプレイによる柔軟な網膜像形成。 オプション。 エクスプレス 26(18)、22985 ～ 22999 (2018)。

論文 ADS PubMed Google Scholar

Lee、JS、Kim、YK、Lee、MY、Won、YH マクスウェル ビューとホログラフィック ディスプレイの時分割多重化を使用した強化されたシースルー ニアアイ ディスプレイ。 オプション。 Express 27(2)、689–701 (2019)。

論文 ADS PubMed Google Scholar

Westheimer, G. マクスウェル ビューにおける円形開口部の網膜光分布。 J. Opt. 社会午前。 49(1)、41–44 (1959)。

論文 ADS CAS PubMed Google Scholar

ジェイコブズ、RJ、ベイリー、イリノイ州、ブリモア、マサチューセッツ州 人工瞳孔とマクスウェリアンビュー。 応用オプション。 31(19)、3668–3677 (1992)。

論文 ADS CAS PubMed Google Scholar

Zalevsky、Z. 拡張焦点深度イメージング: レビュー。 SPIE Rev. Soc. 写真オプト。 インストラム。 工学 1、018001 (2010)。

Google スカラー

Zhao, J.、Xia, J.、Ma, Q. & Wu, J. 近眼ライトフィールドディスプレイ上の調節深度キューの分析のための空間損失係数。 オプション。 エクスプレス 27(24)、34582 ～ 34592 (2019)。

論文 ADS PubMed Google Scholar

Havarn, SNV & Hosek, J. 回折限界結像光学設計に関する異なる見解。 J. Opt. 社会午前。 A 40(1)、149–154 (2023)。

記事 ADS Google Scholar

Miller, J. 人間の目の焦点深度: 理論と臨床的意味。 生き残る。 眼科。 51(1)、75–85 (2006)。

記事 Google Scholar

グッドマン、JW フーリエ光学入門 (MacGraw Hill、1996)。

Google スカラー

チャーマン、WN 目の光学。 光学ハンドブック Vol. 1 (ウィスコンシン州チャーマン編) 26–27 (MacGraw Hill、1995)。

Google スカラー

Geary, JM、レンズ設計入門 370–375 (Willmann-Bell、2002)。

Google スカラー

Smith、WJ Modern Optical Engineering 第 2 版、153 (McGraw-Hill、1991)。

Google スカラー

Fischer, R. & Tadic, B. 光学システム設計 (McGraw Hill Professional、2000)。

Google スカラー

Sinzinger、S. & Jahns、J. Microoptics (Wiley、2006)。

Google スカラー

Török、P. & Kao、F.-J. 光学イメージングと顕微鏡: 技術と高度なシステム (Springer、2013)。

Google スカラー

Kim, SK & Park, S. フル視差マルチフォーカス三次元ディスプレイ。 米国特許、第 US 10,666,930 B2 (2020)。

キム、SK ニアアイ表示装置。 米国特許、公開。 米国番号 2023/0048195 A1 (2023)。

Smith, G. & Atchison, DA The Eye and Visual Optical Instruments 790 (Cambridge University Press、1997)。

Google Scholar を予約する

リファレンスをダウンロードする

この研究は、韓国科学技術院 (KIST) 制度プログラム (プロジェクト番号 2E31591) によって支援されました。

Center for Artificial Intelligence、韓国科学技術院、ソウル、136-791、韓国

キム・ソンギュ＆ユン・ギヒョク

ソウル科学高校物理学科、ソウル、03066、韓国

クォン・ヨンジュン

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

SKKは論理限界へのアプローチと自由度拡大の光学構造の概念を考案し、K.-HYがシミュレーションと実験を実施しました。 YKは光学系の回折効果を解析しました。

キム・ソンギュさんへの手紙。

著者らは競合する利害関係を宣言していません。

シュプリンガー ネイチャーは、発行された地図および所属機関における管轄権の主張に関して中立を保ちます。

補足ビデオ1.

補足ビデオ2.

オープン アクセス この記事はクリエイティブ コモンズ表示 4.0 国際ライセンスに基づいてライセンスされており、元の著者と情報源に適切なクレジットを表示する限り、あらゆる媒体または形式での使用、共有、翻案、配布、複製が許可されます。クリエイティブ コモンズ ライセンスへのリンクを提供し、変更が加えられたかどうかを示します。 この記事内の画像またはその他のサードパーティ素材は、素材のクレジットラインに別段の記載がない限り、記事のクリエイティブ コモンズ ライセンスに含まれています。 素材が記事のクリエイティブ コモンズ ライセンスに含まれておらず、意図した使用が法的規制で許可されていない場合、または許可されている使用を超えている場合は、著作権所有者から直接許可を得る必要があります。 このライセンスのコピーを表示するには、http://creativecommons.org/licenses/by/4.0/ にアクセスしてください。

転載と許可

キム、SK、クォン、Y、ユン、KH。 拡張現実における被写界深度の拡大。 Sci Rep 13、8786 (2023)。 https://doi.org/10.1038/s41598-023-35819-9

引用をダウンロード

受信日: 2023 年 1 月 27 日

受理日: 2023 年 5 月 24 日

発行日: 2023 年 5 月 31 日

DOI: https://doi.org/10.1038/s41598-023-35819-9

次のリンクを共有すると、誰でもこのコンテンツを読むことができます。

申し訳ございませんが、現在この記事の共有リンクは利用できません。

Springer Nature SharedIt コンテンツ共有イニシアチブによって提供

コメントを送信すると、利用規約とコミュニティ ガイドラインに従うことに同意したことになります。 虐待的なもの、または当社の規約やガイドラインに準拠していないものを見つけた場合は、不適切としてフラグを立ててください。