蘋果 visionOS 相關專利：可通過眼動追蹤改進人機界面交互

昨天，美國專利商標局正式授予蘋果一項與 Vision Pro 相關的專利，更具體地說，是與 visionOS 相關的專利。

蘋果在其專利背景中指出，與至少包含一些虛擬元素（例如應用程序、增強現實環境、混合現實環境和虛擬現實環境）的環境進行交互的方法和接口繁瑣、低效且有限。

(資料圖片僅供參考)

例如，一些系統不能為執行與虛擬對象相關的操作提供足夠的反饋，需要一系列輸入才能在增強現實環境中實現預期結果，以及虛擬對象的操作復雜、乏味且容易出錯的系統，會給用戶帶來重大的認知負擔，并減損虛擬 / 增強現實環境的體驗。此外，這些方法耗時過長，從而浪費能源。后一種考慮因素在電池供電設備中尤為重要。

蘋果專利主要涵蓋了蘋果空間計算設備 Vision Pro 的 visionOS 各個方面。在一些實施例中，計算機系統具有一個或多個眼動追蹤組件。在一些實施例中，計算機系統具有一個或多個手部追蹤組件。

蘋果指出，電子設備需要具有改進方法和界面來導航和與用戶界面交互。這些方法和界面可以補充或取代用于在 3D 環境中與用戶界面交互的傳統方法。這些方法和界面減少了用戶輸入的數量、范圍和 / 或性質，并產生了更高效的人機界面。

在一些實施例中，用戶通過手指接觸和手勢、眼睛和手在空間中相對于 GUI 或用戶身體的移動（由攝像頭和其它運動傳感器捕獲），以及語音輸入（由一個或多個音頻輸入設備捕獲）與 GUI 交互。

在一些實施例中，電子設備至少基于檢測用戶注視在用戶界面之間導航。在一些實施例中，電子設備增強了與用戶界面控制元件的交互。在一些實施例中，電子設備以協調的方式滾動顯示類別和子類別。在一些實施例中，電子設備以不同的方式從具有不同沉浸程度的用戶界面向后導航。

這些系統、方法和 GUI 為電子設備在 3D 環境中與對象交互和操作提供了改進的方法。3D 環境任選地包括一個或多個虛擬對象、真實對象的一個或多個表示（例如，顯示為真實對象的逼真表示或通過顯示生成組件的透明部分對用戶可見）和 / 或 3D 環境中用戶的表示。

在一些實施例中，電子設備至少基于檢測用戶注視在用戶界面之間導航。在一些實施例中，電子設備導航到與相應的用戶界面元件相關聯的用戶界面，以響應于檢測用戶注視定向到各個用戶界面元件的預定時間閾值（例如，0.1、0.2、0.3、0.4、0.5、1 秒等）。

在一些實施例中，響應于檢測用戶用他們的手執行手勢，同時他們的目光被引導到相應的用戶界面元件，電子設備會在少于預定時間閾值的時間內導航到用戶界面。

無論是僅根據注視導航到用戶界面，還是根據用戶的注視和手勢更快地導航到用戶界面，都提供了以更少的輸入或更短的時間導航到用戶界面的有效方法。

在一些實施例中，控制元件包括可選選項，當選擇時，使電子設備在包括控制元件的用戶界面中執行操作。例如，控件元素包括一個導航欄，該導航欄包含用于導航到用戶界面不同頁面的可選選項。

在一些實施例中，響應于檢測用戶對控制元件的注視，電子設備會更新控制元件的外觀（例如，放大、擴展、向控制元件添加細節）。以這種方式更新控制元件的外觀提供了一種與控制元件交互的有效方法，以及一種在不與控制元件交互時與用戶界面交互的方式，從而減少了視覺混亂。

在一些實施例中，電子設備以協調的方式滾動顯示類別和子類別。在一些實施例中，電子設備同時顯示類別的表示（例如，內容、文件、用戶界面、應用程序等）和一個或多個類別內子類別的表示。

在一些實施例中，電子設備以不同的方式從具有不同沉浸程度的用戶界面向后導航。在一些實施例中，用戶界面的沉浸程度對應于與用戶界面同時顯示的對象（例如，虛擬對象、真實對象的表示）的數量以及除用戶界面以外的對象的可見度。

在一些實施例中，電子設備以響應于各自輸入的第一級沉浸感（例如，檢測到用戶注視前一個用戶界面的表征達閾值時間）而離開用戶界面。在一些實施例中，電子設備放棄了以第二、更高級別的沉浸感離開用戶界面以響應于相應的輸入。

在一些實施例中，電子設備會根據相應的輸入（例如，檢測到用戶注視前一個用戶界面的表征達閾值時間），導航離開具有第一級沉浸感的用戶界面。在某些實施方案中，電子設備會根據相應的輸入，放棄從具有更高沉浸度的第二級用戶界面導航。

通過第一級沉浸感離開用戶界面以響應相應的輸入，并放棄使用第二級更高級別沉浸感來響應相應輸入的用戶界面，從而在具有第一級沉浸感的用戶界面中提供便利，并減少用戶界面對第二級的干擾，具有更高的沉浸感，使用戶能夠快速有效地使用電子設備。

蘋果專利圖 2 是說明計算機系統控制器的框圖，該控制器配置為管理和協調用戶的 CGR 體驗，包括眼睛（#243）和手部追蹤（#244）；圖 5 是說明計算機系統的眼動追蹤單元的框圖，該計算機系統被配置為捕獲用戶的注視輸入；圖 9C 說明了電子設備（Vision Pro）通過顯示生成組件在用戶界面上顯示 3D 環境。

蘋果從不希望一項發明在使用上是單一的，至少在專利中是這樣。因此，蘋果指出，這項發明可以應用于其他未來的設備，如臺式 Mac、iPad、iPhone 和 Apple Watch。