Eye Tracking trên Apple là gì? Công nghệ theo dõi mắt trên iPhone, iPad, Vision Pro

Eye tracking trên Apple là tính năng cho phép các thiết bị như iPhone, iPad và Apple Vision Pro theo dõi chuyển động của mắt người dùng để điều khiển giao diện hoặc kích hoạt các thao tác cụ thể. Công nghệ này tận dụng cụm camera TrueDepth, cảm biến hồng ngoại và các thuật toán máy học để xác định hướng nhìn chính xác. Trên Apple Vision Pro, eye tracking đóng vai trò trung tâm trong việc điều hướng không gian ảo, trong khi trên iPhone và iPad, nó chủ yếu hỗ trợ khả năng tiếp cận dành cho người khuyết tật vận động. Hiểu rõ eye tracking trên Apple là gì giúp người dùng khai thác tối đa trải nghiệm tương tác và các tính năng trợ năng mà Apple đã tích hợp.

Mục lục

Bản chất và nguyên lý hoạt động của eye tracking trên Apple

Eye tracking trên Apple không phải là một công nghệ mới xuất hiện gần đây. Apple đã phát triển và ứng dụng nó qua nhiều thế hệ thiết bị, từ iPhone X trở đi, khi cụm camera TrueDepth được giới thiệu. Về cơ bản, hệ thống này chiếu hàng nghìn chấm hồng ngoại vô hình lên mắt người dùng, sau đó camera hồng ngoại chụp lại và phân tích hình dạng, vị trí của đồng tử và phản xạ giác mạc. Bằng các thuật toán máy học chạy trên Neural Engine, thiết bị xác định chính xác điểm mà người dùng đang nhìn.

Trên Apple Vision Pro, eye tracking được nâng cấp lên một tầm cao mới với hệ thống 4 camera hồng ngoại có tốc độ lấy mẫu cao, giúp giảm độ trễ xuống dưới 12 mili giây. Kết hợp với các cảm biến theo dõi chuyển động tay, người dùng có thể chọn một mục chỉ bằng cách nhìn vào nó và chạm ngón tay cái với ngón trỏ. Đây là một bước tiến vượt bậc trong tương tác tự nhiên, loại bỏ hoàn toàn cần tới tay cầm hay bàn phím.

Thành phần phần cứng hỗ trợ eye tracking

Camera TrueDepth: Cụm camera phía trước gồm máy ảnh hồng ngoại, bộ phát tia hồng ngoại (dot projector) và đèn Flood Illuminator. Có mặt trên iPhone X trở về sau và iPad Pro thế hệ thứ 4 hoặc mới hơn.
Cảm biến hồng ngoại chuyên dụng: Trên Apple Vision Pro, có 4 camera hồng ngoại riêng biệt được bố trí phía dưới gọng kính, theo dõi cả hai mắt liên tục.
Neural Engine: Bộ xử lý AI trên chip Apple Silicon thực hiện hàng nghìn phép tính mỗi giây để suy luận hướng nhìn và phản hồi ngay lập tức.

Phân loại các ứng dụng eye tracking trên Apple

Eye tracking trên Apple được chia thành hai nhóm chính: nhóm hỗ trợ khả năng tiếp cận (Accessibility) và nhóm tương tác thực tế ảo (spatial computing). Mỗi nhóm phục vụ những đối tượng và mục đích khác nhau.

Eye Tracking trong Accessibility (iPhone/iPad)

Kể từ iOS 14, Apple tích hợp tính năng Eye Tracking trong phần Cài đặt > Trợ năng > Cử chỉ tương tác. Tính năng này cho phép người dùng bị hạn chế vận động tay điều khiển toàn bộ thiết bị chỉ bằng ánh mắt. Một con trỏ mô phỏng di chuyển theo hướng nhìn và người dùng có thể thực hiện thao tác chọn (bằng cách nhìn chằm chằm một khoảng thời gian) hoặc kết hợp với các công tắc bên ngoài.

Ngoài ra, trên các ứng dụng FaceTime, tính năng Eye Contact sử dụng camera TrueDepth và máy học để tự động điều chỉnh hướng mắt của người nói sao cho có cảm giác đang nhìn thẳng vào camera, kể cả khi người dùng đang nhìn vào màn hình chứ không phải ống kính. Mặc dù đây không phải eye tracking theo nghĩa điều khiển, nhưng nó vẫn dựa trên việc theo dõi vị trí đồng tử để chỉnh sửa ảnh.

Eye Tracking trong Apple Vision Pro

Trên Vision Pro, eye tracking là phương thức tương tác chính, thay thế hoàn toàn chuột và bàn phím. Hệ thống hoạt động theo ba bước:

Quét mắt người dùng: Khi đeo kính, một quá trình hiệu chỉnh gọi là “Optic ID” diễn ra, quét hình dạng mống mắt để xác thực bảo mật đồng thời thiết lập hệ quy chiếu cho eye tracking.
Theo dõi liên tục: Các camera hồng ngoại ghi lại vị trí đồng tử với tần suất 240 lần mỗi giây, gửi dữ liệu về chip R1 (chip cảm biến chuyên dụng của Vision Pro) để tính toán điểm nhìn.
Phản hồi tức thì: Người dùng chỉ cần nhìn vào một biểu tượng hoặc mục 3D, sau đó chạm ngón tay vào không gian trước mặt để kích hoạt. Độ chính xác cao đến mức có thể chọn từng ký tự trên bàn phím ảo.

Lợi ích và hạn chế của eye tracking trên Apple

Khía cạnh	Lợi ích	Hạn chế
Khả năng tiếp cận	Mang lại sự độc lập cho người khuyết tật vận động, giúp họ có thể sử dụng iPhone/iPad mà không cần chạm tay.	Yêu cầu hiệu chỉnh ban đầu tỉ mỉ; độ chính xác có thể giảm trong điều kiện ánh sáng yếu hoặc khi người dùng đeo kính (một số loại kính chống ánh sáng xanh có lớp phủ có thể gây nhiễu).
Tương tác tự nhiên	Trên Vision Pro, eye tracking cho cảm giác trực quan, giảm thời gian học tập so với các hệ thống điều khiển tay cầm truyền thống.	Độ nhạy quá cao có thể gây ra các lựa chọn ngoài ý muốn; người mới dùng cần làm quen để tránh tình trạng vô tình kích hoạt.
Bảo mật	Optic ID sử dụng đặc điểm sinh trắc mống mắt, khó bị làm giả hơn Face ID trong một số tình huống.	Chỉ hoạt động khi thiết bị đeo sát mắt; người dùng đeo kính áp tròng có thể gặp vấn đề nếu kính không tương thích.
Hiệu năng và pin	Xử lý cục bộ nhờ Neural Engine, không cần kết nối đám mây, giữ độ trễ thấp.	Tiêu tốn một lượng năng lượng và sức mạnh xử lý đáng kể; trên iPhone/iPad thế hệ cũ có thể gây nóng máy khi sử dụng kéo dài.

So sánh eye tracking trên Apple với các hệ thống khác

Điểm khác biệt lớn giữa eye tracking của Apple so với các hãng khác (như Tobii, EyeTech) là việc tích hợp sâu vào phần cứng và hệ điều hành, cho phép tối ưu hóa độ trễ và độ chính xác. Trong khi các giải pháp bên thứ ba thường yêu cầu phần cứng riêng và cài đặt phần mềm phức tạp, Apple tích hợp mọi thứ ngay trong thiết bị sẵn có, giúp trải nghiệm liền mạch.

Về giá thành, người dùng iPhone/iPad không phải trả thêm phí nào để kích hoạt eye tracking trong Accessibility. Trong khi đó, thiết bị Apple Vision Pro có mức giá cao hàng nghìn đô la, nhưng đổi lại nhận được hệ thống eye tracking thế hệ mới nhất với bảo mật sinh trắc học. Các hệ thống chuyên dụng như Tobii Pro Fusion có giá tương đương nhưng lại cồng kềnh và không di động.

Ứng dụng thực tế của eye tracking trên Apple

Hỗ trợ người khuyết tật vận động

Một ví dụ điển hình là trường hợp người mắc bệnh xơ cứng teo cơ một bên (ALS) sử dụng iPhone với tính năng Eye Tracking để soạn email, gọi điện và duyệt web. Họ chỉ cần nhìn vào bàn phím ảo và giữ ánh nhìn trong 1 giây để chọn ký tự. Kết hợp với tính năng Giọng nói trực tiếp (Live Speech) và giọng nói cá nhân (Personal Voice), người dùng thậm chí có thể giao tiếp bằng giọng nói tổng hợp từ ánh mắt.

Điều hướng giao diện sống động trên Vision Pro

Trong các ứng dụng như Safari, Apple TV hay Photos, người dùng Vision Pro di chuyển con trỏ bằng mắt và cuộn trang bằng cách nhìn xuống dưới. Các ứng dụng productivity như Keynote cho phép kéo thả các slide 3D bằng mắt kết hợp cử chỉ tay. Không gian làm việc đa nhiệm trở nên trực quan hơn bao giờ hết khi người dùng có thể nhìn sang ứng dụng bên cạnh để chuyển đổi focus.

Chơi game và giải trí

Một số tựa game trên Apple Arcade đã được tối ưu cho Vision Pro sử dụng eye tracking để nhắm mục tiêu hoặc lựa chọn đối tượng. Trong các ứng dụng mô phỏng bay, người chơi chỉ cần liếc mắt tới công cụ điều khiển để kích hoạt. Mặc dù hiện tại số lượng game tích hợp sâu còn hạn chế, triển vọng phát triển là rất lớn.

Sai lầm thường gặp khi sử dụng eye tracking trên Apple

Không hiệu chỉnh đúng cách: Nhiều người bỏ qua bước hiệu chỉnh mắt trong Vision Pro dẫn đến độ chính xác kém. Cần ngồi đúng tư thế, giữ thiết bị hoặc đầu ổn định và làm theo hướng dẫn từng bước.
Môi trường ánh sáng không phù hợp: Sử dụng eye tracking dưới ánh sáng huỳnh quang nhấp nháy hoặc ánh sáng mặt trời trực tiếp có thể làm nhiễu camera hồng ngoại, khiến thiết bị mất dấu mắt. Nên đảm bảo ánh sáng phòng đều và vừa phải.
Hiểu sai tính năng Eye Contact trong FaceTime: Nhiều người nghĩ rằng Eye Contact là eye tracking thực thụ, nhưng thực chất nó chỉ là hiệu ứng chỉnh sửa ảnh dựa trên vị trí mắt, không cho phép tương tác điều khiển.
Đeo kính không tương thích: Kính mát, kính chống ánh sáng xanh có phản quang mạnh hoặc kính áp tròng có màu có thể gây ra lỗi hiệu chỉnh. Apple cung cấp miếng lót Zeiss quang học cho Vision Pro để giải quyết vấn đề, nhưng người dùng cần chọn đúng loại.

Lưu ý quan trọng khi khai thác eye tracking trên Apple

Để đảm bảo trải nghiệm tốt nhất, người dùng cần chú ý đến các điểm sau:

Cập nhật phiên bản iOS/iPadOS/VisionOS mới nhất: Apple thường xuyên cải thiện thuật toán eye tracking qua các bản cập nhật, sửa lỗi chệch hướng và tăng độ nhạy.
Vệ sinh camera TrueDepth thường xuyên: Bụi bẩn hoặc mồ hôi bám trên cụm camera phía trước có thể làm giảm độ chính xác. Lau nhẹ bằng vải microfiber khô.
Không sử dụng eye tracking quá lâu liên tục: Mặc dù không có bằng chứng về tác hại trực tiếp, việc tập trung nhìn vào màn hình trong thời gian dài khi bật eye tracking có thể gây mỏi mắt. Nên nghỉ giải lao theo nguyên tắc 20-20-20 (20 phút nhìn xa 20 giây).
Bảo mật thông tin sinh trắc: Optic ID trên Vision Pro lưu trữ dữ liệu mống mắt trong Secure Enclave, không bao giờ gửi lên đám mây. Tuy nhiên, khi bán hoặc cho mượn thiết bị, người dùng nên xóa dữ liệu mắt trong cài đặt Face ID & Optic ID.

Câu hỏi thường gặp về eye tracking trên Apple

Eye tracking trên Apple có hoạt động với tất cả các ứng dụng không?

Trên iPhone/iPad, eye tracking trong Accessibility hoạt động với mọi ứng dụng vì nó chỉ mô phỏng thao tác chạm từ ánh mắt. Trên Vision Pro, eye tracking là nền tảng của hệ thống, nhưng các ứng dụng bên thứ ba cần được tối ưu để tận dụng tối đa; ứng dụng chưa cập nhật vẫn có thể tương tác cơ bản.

Có cần kết nối Internet để sử dụng eye tracking không?

Không. Tất cả xử lý đều diễn ra cục bộ trên thiết bị nhờ Neural Engine, đảm bảo quyền riêng tư và hoạt động ngay cả khi ở chế độ máy bay.

Eye tracking có gây hại cho mắt không?

Theo Apple, cường độ tia hồng ngoại sử dụng trong eye tracking nằm trong giới hạn an toàn. Các thiết bị đều được chứng nhận theo tiêu chuẩn IEC 62471 cho đèn LED. Tuy nhiên, người có tiền sử bệnh về mắt nhạy cảm nên tham khảo ý kiến bác sĩ trước khi sử dụng Vision Pro liên tục.

Làm thế nào để tắt eye tracking trên iPhone/iPad?

Vào Cài đặt > Trợ năng > Cử chỉ tương tác và tắt công tắc Eye Tracking. Trên Vision Pro, có thể tắt trong Cài đặt > Trợ năng > Eye Tracking.

iPhone nào hỗ trợ eye tracking đầy đủ?

iPhone X, XR, XS, 11, 12, 13, 14, 15, SE (thế hệ 2 và 3) đều có camera TrueDepth hỗ trợ. Riêng iPad chỉ hỗ trợ trên các dòng iPad Pro 11 inch (thế hệ 2 trở đi), iPad Pro 12.9 inch (thế hệ 4 trở đi), iPad Air (thế hệ 4 và 5), iPad mini (thế hệ 6).

Kết luận

Eye tracking trên Apple không chỉ là một tính năng công nghệ cao mà còn là minh chứng cho cam kết về khả năng tiếp cận và trải nghiệm người dùng của Apple. Từ việc giúp người khuyết tật vận động có thể độc lập sử dụng thiết bị đến việc tạo ra cuộc cách mạng tương tác trên Apple Vision Pro, công nghệ này đang từng bước thay đổi cách con người làm việc và giải trí. Dù vẫn tồn tại những hạn chế nhất định về điều kiện ánh sáng và thiết bị hỗ trợ thị giác, nhưng với mỗi bản cập nhật, Apple đều cải thiện độ chính xác và mở rộng phạm vi ứng dụng. Đối với người dùng phổ thông, hiểu đúng eye tracking trên Apple là gì sẽ giúp bạn tận dụng tối đa khả năng của chiếc iPhone hay iPad trong tay, đồng thời sẵn sàng cho kỷ nguyên điện toán không gian mà Apple đang dẫn đầu.