Począwszy od iOS 14 i macOS Big Sur, deweloperzy będą mogli dodawać do swoich aplikacji możliwość wykrywania ciała i dłoni w zdjęciach i filmach za pomocą zaktualizowanej platformy Apple Vision.
Funkcja ta pozwoli aplikacjom analizować pozy, ruchy i gesty ludzi, umożliwiając szeroką gamę potencjalnych funkcji. Apple podaje kilka przykładów, w tym aplikację fitness, która może automatycznie śledzić ćwiczenia wykonywane przez użytkownika, aplikację do szkolenia bezpieczeństwa, która może pomóc pracownikom w utrzymaniu prawidłowej postawy, oraz aplikację do edycji multimediów, która może znajdować zdjęcia lub filmy na podstawie podobieństwa.
Wykrywanie pozycji rąk w szczególności zapewnia nową formę interakcji z aplikacjami. Podczas prezentacji Apple pokazał, że osoba trzymająca kciuk i palec wskazujący złączony razem była w stanie rysować w aplikacji na iPhone’a bez dotykania wyświetlacza.
Ponadto aplikacje mogą korzystać z frameworka do nakładania emoji lub grafiki na dłonie użytkownika, które odzwierciedlają określony gest, taki jak znak pokoju.
Innym przykładem jest aplikacja aparatu, która automatycznie uruchamia opcję zrobienia zdjęcia, gdy wykryje, że użytkownik wykonuje określony gest ręką w powietrzu.
Szkielet jest w stanie wykryć wiele rąk lub ciał w jednej scenie, ale algorytmy mogą nie działać równie dobrze w przypadku osób w rękawiczkach, pochylonych, odwróconych głową w dół lub noszących duże czy szerokie ubranie. Algorytm może również napotykać trudności, jeśli osoba znajduje się blisko krawędzi ekranu lub jest częściowo zasłonięta.
Podobna funkcjonalność jest już dostępna za pośrednictwem ARKit, ale jest ograniczona do sesji rzeczywistości rozszerzonej i działa tylko z tylnym aparatem w zgodnych modelach iPhone’ai iPada. Dzięki zaktualizowanemu oprogramowaniu Vision programiści mają o wiele więcej możliwości.
