AR Emoji, ktorý je zabudovaný do aplikácie fotoaparátu Samsung Galaxy S9, vám umožňuje používať predný fotoaparát na vytváranie a odosielanie digitálnych kreslených avatarov. Podobne ako v koncepcii Animojis od spoločnosti Apple, AR Emoji zachytáva vaše pohyby tváre a zrkadlí ich v podobe postavy alebo zvieraťa. Vďaka funkcii „Vytvoriť moje emodži“ si však môžete vytvoriť jedného zo seba jednoduchým zhotovením selfie - môžete si zvoliť tón pleti, oblečenie, účes, farbu vlasov a okuliare.
Vďaka aplikácii AR Emoji sa spoločnosť Samsung rozhodla vyriešiť problém, ktorý považuje za problém - nájsť spôsob, ako nahradiť existujúce emodži interaktívnymi. Spoločnosť to chcela urobiť jednoduchým spôsobom, pretože poskytla používateľom správne nástroje na zachytenie emócií, ale stále im umožňovala ľahké zdieľanie výsledku na rôznych platformách pre zasielanie správ.
Ako teda spoločnosť Samsung vytvorila svoj AR Emojis? Pre začiatočníkov išlo priamo k expertom na 3D animáciu, ktorí oživili niektoré z najobľúbenejších hollywoodskych postáv.
Od veľkej obrazovky po fotoaparát smartphonu
Na napájaní novej funkcie spolupracovala spoločnosť Samsung s Loom.ai - startupom so sídlom v San Franciscu, ktorý sa špecializuje na 3D animácie. Softvér spoločnosti umožňuje používateľom vytvárať plne personalizované a prispôsobiteľné 3D avatary z jednej fotografie bez vlastného hardvéru alebo snímačov hĺbky. Spoločnosť Samsung prostredníctvom partnerstva a súpravy na vývoj softvéru (SDK) spojila technológiu Loom.ai s technológiou fotoaparátu S9 (rozšírená realita a rozpoznávanie tváre), aby bolo možné vytvárať vlastné AR Emoji.
Spoločnosť Samsung chce nájsť spôsob, ako nahradiť existujúce emodži interaktívnymi.
Vízia za Loom.ai začala u filmov - presnejšie kreslené a superhrdiny. Zakladatelia spoločnosti Loom.ai - Mahesh Ramasubramanian a Kiran Bhat - predtým pracovali v populárnych spoločnostiach zaoberajúcich sa vizuálnymi efektmi, ako sú DreamWorks a Lucasfilm, a pomohli tak dostať na veľké plátno známe postavy, ako sú Shrek a Hulk.
Na vloženie osobnosti do týchto postáv použili technológiu snímania výkonu na začlenenie hercov, ktorí ich hrali - zaznamenávali pohyby herca, nie jeho vizuálny vzhľad. Ale potom, čo sa Ramasubramanian a Bhat pozreli na to, ako filmové publikum reagovalo na ich 3D výtvory, rozhodli sa posunúť túto technológiu ďalej - mimo Hollywoodu - založením spoločnosti Loom.ai, ktorá sa zameriava na smartphony.
„Ľudia okamžite reagujú na to, že tieto postavy ožijú, keď ich riadia ľudskí aktéri,“ uviedol pre Digital Trends Ramasubramanian, ktorý slúži ako generálny riaditeľ a spoluzakladateľ. „Loom.ai sme založili s cieľom, že musíme byť schopní nájsť ľahký spôsob, ako sa môže každý človek vidieť v 3D, a preto sme museli vybudovať novú technológiu.“
Brenda Stolyar / Digitálne trendy Vďaka hraným filmom si tvorba 3D avatara vyžaduje veľa vybavenia - drahý hardvér a softvér, líčenie a prostredie štúdia. Loom.ai však našiel spôsob, ako zjednodušiť proces zachytávania funkcií človeka bez obvyklých nástrojov; Namiesto toho patentovaná technológia využíva na analýzu obrazu jednu fotografiu a hlboké učenie. Ak fotografia neobsahuje žiadne výrazy tváre, algoritmus hlbokého učenia sleduje pixely a automaticky vytvorí tvár, ktorá zapuzdruje správny pohyb svalov.
„Keď sa partnerstvo spoločnosti Samsung pretočilo, mali sme šancu implementovať túto sofistikovanú technológiu do zariadenia, o ktorom si myslíme, že je už samo o sebe dosť pútavou inžinierskou úlohou,“ uviedol pre Digital Trends Bhat, CTO a spoluzakladateľ spoločnosti Loom.ai. „Je to veľký technologický skok v schopnosti zobrať niektoré z týchto nápadov a túžob z veľkej obrazovky a preniesť ich na mobil.“
Na napájanie AR Emoji spoločnosť Samsung získala pomoc od spoločnosti Loom.ai - startupu so sídlom v San Franciscu, ktorý sa špecializuje na 3D animácie.
Začlenenie tejto technológie do hardvéru Galaxy S9 vyžadovalo od spoločnosti Loom.ai reštrukturalizáciu svojich algoritmov, aby fungovala na zariadení. Loom.ai však nevytvoril AR Emoji sám: Ramasubramanian aj Bhat pripisujú spoločnosti Samsung zodpovednosť za to, že venovali obrovské úsilie optimalizácii softvéru. Poskytnutím súpravy SDK na integráciu do inteligentných telefónov si zakladatelia spoločnosti Loom.ai myslia, že spoločnosť Samsung môže rámec podstatne obohatiť pridaním väčšieho množstva obsahu a možností prispôsobenia v budúcnosti.
Ako Galaxy S9 vytvára digitálneho avatara
Ako presne teda S9 (a S9 Plus) vytvára AR Emojis? Aj keď spoločnosť Samsung neodhalila svoju tajnú omáčku, digitálnym trendom poskytla pohľad pod kapotu.
Vďaka technológii Loom.ai fotoaparát fotoaparátu sníma a spracováva 2D obraz do 3D. Aby sme to ešte vylepšili, S9 používa na zabezpečenie výrazov tváre pre AR Emoji ďalší softvér - sledovanie tváre a technológia Samsung Blend Shape.
Potom vám ostane komiksová podoba, ktorá dokáže napodobniť 18 rôznych výrazov - ktoré spoločnosť Samsung plánuje pomaly rozšíriť na 54 - od radosti a potešenia až po smútok a hnev. Všetky dáta sú tiež lokálne v zariadení a nikde inde sa neukladajú.
Technológia sledovania tváre sleduje v reálnom čase viac ako 100 znakov tváre (napríklad žmurkanie alebo usmievanie), aby zachytila jednotlivé emócie, zatiaľ čo funkcia Blend Shape ich pomáha rozšíriť - ktorá spája výrazy na základe 75 základných znakov tváre človeka . Spoločnosť Samsung tvrdí, že v prípade Blend Shape vykonala týždenne najmenej 100 testov v rámci svojich laboratórií, aby sa ubezpečila, že je k dispozícii dostatok údajov, ktoré by ich používateľov lákali. (Blend Shape sa tiež používa na vytvorenie disneyovských emodži AR, ako napríklad Mickey a Minnie Mouse.)
V našom vlastnom teste AR Emoji sme väčšina z nás cítili, že naše postavy vyzerajú mimoriadne nepresne. Jeden pisateľ pocítil nedostatok možností v tóne pleti, pričom na výber neboli žiadne tóny tmavej pleti. Iní mali pocit, že ich AR Emoji nevyzerajú nič ako oni, vďaka čomu sa úpravy avataru javili ako skôr drina ako príjemná úloha.
Podľa Loom.ai závisí vytvorenie presného AR Emoji do veľkej miery od spôsobu snímania selfie. Používatelia by mali robiť fotografie rovnako, ako by robili fotografie z pasov. "Chcete rovnomerné osvetlenie, nič nezakrýva vašu tvár a neutrálny výraz, aby sme výrazy mohli pridať neskôr," vysvetlil Ramasubramanian. "Je to záležitosť ľudí, aby si na to trochu zvykli a potom videli možnosti ich animácie a použitia."
Ramasubramanian tiež uviedol, že používatelia by s tým mali pri fotografovaní ľubovoľnej selfie zaobchádzať tak, ako by zaobchádzali - to znamená, že môžete fotiť tony, kým nebudete s fotografiou spokojní. Pretože AR Emoji umožňuje vytvárať viac avatarov, môžete ich porovnať a nájsť tak, ktorý sa vám najviac páči. Každá z nich, ktorú vytvoríte, sa tiež uloží do vášho telefónu, takže môžete použiť verziu, ktorú používate, podľa nálady.
Posledná aktualizácia AR Emoji obsahuje ďalšie účesy, pokrývky hlavy, ako je hidžáb, a ďalšie možnosti. Aktualizácia sa v súčasnosti chystá na odomknuté verzie Samsung Galaxy S9 a S9 Plus v Kórei, Číne a Európe. Zariadenia európskych operátorov a odomknuté zariadenia v USA by mali mať aktualizáciu k dispozícii na stiahnutie tento týždeň. Aktualizácia pre americké operátorské zariadenia sa objaví v priebehu nasledujúcich týždňov. Spoločnosť Samsung tvrdí, že AR Emoji sa bude aj v budúcnosti vyvíjať, zatiaľ však ostáva na perách ohľadom presných detailov.
