Комп'ютерні системи розпізнавання осіб вже працюють досить добре і навіть вміють розрізняти емоції. Але люди передають інформацію не тільки за допомогою особи, але і за допомогою різних жестів і поз. Так що вчені з Інституту робототехніки університету Карнегі - Меллон вирішили створити програму, яка з легкістю б «читала» мову людських жестів і інтерпретувала отриману інформацію.

У своїй розробці вчені задіяли 500 високоточних відеокамер, встановлених всередині величезного купола висотою в 2 поверхи. П'ять сотень камер (надані дослідникам Panoptic Studio) виробляють величезну кількість інформації, і навіть при зйомці одного кадру для аналізу всієї візуальної інформації потрібні значні обчислювальні ресурси. При цьому система повинна провести одночасну оцінку виразу обличчя, положення голови, тулуба, ніг і всіх пальців рук. Як розповів лідер проекту Ясер Шейх, «Людина висловлює свій стан і емоції за допомогою виразу обличчя, рухів і пози тіла не гірше, ніж своїм голосом. Але комп'ютери до останнього часу залишалися «сліпі» по відношенню до цієї мови нашого тіла. Нам вдалося «навчити» штучний інтелект того, що ми вміємо робити практично з самого народження. Зараз ми плануємо поліпшити ПО таким чином, щоб для аналізу системі вистачало лише однієї камери.

При цьому ми хочемо вдосконалити систему, щоб вона могла розшифровувати мову тіла цілої групи людей, що взаємодіють один з одним ».

Дані про новий метод розшифровки мови тіла людини, а також його вихідний код перебувають зараз у вільному доступі. Більш детальну інформацію про свою розробку вчені планують представити на конференції Computer Vision and Pattern Recognition Conference (CVPR) 2017, яка буде проходити з 21 по 26 липень. Ну а самостійно ознайомитися з новинкою можна вже зараз за допомогою відеоролика, розташованого нижче.