Перед командой Quite Multimedia была поставлена задача создать интерактивное видео сопровождение 30-минутного стадионного выступления артиста KTO Dj для трансляции на масштабных проекционных экранах во время шоу. Сопровождение должно выполняться в режиме реального времени и преображать артиста в виртуального персонажа.
Для преображения артиста в виртуального персонажа, повторяющего все движения живого человека в режиме реального времени, была выбрана технология бескамерного захвата движений (Motion capture) на основе костюма XSens.
Был создан виртуальный трехмерный персонаж «Снежный барс», обладающий возможностью движения рук и ног, кистей, туловища и головы, а также мимикой лица - всего 12 мимических движений.
Была создана трехмерная модель диджейского пульта с активными кнопками и анимированными проигрывателями пластинок.
С помощью средств генеративной графики были созданы трехмерные фоны – 5 динамических моделей окружающей среды: горы, лес, море, город и стадион, обладающие реакцией на музыкальное сопровождение шоу по принципу эквалайзера.
Все эти элементы были собраны воедино в сцену на двух платформах (vvvv и Unity3d) для создания полноценного виртуального выступления ди-джея для трансляции.
Трансляция осуществлялась в режиме реального времени во время 30 минутного выступления KTO Dj на стадионе с помощью проекторов на экранах размером 7 на 11 метров, а также на LED панелях. Помимо повторения всех движений живого артиста виртуальный персонаж обладал мимикой, которая также управлялась в режиме реального времени, а вся сцена виртуального выступления показывалась с 4 виртуальных камер, обзор с которых также менялся во время шоу.
Срок выполнения: 1 месяц

The task Quite Multimedia faced this time was the interactive video show for the live KTO DJ 30-min set on a stadium to be broadcast at huge projection screens.
The solution to this task was to transform the dj into a virtual character who is placed in a 3d virtual surroundings and who repeats all the movements of a real dj using the XSens cameraless motion capture equipment. Unity 3d and vvvv were used as the programming platforms for the project.
The Show Leopard who had the 12 mimic movements and was free to repeat every movement of a person was chosen as a virtual character standing behind the 3d dj desk and scratching on the 3d deck.
Using the generative graphic programming in vvvv we created 5 dynamic models of the environment background: mountains, winter forest, sea, city and stadium. These backgrounds were sound reactive as the equalizer is.
The show was held live at a stadium during the KTO DJ performance, the image was projected onto 4 7*11 meters projection screens and LED panels round the stadium. Everything was real time during the show, so the character was believed to be a real dj.
Project duration: 1 month

Project team:
Dmitry Znamensky – supervisor
Alexander Boronin – project management
Alexander Kulikov – creative producer/foreign relations management
Alexander Shaliapin – technical director, vvvv programming
Alyona Danilova (animati.ca/) – interactive mocap specialist, Xsens operator, rigger, mimics animator.
Pavel Nemenko (youtube.com/user/pavel3dtv)– 3d modelling (dj table, headphones), rigging of the model.
Andrey Boyarintsev (Ivan Rastr - ivanrastr.com/) – vvvv programming of interactive backgrounds.
Pavel Zyr – Unity3d programming
Yuri Deldyuzhov (e-Tir - e-tir.ru/) – XSens suit technical support
Ivo Slivkov (Xsens - xsens.com/) – Xsens technical expertise
Dj KTO DJ (ktodj.com/) – music

Loading more stuff…

Hmm…it looks like things are taking a while to load. Try again?

Loading videos…