Mixed Reality (Realidade Mista) é o resultado da fusão entre o mundo físico e o digital posicionando-se como a próxima evolução na interação humana.
A maioria das soluções de mercado que envolvem a temática de Mixed Reality abordam somente o lado imersivo, como os óculos de realidade virtual.
A proposta deste trabalho é apresentar soluções que utilizam dispositivos já disponíveis no mercado (como webcams ou sensor kinect) para atingir experiências completas de realidade mista, fazendo a fusão entre imersão e holografia.
Por meio de uma nova arquitetura de redes neurais profundas conhecidas como cGAN (Conditional Generative Adversarial Networks) e da arquitetura de Image-to-Image Translation Pix2Pix, este trabalho apresenta duas soluções de Mixed Reality: o Deep Dubbing e o Magic Mirror.
O Deep Dubbing utiliza da realidade mista para criar a ilusão de sincronia entre movimento dos lábios e áudio em um vídeo dublado. Essa abordagem permite que os movimentos labiais de um dublador sejam gravados e transferidos para um vídeo alvo, eliminando a estranheza causada pela dessincronização.
O MagicMirror oferece uma aplicação de realidade mista para a prova virtual de vestuário, simulando a movimentação do vestuário virtual conforme os movimentos do corpo do usuário.