Microsoft SemanticPaint, uma mistura de Paint com realidade virtual
A Microsoft Research continua fazendo “mágica”. Nesta semana, a divisão apresentou uma tecnologia chamada SemanticPaint que permite ao usuário “digitalizar” o ambiente em que está e realizar uma série de ações virtuais a partir daí.
Como o nome sugere, o projeto é quase como uma versão com realidade virtual do Paint, aquele aplicativo de desenho que acompanha o Windows desde os primórdios da plataforma. É possível trocar as cores de objetos, aplicar efeito de spray, mudar o ângulo de visão e por aí vai.
Para visualizar o ambiente em que está e manipulá-lo virtualmente, o usuário pode usar óculos especiais (a Microsoft não usou o HoloLens na pesquisa, mas nada impede ambos os projetos de se fundirem futuramente). Já a interação e o mapeamento 3D do local é feito via Kinect, em tempo real.
O funcionamento é bastante interessante. No primeiro estágio, o SemanticPaint “monta” o ambiente como um artefato só. Na sequência, os objetos vão sendo identificados, classificados (cadeiras, copos, mesas, etc.) e delimitados. É isso que permite ao usuário selecionar apenas um item para modificar.
Graças ao reconhecimento, o usuário consegue, além de gestos, usar comandos de voz. Ao pronunciar “banana”, por exemplo, o SemanticPaint é capaz de buscar o objeto pelo ambiente e destacá-lo.
Todo o processamento é feito nas nuvens e tem como base um sistema de aprendizagem. Assim, quanto mais o SemanticPaint for usado, mais precisa ficará a sua tecnologia de reconhecimento.
É fácil imaginar as aplicações possíveis. Jogos, programas educativos, serviços de entretenimento, treinamento virtual, entre outros.
A Microsoft Research destaca ainda que a tecnologia pode ser usada para o desenvolvimento de equipamentos para deficientes visuais e até mesmo para aprimorar a orientação de robôs — o SemanticPaint também é capaz de contextualizar o ambiente, identificando, por exemplo, uma escada que impede a locomoção de uma máquina que utiliza rodas.
Há mais detalhes sobre o projeto neste paper (PDF).
Com informações: Engadget
Escrito por