Carlos Hitoshi Morimoto.

A Internet das Coisas (IoT) vai permitir que um grande número de dispositivos se comuniquem conosco para os mais diversos propósitos. Criar uma forma eficaz, segura e robusta para interagir com esses dispositivos é um dos grandes desafios dessa área emergente. Nesse projeto propomos investigar o uso de plataformas computacionais vestíveis, enriquecidas com a informação do olhar, para interação com dispositivos IoT. Apesar de vários avanços recentes da computação vestível (CV), essa tecnologia ainda não atingiu grande alcance comercial, em parte devido a dificuldade de interação e limitação de suas aplicações. O estado atual da tecnologia de interação pelo olhar também apresenta restrições apesar de ser utilizada com relativo sucesso em interfaces para pessoas com deficiências físicas. Uma possível contribuição desse projeto será o desenvolvimento de uma forma ainda pouco explorada de interação em computação vestível. Em particular, para interações simples e rápidas em um contexto de IoT, o olhar pode fornecer à plataforma vestível informações importantes sobre o contexto para serem utilizadas pelas aplicações vestíveis. Um primeiro objetivo dessa pesquisa é o desenvolvimento de uma plataforma computacional vestível composta basicamente por um notebook, uma micro-monitor montado à frente do olho do usuário e um rastreador de olhar. Serão investigados dois modelos de monitores, um monocular e outro binocular. Uma vez construída essa plataforma, investigaremos como o olhar pode ser utilizado na interação, desenvolvendo novas interfaces de realidade aumentada para dispositivos IoT controladas pelo olhar. Esse projeto será desenvolvido com a participação de vários alunos da graduação e pós-graduação da USP.

Augmented cognition applications running on always-on platforms (AOPs) will require reliable context information. Because eye gaze is closely related to the focus of attention of the user, gaze information may be crucial in determining context and also an important interaction mode with head-up displays (HUDs). Our research target is the development of gaze-based interaction techniques to support augmented cognition applications.

Interfaces baseadas no olhar utilizam rastreadores de olhar (\textit{Eye Gaze Trackers}) como dispositivo de entrada. Tais dispositivos informam ao computador a posição sobre o monitor observada pelo usuário a cada instante. Ao associar o cursor à posição do olhar, o apontamento de objetos da interface pode ser feito de forma bastante natural, porém a seleção dos objetos (``clicar'' com o olhar) continua um problema que ainda não foi resolvido satisfatoriamente. Dentre os métodos sugeridos podemos citar o piscar do olho, gestos do olhar e tempo de latência (ou \textit{dwell time}). Essa última alternativa, talvez devido a sua simplicidade, é a mais
utilizada até o momento. A ideia é que o usuário precisa manter o olhar fixo sobre um objeto (por um período de latência), para selecioná-lo. Apesar de simples, utilizando um tempo de latência muito curto temos o problema conhecido como ``toque de Midas'', onde todo o objeto observado pelo usuário é ativado. Caso o tempo seja longo, a interação se torna lenta.

Este projeto propõe a investigação da alternância entre contextos como novo paradigma de ativação em interfaces baseadas no olhar \cite{Morimoto:10}. Tal paradigma, proposto recentemente por nosso grupo, oferece maior conforto (pois elimina o problema do toque de Midas) e velocidade (pois associa a seleção a um movimento rápido do olhar).

Como resultado dessa pesquisa, serão criados aplicativos computacionais controlados pelo olhar mais eficientes e genéricos que os atuais. Essa tecnologia deve facilitar a comunicação de pessoas portadoras de deficiências físicas, permitindo-lhes uma maior integração social, e todos os aplicativos serão disponibilizados como software livre.

Participação do Laboratório de Tecnologias de Interação do Departamento de Ciência da Computação do IME-USP no projeto TIDIA-Ae para o desenvolvimento de ferramentas de aprendizado eletrônico.

A revolução digital vem tornando disponível através da Internet uma enorme quantidade de informação, cujo acesso só se torna possível através de avançadas técnicas de busca e organização de dados. Essas técnicas em geral são apropriadas apenas para as informações do tipo texto e embora seja significativa a quantidade de informação disponível na forma de vídeo, imagens e áudio, a busca desse tipo de mídia é apenas possível através de anotações.

O objetivo desse projeto é desenvolver formas eficientes de organização e indexação da informação visual em vídeos para tornar mais eficientes as ações de busca, visualização, armazenamento e transmissão de vídeo.

Como resultado desse projeto serão desenvolvidos vários filtros para a detecção de atributos de vídeo em vários níveis semânticos diferentes, e uma plataforma onde 
tais filtros poderão ser integrados para formar um protótipo de um sistema para exploração 
em grandes bases de vídeo digital, baseado apenas em informações visuais.

Joint research project between the University of São Paulo (USP) and the Almaden IBM Research Center for the development of gaze enhanced interfaces such as the MAGIC (Manual And Gaze Input Cascaded) Pointing.

This project aims the research of computer vision techniques for development of non traditional human-computer interfaces.