Nina Sumiko Tomita Hirata.

LEARN é um grupo de extensão do Instituto de Matemática e Estatística da USP. O grupo é formado majoritariamente por estudantes de graduação, interessados em aprendizado de máquina e deep learning. Em encontros semanais, o grupo engaja-se, sob supervisão da professora Nina Hirata, em estudos e discussões sobre conceitos teóricos, desenvolvimento de código, experimentos computacionais, desenvolvimento de materiais didáticos, desenvolvimento de projetos de grupo ou de pesquisa.

A alta prevalência de diabetes mellitus (DM), especialmente o DM tipo 2 (DM2) e as consequências do mau controle metabólico no longo prazo têm um grande impacto nos gastos com saúde e são responsáveis por alta morbi- mortalidade nesta população. Em 2021, a Vigilância de Fatores de Risco ou Proteção para Doenças Crônicas por Inquérito Telefônico no Estado de São Paulo (Vigitel ESP) estimou em 3.178.067 o número de indivíduos adultos com DM neste estado.A história do DM é marcada pelas complicações que atingem as grandes e as pequenas artérias (microangiopatia) naqueles que não conseguem manter um bom controle glicêmico, que são a maioria. A microangiopatia é responsável pelas seguintes complicações: doença renal diabética (segunda causa de ingresso em programas de diálise no Brasil), retinopatia (importante causa de cegueira), neuropatia distal (causa de amputações) e neuropatia autonômica cardiovascular (que aumenta a mortalidade). O DM2 aumenta, ainda, o risco de doença de Alzheimer e de demência vascular. Além de afetar a qualidade de vida do indivíduo e de sua família, o declínio cognitivo (DC) compromete a capacidade de entendimento, necessária para o tratamento do DM, o que resulta em pior adesão, perpetuando o mau controle metabólico.De 2018 a 2020, avaliamos a prevalência das microangiopatias em indivíduos com DM2 seguidos na UBS Ilza Weltman Hutzler (São Paulo) e mostramos uma prevalência de 23,5 de doença renal crônica secundária à doença renal diabética, 15 de retinopatia diabética com necessidade de encaminhamento para o oftalmologista pela gravidade (esses indivíduos poderiam ter perdido a visão não tivessem sido encaminhados), 14,3 de neuropatia distal e 10 de neuropatia autonômica cardiovascular instalada (esses indivíduos, por seu alto risco cardiovascular, já não deveriam estar sendo acompanhados na atenção primária). Uma análise preliminar de 79 indivíduos revelou que 51,9 apresentavam DC mostrado pelo teste Mini-Mental, um número alarmante que evidencia a necessidade de otimização do tratamento do DM2 e de outras comorbidades, bem como da adoção de medidas que retardem a evolução para a demência, tais como programas de atividade física e adequações dietéticas.

Métodos de Visão Computacional são empregados para extração de informações de imagens e vídeos, mas nem sempre os elementos contextuais presentes neles são suficientes para a extração de informações corretas e precisas. Nesses casos, conteúdos de outras fontes e modalidades de dados como áudio e texto, ou ainda outras informações externas aos dados, como conhecimentos a priori, podem ser utilizados para complementar e enriquecer o contexto da informação de interesse. Adicionalmente, o contexto de aplicação pode impor restrições diversas tais como limitações de hardware, necessidade de garantia de privacidade, entre outros. Portanto, métodos de Visão Computacional modernos precisam ser capazes de integrar automaticamente os elementos contextuais da informação de interesse e também aqueles relacionados à aplicação em questão. O objetivo deste projeto é o desenvolvimento de modelos e métodos de visão computacional que sejam capazes de gerar representações ricas em contexto. O projeto será organizado em três eixos principais integrados: (i) Uso ótimo de dados não-supervisionados; (ii) Alinhamento de domínios multi-modais; (iii) Propriedades de representações. De especial interesse são aplicações de visão computacional envolvendo dispositivos de borda (edge computing) e dispositivos móveis (como smartphones e mini-computadores). Para desenvolver, testar e validar os métodos, pretendemos construir um setup experimental consistindo de múltiplas câmeras e sensores que permitirão a construção de conjuntos de dados supervisionados a serem explorados pelo grupo.

Scientific research is generating an increasing number of digital images, from micrographs of cells to pictures of galaxies. Automated instruments can capture many images, which are then processed automatically to extract data from them. For this data to be useful to the scientific community and benefit the general public, it needs to be fast to generate (even for millions of images), consistent, and easy to share. In environmental sciences, common questions are: how many organisms are present in a given environment? How diverse are they? Does that change in time? Digital imaging can help answer these questions, particularly underwater, where direct observation by humans is difficult. For example, images of billions of planktonic organisms (i.e., the organisms that drift with ocean currents) have been taken and need to be analysed. Plankton largely contributes to the regulation Earth's climate, the production of the oxygen we breathe, the feeding of the fish we eat, etc. Estimating its abundance and diversity is therefore critical. Yet, efforts to process and classify images for such ecological studies have been scattered and not interoperable. The main goal of this project is to build a World Wide Web of Plankton Image Curation applications (WWW.PIC) that collect images of plankton, allow scientists to name them consistently, store associated ecological information (such as time, location, etc.), and make all data easily accessible to the community. It will leverage cutting edge advances in database design and machine learning to process billions of images, will be hosted on public web servers to be easily accessible, and will foster an atmosphere of collaboration and sharing that the Belmont Forum values and, we think, is essential for the progress of science. Then, we will use this network of applications to tackle studies that have proved challenging without it, such as fast plankton monitoring to assess ecosystem health, or global estimations of the distribution of planktonic diversity and its contribution to carbon storage or ecosystem productivity.

Um objetivo central na área de Visão Computacional é a interpretação de imagens. Em geral, aspectos de aparência são usados para detectar os componentes de interesse e então as relações espaciais e hierárquicas entre eles são usadas para "descrever" o conteúdo de uma imagem no nível semântico de interesse. Os modelos profundos atuais atingiram um estágio de evolução tal que são capazes de aprender e transferir características de baixo nível de um domínio para outro. No entanto, informações estruturais das imagens tais como as relações espaciais e hierárquicas entre os componentes são ainda modeladas explicitamente usando detalhes específicos de casos. Isto faz com que os modelos sejam mais difíceis de serem interpretados, útil apenas para poucas aplicações específicas, e as implicações sobre o esforço no preparo de dados de treinamento ainda não é claro. O objetivo deste projeto é o desenvolvimento de modelos profundos "structure-aware-semantics-unaware", com habilidade de aprender e codificar informações estruturais independentemente do nível semântico dos componentes. Isto impactaria o entendimento desses modelos (uma vez que as informações estruturais estariam mais explicitamente representadas) e os requisitos relativos aos dados de treinamento (uma vez que seria possível a transferência). Estão planejados estudos teóricos, o desenvolvimento de estratégias de visualização e de novos modelos profundos, e experimentação em relação a diversas tarefas de visão computacional.

This project focuses on a unified strategy for knowledge and emerging dynamics discovery in Computational Science using intermediate representations. The intended applications are in areas characterized by large volumes of data in which knowledge discovery implies the transition from raw data bases for intermediate representations (usually feature vectors and graphs), thus allowing for the subsequent use of different analytical methods. In this context, integration and transformation methods to be used in the generation of intermediate data should also ensure the quality and reliability of data generated for the intermediate representation. The results of the analysis phase may influence both experiments and the integration methods for generating new data by feedback mechanisms. This project has two general goals: 1) to develop methodologies to solve Computational Science problems based on a common approach of intermediate mathematical-computational representations; 2) to apply the developed methodologies to different scientific problems, thus creating specific solutions to each problem. This methodological strategy will be used to address specific problems in areas which our group has been working in recent years: intermediate representations in computer vision and urban informatics; study of biological networks dynamics to characterize the mechanisms of the health-disease transition; development of computational tools for processing of MRI images high field and their integration with biological data; development of new techniques for characterization and visualization of intermediate representations in complex dynamic networks, with applications in Systems Biology.

O problema de projeto de operadores morfológicos pode ser modelado no contexto de aprendizagem de máquina como um problema de aprendizado de uma função local que mapeia o padrão observado em cada ponto da imagem para um valor de saída. Uma característica interessante dos operadores morfológicos é o fato de eles permitirem uma interpretação intuitiva de seus efeitos, uma vez que sua concepção é fortemente baseada em explorar informação de forma e de topologia. Além disso, eles são formalmente bem caracterizados por fundamentos teóricos sólidos. Porém, por construção, operadores morfológicos não possuem propriedades interessantes como invariância à escala e à rotação e também não levam em consideração informações globais ou de contexto. Neste projeto, o objetivo principal é avançar os métodos existentes para projeto de operadores morfológicos para que estes sejam capazes de tratar objetos de diferentes escalas e levem em consideração informações globais e de contexto. Para tanto, a principal ideia a ser explorada é o uso de descritores de características diversas citados na literatura da área, de forma acoplada ao arcabouço de combinação de operadores. Deverão ser investigados os aspectos teóricos, estatísticos e práticos associados. Aplicações em processamento de imagens de documentos são planejadas como meio para validação dos métodos a serem desenvolvidos.

Dado o volume crescente de imagens geradas atualmente, a importância de métodos 
de processamento e análise que possam ser facilmente adaptados para diferentes t
ipos de imagens está cada vez mais evidente. Dentre tarefas comuns em processame
nto de imagens destacam-se a segmentação e a detecção de objetos de interesse. D
e um lado, os operadores morfológicos são ferramentas poderosas que podem ser ut
ilizados na solução dessas tarefas. De outro lado, aprendizagem computacional é 
uma abordagem que permite a adaptação de métodos de processamento de um contexto
 para outro. A aliança desses dois vem gerando técnicas de aprendizagem de opera
dores morfológicos a partir de imagens de treinamento. No entanto, os resultados
 satisfatórios ainda estão restritos ao contexto de processamento de imagens bin
árias. Este projeto de pesquisa visa avanços no estado-da-arte em aprendizagem d
e operadores morfológicos para imagens níveis de cinza, e especialmente voltados
 para os problemas de detecção de objetos e segmentação de imagens. Uma das cont
ribuições esperadas desta proposta é a solução de problemas reais de detecção e 
segmentação de objetos em imagens de diferentes áreas tais como Astronomia, Ocea
nografia e Biologia, em colaborações multidisciplinares mantidas pelos membros d
a equipe.

Nucleo de Estudos do Cosmos da Universidade de São Paulo. Coordenado pela profa. Dra. Claudia Lucia Mendes de Oliveira (IAG/USP). Parte do projeto está relacionada à análise de imagens multiespectrais, a serem obtidas por um moderno telescópio em construção. Para tanto será necessário o desenvolvimento de técnicas de tratamento e análise de imagens multidimensionais.

Projetar operadores morfológicos que apresentam bom desempenho em problemas de processamento e análise de imagens não é, em geral, uma tarefa simples. Uma abordagem útil para auxiliar o projeto de operadores é sua formulação como um problema de aprendizagem computacional: pares de imagens entrada-saída são utilizados como amostras de treinamento para gerar, via técnicas de aprendizagem computacional, um operador que procura mapear as imagens de entrada para as respectivas imagens de saída. No contexto considerado, esses operadores são caracterizados por uma função local que depende de uma vizinhança na imagem em torno do ponto a ser processado. Vizinhanças muito pequenas restringem a classe de operadores, gerando erro de restrição, e vizinhanças muito grandes resultam em imprecisão, gerando muita variância. Uma abordagem promissora recentemente proposta para balancear esses dois tipos de erro no caso de operadores binários é o projeto multinível de operadores. Nessa abordagem, o treinamento é realizado em múltiplos níveis, de forma a combinar em cada nível os resultados dos níveis anteriores. A escolha dos parâmetros dessa abordagem multinível tem sido realizada, por enquanto, manualmente. Este projeto de pesquisa pretende investigar aspectos práticos e teóricos dessa abordagem; em particular, pretende automatizar a escolha de parâmetros e estender a abordagem multinível para operadores sobre imagens em tons e cinza.

A demanda pela análise de imagens oriundas das mais variadas subáreas biomédicas e biológicas tem nitidamente crescido nos últimos anos. Além dos desafios computacionais diretamente relacionados à natureza da análise em questão, tais como a complexidade das imagens e o grande volume e tipos de problemas, verificam-se desafios relacionados à multidisciplinaridade e à necessidade de melhor integração de resultados gerados no tratamento de diferentes problemas. Este projeto de pesquisa propõe a investigação, desenvolvimento e validação de métodos e técnicas inovadoras para exploração e análise de bioimagens. Para viabilizar essa investigação, diversos subprojetos, todos relacionados a algum problema de análise de bioimagens e que envolvem colaborações com pesquisadores das áreas biológicas, são contemplados nesta proposta. Adicionalmente, está previsto o desenvolvimento de um ambiente unificado para exploração e análise de imagens, que terá papel importante para operacionalizar e viabilizar o desenvolvimento dos métodos e técnicas, melhorar as interações em colaborações multidisciplinares e permitir reaproveitamento de resultados. Com isso, esta proposta visa contribuir para formação de competência nacional em análise de bioimagens.

Para manipular um grande volume de dados, além de algoritmos ''inteligentes'' capazes de processar o conteúdo dos mesmos, é necessário termos formas efetivas de interagir com os dados. Tradicionalmente, a forma de interação com sistemas computacionais resume-se a interações via interfaces gráficas usando-se dispositivos como o teclado e o mouse. Dispositivos do tipo {\em tablet}, juntamente com uma caneta digital ( stylus), permitem a interação também via escrita. No entanto, a escrita ainda não é uma forma comum de interação, apesar de existirem várias situações nas quais a interação via escrita é mais natural do que via teclado ou mouse. Este projeto propõe investigar a escrita como meio de interação em dois contextos distintos (reconhecimento de expressões matemáticas manuscritas e segmentação de imagens) a fim de propor modelos genéricos de interação via escrita que possam também ser utilizados em outros contextos de aplicação. Desta forma, visa contribuir para a difusão de softwares capazes de explorar todo o potencial da escrita como mecanismo de interação.

Classificação de dados é uma parte fundamental em diversos problemas reais. Em muitas aplicações, técnicas de treinamento são utilizadas para ajuste dos parâmetros dos classificadores a partir de amostras de dados pré-classificados. Problemas com grande número de classes requerem o
ajuste de muitos parâmetros. Uma das conseqüências disto é a necessidade de grande tempo de treinamento e pouca precisão estatística nos ajustes. Uma abordagem comum para contornar essas dificuldades consiste na decomposição do problema original de classificação
em subproblemas mais tratáveis, seguida de composição das soluções dos subproblemas para a obtenção de uma solução para o problema
original. No entanto, na prática, as formas de decomposição e composição são realizadas experimentalmente, tornando-se também um processo
demorado. Este projeto propõe o estudo e elaboração de técnicas para automatizar a escolha da forma de decomposição/composição. Teste e
validação dessas técnicas serão realizadas no contexto de projeto de operadores morfológicos para processamento de imagens e em
reconhecimento de símbolos em expressões matemáticas manuscritas.

Um dos desafios para aplicações E-Science é a análise em larga escala de séries temporais, originárias de grandes bancos de dadosmultidimensionais. Este projeto propõe a integração de algoritmos de visualização e classificação não-supervisionada de séries temporais armazenadas em banco de dados multidimensionais. Esta integração será validada com a utilização de um banco de dados real de doadores de sangue de três grandes hemocentros do Brasil, de modo a melhor caracterizar o comportamento desses doadores tendo em vista a melhoria da segurança transfusional.

Atualmente existem várias técnicas estatístico-computacionais para classificação de dados e, nos últimos anos, diferentes técnicas de combinação de classificadores (as que se utilizam de mais de um classificador) têm sido propostas. Esta profusão de técnicas para classificação torna o projeto de classificadores uma tarefa não-trivial. Diante deste quadro, um sistema computacional que automatize parte da tarefa deprojetar classificadores é altamente desejável, tanto para facilitar pesquisas na área como para servir de ferramenta para usuários que não são especialistas no assunto.Estabelecendo-se tal sistema como um objetivo a médio longo prazo, uma parte fundamental para sua realização é o desenvolvimento de uma visão sistêmica do processo de projeto de classificadores. Conhecer as técnicas existentes, seus fundamentos teóricos e aspectos relacionadosa suas aplicações é essencial para o desenvolvimento dessa visão. Neste sentido, este projeto de pesquisa propõe uma ampla investigação teórica e experimental sobre técnicas de combinação de classificadores. Os estudos teóricos serão materializados em forma de seminários e relatórios técnicos, enquanto a experimentação dessas técnicas permitirá a resolução de problemas reais. Ambas serão fundamentais para um melhor entendimento do processo de projeto de classificadores.