Alessandra Alaniz Macedo.

O projeto SofiaFala Ecoa visa apoiar a divulgação e manutenção da coleta de voz e o processamento de áudios de pessoas com deficiência de fala junto à comunidade para construção de um corpus multitarefa. Este corpus está sendo estabelecido, a partir da doação participativa de áudios gravados com a voz de crianças, adolescentes e adultos com diferentes tipos de transtornos de fala. Os membros dessa comunidade repetem frases pré-estabelecidas, que são gravadas, via celular ou computador, no site de coleta desenvolvido pelo grupo e disponível na Internet. A produção de um córpus de fala comprometida suportará a experimentação de ferramentas de reconhecimento de fala para apoiar o desenvolvimento da comunicação de pessoas com problemas de distúrbios de fala. Para o uso de técnicas de Inteligência Artificial (IA), principalmente Aprendizado Profundo, grandes quantidades de informações para treinamento, validação e testes são necessárias. Esse projeto de participação da comunidade começou e está sendo apoiado por projetos PUB de extensão desde 2023. Portanto, as atividades previstas nesta atividade são: 1) a realização de gravações dos áudios juntos às pessoas da comunidade com deficiências de fala; 2) a seleção, recortes e pré-processamento dos áudios coletados para construção do corpus; 3) a preparação e divulgação de postagens em redes sociais para motivar a doação de fala comprometida via site ou mesmo presencialmente; 4) manutenções no site do projeto e no site de coleta para suporte às atividades anteriores; 5) avaliações com usuários; 6) alterações no código-fonte do app SofiaFala. O projeto SofiaFala Ecoa refere-se à repetição de frases gravadas por pessoas com deficiências de fala, capturando suas vozes e "amplificando" essas expressões para análises e desenvolvimento de tecnologias de reconhecimento de fala. Pretende-se colaborar e dar impacto a essas vozes na sociedade, reverberando a importância de inclusão e acessibilidade para pessoas com deficiência.

Ao redor do mundo existe um movimento de idéias, projetos e iniciativas que defende atividades de ensino/aprendizagem habilidades de pensamento computacional para crianças e adolescentes. Este projeto é uma iniciativa de cultura e extensão que tem como intuito ensinar elementos da Ciência da Computação a alunos do ensino fundamental II de forma prazerosa e descontraída para crianças de escolas públicas ou particulares da cidade de Ribeirão Preto/SP. Para chegar a esse objetivo, pretende-se usar métodos desplugados e plugados e as ferramentas Scratch e AppInventor. Os resultados dessa iniciativa visam impactar cerca de 300 alunos que serão selecionados para executar as atividades de pensamento computacional nos laboratórios do Departamento de Computação e Matemática (em horários livres dos cursos de graduação do departamento) da FFCLRP-USP.

O ensino de Ciência da Computação (CC) é essencialmente um trabalho sobre lógica,
resolução de problemas e criatividade e não apenas sobre tecnologia. O projeto code.org
vêm promovendo desde 2013 o estímulo ao aprendizado de CC através de aulas de uma hora
de duração para ensino de programação de computadores usando linguagens de blocos. Este
projeto pretende levar o Hora do Código a estudantes do ensino médio de Ribeirão Preto
e região.

O projeto SofiaFala foi iniciado como projeto de pesquisa em tecnologia assistiva apoiado pelo CNPq de 2016 a 2019. O projeto suportava o desenvolvimento de um aplicativo para treinamento de fala de pessoas com síndrome de Down. Atualmente o projeto continua fornecendo o aplicativo para fonoaudiólogos e pessoas com síndrome de down via download na Web e apoio por email. Esse trabalho tem sido totalmente voluntário.

Em 2006, Wing definiu pensamento computacional como um conjunto de competências e habilidades atreladas à Ciência da Computação, as quais deveriam se incorporar desde os primeiros anos escolares à vida das pessoas [1]. As atividades extensionistas pretendidas vão compor uma iniciativa de ensinar conceitos da Ciência da Computação, especificamente, Pensamento Computacional a interessados. Após a pandemia, as aulas estão acontecendo satisfatoriamente de modo remoto. Para chegar a esse objetivo, pretende-se usar plataformas eletrônicas como o Google Meets com métodos desplugados e plugados, assim como as tecnologias Scratch e AppInventor, e as linguagens Python e JavaScript. Os resultados dessa iniciativa visam impactar adolescentes e interessados em executar as atividades de pensamento computacional e entender as abordagens da área de Computação.Grupo social alvo da atividade:Pretende-se realizar o processo de ensino-aprendizagem de forma prazerosa e descontraída para crianças e adolescentes de escolas públicas, preferencialmente, ou particulares de todo país. Outros interessados em programação poderão se candidatar.

Devido a avanços na capacidade de processo e na precisão de resultados para problemas complexos, as pesquisas em diferentes área de Computação, com destaque para Inteligência Artificial, têm impulsionado a pesquisa e o desenvolvimento de métodos de análise de dados multimodais para diversas áreas do conhecimento, incluindo a medicina e saúde. Nesse contexto, os sistemas de inteligência artificial (IA) baseados em sistemas multimodais, que combinam dados de diferentes fontes como texto, imagem e som, precisam ser desenvolvidos. Os desafios para a manipulação de dados multimodais ainda são instigadores e suas soluções podem começar nas suas áreas de aplicação. Na área médica, os pesquisadores mostram um grande interesse em diversas questões de multimodalidade, especialmente em dados de imagens de ressonância magnética (MRI) de modalidades cruzadas para análise de tumores cerebrais e em dados prognóstico de câncer, por meio de análise multidimensional de dados em busca da precisão e da personalização do cuidado com a saúde. Contudo, a área de saúde bucal, principalmente no Brasil, não tem demonstrado destacável adesão à essas tendências, podendo ficar defasada e principalmente carente dos benefícios que podem ser alcançados com a integração de múltiplas fontes de dados proporcionando uma visão mais completa da saúde do paciente. Este projeto propõe a criação de métodos de análise multimodal de dados de dentes, boca, gengiva e estrutura óssea de pacientes com seus prontuários de saúde, apoiados na criação de modelos de aprendizado de máquina para processamento registos clínicos em língua natural e imagens médicas digitais para aplicações de diagnóstico clínico e planejamento de tratamento dentário. A experimentação dos resultados dos objetivos deverá ocorrer com os seguintes casos de estudo (i) o suporte ao diagnóstico de Carcinoma Espinocelular de boca, a partir da fusão de diferentes tipos de imagens; e (ii) a fusão de registros médicos e imagens para planejamento odontológico. Ao final desta pesquisa, pretende-se configurar um novo estado-da-arte para essas aplicações e ainda disponibilizar os modelos gerados, junto a todos os outros recursos que possam ser necessários para o avanço da pesquisa na mesma linha de concentração, como, por exemplo, um prontuário de precisão. O método de pesquisa principal será o design science com três etapas: preparação e curadoria de dados, design e desenvolvimento de modelos e técnicas de fusão multimodal, e validação em cenários reais.

We aim to produce resources for Brazilian Portuguese that will enable state-of-the-art tools and applications. We concentrate on both written and spoken modalities for Portuguese, focusing on three main tasks:

with a syntactical view, we aim to produce million-word multi-genre corpus of annotated texts for building robust parsing models;
with a language model view, we aim to generate a pipeline for constructing context-based neural models, with applications on natural language inference; and,
for spoken language, we aim to build multitask corpora for speech recognition, multi-speaker synthesis, speaker identification, voice cloning and speech-as-a-biomarker classification, producing a large corpus of recorded and transcribed spoken Brazilian Portuguese.
Each task contemplates an activity that intersects some other front. For instance, the transcribed speech and neural models must be used by the syntactical initiative for training neural-based parsing models; the parsing models may provide more data to the natural language inference and speech-based tools; the speech data will be used for developing speech-as-a-biomarker neural models.

Initial applications must be on speech-based disease diagnosis, opinion mining, and fake news detection.

Emphasis is given to the construction and use of open and open-source resources, so as to share the resources inside and outside this project.

Devido à quantidade de dados e pessoas envolvidos, os relatórios das instituições de saúde do governo brasileiro sobre problemas de saúde bucal e suas consequências podem levar, em média, dez anos para serem coletados, sistematizados, analisados, redigidos e disponibilizados. O mesmo tempo é consumido para analisar uma quantidade significativa de dados, pois a análise das informações e das imagens dos exames dos pacientes deve ser feita, paciente a paciente e exame a exame, observando o número e ascaracterísticas de dentes perdidos, deteriorados e restaurados. Para essas análises, é importante uma avaliação bem treinada e calibrada por especialistas da área treinados para esse fim. Nesse contexto, um dos grandes desafios é acelerar o resultado das análises dos dados para gerar estudos epidemiológico, que suportem a tomada de decisões clínicas e administrativas em nível municipal, estadual e federal. Esta proposta visa desenvolver mecanismos computacionais de suporte a um sistema inteligente capaz de detectar e numerar dentes saudáveis, cariados, restaurados e perdidos em radiografias panorâmicas dentárias.

A manipulação de tipos diferentes de dados e informação como textos, imagens e sinais sugere a necessidadede analisá-los em conjunto, mas principalmente as suas conexões, a fim de extrair informaçãoou gerar conhecimento úteis. Em diversos domínios e áreas, as informações estão representadasem nós de rede de informação, os quais geram informações muitas vezes complementares, formandonumerosas e sofisticadas redes. Essas redes podem ser caracterizadas como homogêneas e heterogêneas.As redes homogêneas são redes compostas apenas por nós com um único tipo de dado, porexemplo, o vínculo que une duas pessoas em uma rede social. Por outro lado, as redes heterogêneaspossuem dados de tipos diferentes como, por exemplo, no Flickr, as fotos estão ligadas por meio deusuários, grupos, tags e comentários. A heterogeneidade das informações e suas conexões implicamem diferentes significados semânticos, os quais podem levar a descoberta de um conhecimento refinadoe oculto, por estar em um emaranhado de informações. Esta pesquisadora tem investigadorelacionamentos entre informações há mais de uma década, e ultimamente, ela está focando esforçosna análise dos relacionamentos entre informações biomédicas usando Redes Complexas. Especificamente,este projeto propõe a definição de algoritmos de similaridade a serem aplicados e avaliadosno contexto de coleções de diversos tipos de documentos biomédicos como artigos científicos na áreamédica, imagens e informações biomédicas trocadas em rede social. Trabalhos prévios de suportedesenvolvidos pela orientadora e seus alunos serão utilizados. Pretende-se contribuir com a diminuiçãoda lacuna semântica existente entre informações complementares.

Bolsa de Produtividade em Pesquisa - PQ 2

A Síndrome de Down é uma alteração genética no par do cromossomo 21 que, dentre várias outras consequências, implica no comprometimento intelectual e da fala em quase 100 das pessoas com a síndrome. No entanto, estímulos e terapias integradas com equipe multiprofissional favorecem o desenvolvimento e qualidade de vida das pessoas com essa síndrome. A tecnologia computacional, juntamente com técnicas de Aprendizado de Máquina e Reconhecimento de Padrões, nas mais diversas áreas, tem se mostrado um recurso cada vez mais presente na vida de pessoas com deficiência intelectual, motoras e psíquicas. Nesse contexto, o objetivo deste projeto é desenvolver um sistema inteligente que apoie a criança down, por meio de treinamento por repetição, a se comunicar verbalmente, com maior confiança, fluência e desenvoltura. O software deverá ser consistente, interativo e adaptativo, pois à medida que for sendo usado, ele deverá aprender sobre as dificuldades e potencialidades da criança para melhor conduzi-la no processo de aprimoramento da fala.

Doenças crônicas é um importante problema mundial de saúde pública. Há muita informação disponível na Web sobre essas doenças, mas com ferramentas de buscas tradicionais (não especializadas), as buscas se tornam complexas e retornam resultados indesejado. Este projeto propõe o desenvolvimento de um Question Answering Framework (QFA) para suportar perguntas específicas e diretas de profissionais da saúde quando analisando pacientes com suspeita de fatores de risco para o desenvolvimento de doença crônica. O QAF é composto por 3 módulos: Processamento de Pergunta (PP), Processamento de Documentos (PD) e Processamento da Resposta (PR). Para o módulo de recuperação de documentos, pretende-se usar os sistemas CISS, desenvolvido pelo grupo da pesquisadora. No QA framework, os módulos PP, PD e PR serão desenvolvidos pelos bolsistas e acoplados ao módulo de recuperação CISS. Como na proposta a criação de perguntas pelo usuário deverá ocorrer usando linguagem natural, o módulo PP deverá realizar análises e classificação da pergunta e a formulação de uma consulta ao CISS. No módulo CISS, a consulta gerada pelo módulo PP será utilizada para recuperar documentos relevantes. Dos documentos mais relevantes recuperados, trechos candidatos a resposta serão extraídos no módulo PD e utilizados como entrada pelo módulo de PR. Para a seleção de respostas, os trechos candidatos a resposta serão comparados com o tipo de pergunta feita e ordenados de acordo com a similaridade com a pergunta. Algumas vezes, o módulo PR poderá utilizar esses trechos e compor um documento de resposta. Na proposta, como a coleção de documentos de entrada para o módulo CISS pode ser coleção de artigos científicos ou coleção de artigos científicos relacionados a prontuários eletrônicos, o profissional da saúde poderá realizar perguntas relativas doenças crônicas em pesquisas científicas ou a doenças crônicas relacionadas a fatores de risco do paciente.

Pesquisas recentes demonstram que as patentes armazenam em torno de 70% do conhecimento mundial. No entanto, esses documentos são pouco utilizados como fontes de referência no meio acadêmico por serem considerados pouco acessíveis. As ferramentas públicas de busca são limitadas, a linguagem utilizada nas redações é complexa e para patentes de áreas multidisciplinares, como a bioinformática, a complexidade é maior. Estudos recentes demonstram que a utilização de mecanismos como classificadores e artefatos linguísticos auxiliam na obtenção de resultados mais relevantes aos usuários. 

A pesquisa deste projeto tem como objetivo explorar artefatos linguísticos, técnicas de Recuperação de Informação e técnicas de Classificação Textual para guiar a busca por patentes de Bioinformática. O resultado dessa investigação é o Sistema de Busca Guiada de Patentes de Bioinformática (BPS), o qual utiliza um classificador automático para guiar as buscas por patentes de Bioinformática. Esse sistema e seus resultados tem sido aprimorados.

Profissionais da saúde em atenção básica podem ser considerados a maior fonte de informações sobre a saúde e o desenvolvimento das famílias brasileiras. Esses profissionais são indicados para iniciar cuidados preventivos de saúde.

A literatura científica biomédica ou de saúde tem crescido exponencialmente e tornado-se disponível em diferentes repositórios de informações.

Este projeto pretende a investigação de relacionamentos entre informações de biomedicina. O objetivo é explorar a criação automática de relacionamentos entre documentos das áreas médica e de saúde com conteúdo semelhante para, por exemplo, facilitar e aprimorar estudos de casos clínicos. Para alcançar esse objetivo está pesquisadora com seus alunos e colaboradores estão desenvolvendo diferentes tecnologias como o Automatic-SL, o CISS, o HSSF, o CISS+, o CISS-SW e o QASF.

Trata-se de um projeto de pesquisa visando o desenvolvimento de ferramentas de suporte e apoio ao ensino e aprendizagem com interações presenciais e a distância, síncronas e assíncronas.

Fontes diferentes de informação, estilos diferentes de escrita e a curiosidade nata do ser humano despertam o interesse de leitores por conhecer mais de um relato sobre um mesmo tema. No contexto de pesquisas científicas, por exemplo, a identificação de trabalhos relacionados é condição necessária para o desenvolvimento do trabalho. Para que a leitura de diferentes relatos com conteúdo similar seja possível leitores precisam procurar, ler e analisar informações fornecidas por diferentes fontes de informação. Essa atividade além de exigir grande investimento de tempo, sobrecarrega cognitivamente usuários que dedicam atenção tanto a informação lida quanto a trilha percorrida. Explorando serviços de identificação automática de relacionamentos, usuários podem conhecer diferentes relatos de uma mesma informação sem precisar formular consultas e navegar por todo o conteúdo do espaço de informação. O objetivo do projeto proposto neste projeto é aprimorar e estender as pesquisas, desenvolvidas por esta pesquisadora sobre definição automática de relacionamentos entre informações com conteúdo similar para poder aplicá-las em diferentes domínios. Essas pesquisas serão aplicadas, por exemplo, durante captura ubíqua em sala de aula e também com material relacionado a atividade médica.

The aim of this research is to integrate flexible hypermedia infrastructures to automated capture environments in order to support long-term use. Previous work by the group at GATECH has aimed at making capture a ubiquitous service at any point in time and over a short period of time. The real use of the infrastructure has created the interesting problem of having too much information available. The objective of the joint research is to find flexible and customizable information access solutions that scale over time, increasing the benefit of captured memories for the human as time passes and more information is captured.

Our approach to this problem is to view capture as only one part of the information acquisition process in any given application. We introduce a spiral model for capture that stresses how the capture repository must be viewed as an ever-growing container for activities and knowledge that occurs before, during and after live capture sessions. As the repository grows over time, specialized automated services must be created that add structure by highlighting inter-relationships between the captured experiences and activities that occur outside of capture. Moreover, flexible services for structuring and accessing the information must be provided. Work that involved Abowd and Pimentel demonstrated how the digital media of the captured lecture can serve as an effective anchor for collaborative discussions and Web-based homework assignments - Abowd et al. (1999).

The four main activities of the joint research plan are:
-The definition of a spiral model to describe the research challenges of an automated capture service to support long-term activities.
-The development of a generic Infrastructure for Capture and Access - InCA. InCA should provide not only the framework for a run-time environment to support the capture of many live activities, but also an extensible information model for captured experiences that will be used to link activities o