Miguel Arjona Ramírez.

Este Plano de Trabalho de Extensão aplica-se à execução de serviços de consultoria tecnológica em Telecomunicações. Como exemplo, citamos a análise de implementações do codificador-decodificador (codec) Enhanced Voice Services (EVS) do consórcio 3rd Generation Partnership Project (3GPP) e sua Norma Técnica.Para a análise de implementações do codec EVS, propõe-se no Plano de Trabalho como serão conduzidos os trabalhos até sua consolidação num parecer sobre sua adequação à norma.Ademais, este Plano de Trabalho deve analisar os testes operacionais em aparelhos que supostamente usam o codec EVS.O projeto "Consultoria em Telecomunicações" foi registrado na Fundação de Apoio à Universidade de São Paulo (FUSP) sob o número P. 4245.

Este plano de pesquisa, processo FAPESP 2022/10909-5, aborda sinais temporais e espaciais tais como voz, áudio e imagens no seu processamento para a obtenção e aplicação de características para aprendizagem baseadas em funções-objetivo diferenciáveis. Ao longo do processo, é importante a conversão dos sinais a partir de seus domínios de origem para outros mais adequados e significativos, resultando em representações espectrais ou espectro-temporais com o objetivo de evidenciar características mais apropriadas para tarefas específicas. Elas podem ser alcançadas através de transformadas diretas como a transformada de Fourier de curto prazo (STFT) ou pela aplicação de filtros em associação com métodos correlacionais, preditivos ou cepstrais diretamente ou através de mecanismos adaptativos como as redes neurais convolucionais (CNNs), redes neurais recorrentes (RNNs) e camadas "transformer" providas de mecanismos de atenção. Para estas últimas, as representações dão-se através de variáveis latentes, podendo acarretar a necessidade de interpretações ou de métodos de regularização associados dependendo da tarefa objetivada. Com uma base comum de técnicas de aprendizagem de máquina, tem-se em vista uma gama de tarefas tais como análise e síntese de voz, realce e separação de sinais de voz e de áudio espaciais, métodos objetivos de avaliação de qualidade de voz baseados em medidas perceptivas bem como a identificação de regiões de interesse em imagens.

Processo: 404081/2023-1Aprendizado de máquina (AM) tem chamado atenção da comunidade científica por possibilitar resolver inúmeros problemas práticos. Neste projeto, pretende-se utilizar AM em várias frentes: (a) classificação de arritmias cardíacas; (b) filtragem, equalização e mitigação de ruído em sinais caóticos; (c) processamento de sinais de voz e de áudio; (d) reconhecimento de padrões e processamento de imagens; (e) modelos gerativos para produção musical e (f) redes de difusão adaptativas. Na frente (a), pretende-se classificar arritmias cardíacas, levando-se em conta o treinamento distribuído ou centralizado. O treinamento distribuído garante a privacidade do paciente e possibilita trabalhar com grandes conjuntos de dados. Para balancear o banco de dados, pretende-se considerar data augmentation utilizando modelos gerativos como a rede gerativa adversária (generative adversarial network - GAN). Na frente (b), pretende-se usar AM para equalizar canais de comunicação em sistemas de comunicação baseados em caos, considerados como uma alternativa inovadora em problemas de comunicação ainda sem solução bem definida. Pretende-se ainda utilizar reservoir computers para melhorar a relação sinal-ruído na entrada do receptor desses sistemas e analisar a influência da filtragem linear na sua dinâmica. Na frente (c), AM será usado para explorar análise de voz, codificação de voz e de áudio, reconhecimento da fala e de outras características para obter representações adequadas desses sinais. Na frente (d), pretende-se usar AM em aplicações que exigem reconhecimento de padrões ou processamento de imagens, como é o caso de super resolução de imagens. Na frente (e), pretende-se usar modelos gerativos como a GAN para gerar música. Por fim, na frente (f), pretende-se abordar a censura e amostragem em redes de difusão adaptativas. O projeto conta com cinco pesquisadores e diversos alunos de pós-graduação da Escola Politécnica da USP.

Este integrante da Equipe Técnica do Projeto MEC-ITA participa das seguintes atividades:1 - Indicadores de qualidade e inteligibilidade de voz. Avaliação de métodos de realce de sinaisde voz.Avaliação com adaptações de diferentes métricas, tais como a Relação Sinal-Ruído Segmental ea PESQ (perceptual evaluation of speech quality).2 - Estimação de parâmetros acústicosEstimação de frequência fundamental (F0): método da autocorrelação e outros algoritmos.Estimação de parâmetros relacionados ao espectro de curto prazo.3 - Métricas de contagem de palavras.Avaliação de algoritmos de taxa de vocalização (speech rate).

Processo:	2019/07665-4 https://bv.fapesp.br/51173
Esta proposta descreve um Centro de Pesquisa de Engenharia em Inteligência Artificial (IA) empenhado em conduzir pesquisas em tópicos centrais de IA e em aplicar técnicas de IA em áreas de aplicação selecionadas --- a saber, indústria de óleo e gás, agronegócios e saúde. O Centro também dará suporte a estudos sobre o impacto social e econômico da IA e conduzirá atividades de transferência de tecnologia e difusão do conhecimento. O Centro será construído com a convicção de que os próximos dez anos trarão avanços sem precedentes em IA, os quais dependerão da colaboração tanto entre áreas centrais da IA como destas áreas com as aplicações. O "Center for Artificial Intelligence" consistirá de dois grupos interligados de pesquisadores, ambos distribuídos na instituição anfitriã e em instituições associadas. Um grupo de pesquisadores, com significativa projeção internacional na comunidade de IA, cobrirá tópicos centrais de IA, de representação de conhecimento a aprendizado de máquina, com ênfase em processamento de texto e linguagem natural, particularmente em Português. Tendências da pesquisa internacional corrente sugerem que a próxima década testemunhará uma interação crescente entre representação de conhecimento, tomada de decisão e aprendizado de máquina; o "Center for Artificial Intelligence" focará sua atenção na combinação destas áreas da IA, já que elas não são tão intimamente conectadas quanto deveriam ser --- o Centro se posicionará como um participante fundamental na colaboração entre os principais tópicos da IA. Um segundo grupo de pesquisadores do Centro focará em três áreas de aplicação onde existe significativa experiência na instituição anfitriã: óleo e gás, agronegócio, e saúde. A conexão entre pesquisa em tópicos centrais da IA e áreas de aplicação ocorrerá em dupla direção: pesquisa em IA básica abordará problemas de grande escala nas áreas de aplicação selecionadas, e será direcionada pelos desafios nestas áreas de aplicação. Um pequeno grupo de pesquisadores da área de humanas está incluído no "Center for Artificial Intelligence" para conduzir pesquisa sobre o impacto social da IA e para identificar caminhos que garantam o uso da IA para o bem. O Coordenador de Educação e Difusão do Conhecimento organizará produção de vídeos contendo resultados de pesquisa e trabalhará através de feiras e escolas para educar o público em sentido amplo. O Coordenador de Transferência de Tecnologia trabalhará com órgãos bem estabelecidos na instituição anfitriã para fomentar iniciativas que transferirão resultados para as entidades financiadoras e para esforços de empreendedorismo. (AU)

O Processo FAPESP 2019/23779-0 compreende a visita do Prof. Thippur V. Sreenivas do Indian Institute of Science permitirá sua assessoria na pesquisa compreendida pelo Auxílio à Pesquisa Proc. FAPESP 2018/26455-8 sobre Processamento Audiovisual de Voz por Aprendizagem de Máquina. As atividades principais planejadas incluem pesquisa conjunta sobre Áudio Espacial para comunicações de voz/áudio e perception da fala. Sua pesquisa recente sobre estes tópicos envolve modelos estocásticos e algoritmos de aprendizagem de máquina, que constituem a base para os algoritmos de processamento de voz/áudio e que têm ainda um impacto maior sobre processamento de sinais de arranjos de sensores e audição de máquina (Robô escutando comandos de humano e interpretando o ambiente de áudio). Os estudos sobre percepção de áudio/fala também poderão ser interessantes no desenvolvimento de medidas objetivas da qualidade de voz. Também estão contempladas apresentações sobre nossa pesquisa em andamento em análise e modelagem de sinais de voz, codificação de áudio, identificação de locutor, modelos espectrais para codificação de voz e separação de fontes, seguidas da assessoria especializada do Prof. Sreenivas e discussão. Além disso, um curso de Pós-Graduação está planejado sobre os temas acima. Este curso ocorrerá na Universidade de São Paulo (USP) com convites estendidos aos estudantes da Universidade Federal do ABC (UFABC), da UNICAMP e da UNESP.
Resumo em Inglês	We plan to receive Prof. Thippur V. Sreenivas from the Indian Institute of Science, Bangalore, India, as a visiting professor who will advise us on our ongoing research about Audio-Visual Speech Processing by Machine Learn- ing supported by Grant Proc. FAPESP 2018/26455-8. The main activities that has been planned include joint research on Spatial Audio for speech/audio communication and speech perception. His current research in these topics involves stochastic models and stochastic machine learning algorithms which have provided the basis for speech/audio processing and have a wider impact in multi-sensor signal processing and machine listening (Robot listening to human commands and interpreting the audio environment). The spatial audio/speech perception studies would also be of interest to develop objective measures of subjective quality. During the visit, lecture presentations are envisaged on the topics of our ongoing research in analysis and modeling of speech signals, audio coding, speaker identification, spectral models for speech coding and signal separation, along with his expert advice and group discussions. A new graduate course has been planned around the topics of joint research indicated above. This course will be offered at the University of São Paulo (USP) and students from the Federal University of the ABC (UFABC), UNICAMP and UNESP will also be invited.

2018/12579-7 https://bv.fapesp.br/51176
Redes de dispositivos interconectados estão no âmago de diversas tecnologias-chave futuras, como controle distribuído para veículos autônomos, redes de sensores para monitoramento estrutural, e para cidades inteligentes. Além de confiabilidade, todas essas aplicações têm requisitos estritos em termos de eficiência energética, segurança, latência e auto-otimização, e requerem tecnologias habilitadores inovadoras. O recente conceito de Internet das Coisas (IoT, na sigla em inglês), imaginado para conectar bilhões de 'coisas' sem fio (sensores sem fio, dispositivos que podem ser carregados com os usuários, biochips, etc) numa vasta rede com características drasticamente diferentes, deixou de ser uma visão futurística para nos últimos anos estar cada vez mais próximo de se tornar realidade. O projeto ELIOT vem no momento certo para atacar todos os principais desafios acima. (AU)

Este plano de pesquisa, processo FAPESP 2018/26455-8, explora uma base comum a várias áreas de processamento de sinais como análise de voz, codificação de voz e de áudio, reconhecimento da fala e de outras características de sinais de voz e de áudio e separação de sinais com regularizações para permitir ajustes mais adequados à finalidade desejada. Tradicionalmente, a análise de voz, além de seu interesse específico, propicia as representações do sinal e os parâmetros dos modelos necessários às outras áreas. Esta função tem sido questionada com os desenvolvimentos mais recentes em aprendizagem profunda, pretendendo-se estabelecer paralelos entre as duas abordagens para aumentar a compreensão. Além das formas de decomposição e modificação tempo-frequencial e de análise autorregressiva usuais, novas técnicas baseadas no aprendizado de máquina e na aprendizagem profunda serão propostas para realce, separação e síntese de sinais de voz e de áudio, avançando sobre as bases da análisetradicional. Serão pesquisadas máquinas com capacidade gerativa também para sinais de vídeo e séries temporais. Adicionalmente, os parâmetros e representações do sinal de voz também serão utilizados para a modelagem e elaboração de métricas não-intrusivas da qualidade do sinal de voz; para tal propósito, o sinal de voz é degradado utilizando diferentes parâmetros de um sistema de comunicação.

[Processo de Auxílio à Pesquisa 2015/25512-0]
Este plano de pesquisa compõe-se de temas recorrentes em várias áreas de processamento de sinais como análise de voz, codificação de voz e de áudio, reconhecimento da fala e de outras características de sinais de voz e de áudio e separação de sinais com regularizações para permitir ajustes mais adequados à finalidade desejada. A análise de voz, além de seu interesse específico, propicia as representações do sinal e os parâmetros dos modelos necessários às outras áreas. Novas formas de
decomposição e modificação tempo-frequencial e de análise autorregressiva serão exploradas para a codificação do espectro de curto prazo, principalmente com o auxílio de técnicas de quantização vetorial, de transformadas, de modelos de misturas de densidades e de otimização. Os parâmetros e representações do sinal de voz também serão utilizados para o estabelecimento de modelos para a elaboração de métricas não-intrusivas da qualidade do sinal de voz. Serão exploradas representações
paramétricas para a identificação de fontes sonoras, eventualmente incluindo a identidade do locutor ou do instrumento, condicionada a outras fontes de conhecimento ou restrições.

Este plano de pesquisa compõe-se de temas relacionados com análise de voz, codificação de
voz e de áudio, reconhecimento da fala e de outras características de sinais de voz e de áudio e
identificação de locutor. A análise de voz, além de seu interesse específico, propicia as representações
do sinal e dos parâmetros necessárias aos outros temas. Novas formas de análise autorregressiva serão
exploradas para a codificação da envoltória espectral de curto prazo de sinais de voz, principalmente,
com o auxílio de técnicas de quantização vetorial, de transformadas e de modelos de misturas de
gaussianas. Serão exploradas representações paramétricas para a identificação do locutor ou de fontes
sonoras, contemplando aspectos dinâmicos devido à natureza intrínseca destas tarefas, e usando
ferramentas de modelagem de longo prazo. [Processo FAPESP 2012/24789-0]

Bolsa CNPq de Produtividade em Pesquisa de nível 2. Resultaram das pesquisas representações e modelos de sinais acústicos, em especial do sinal de voz, que o decompõe num modelo e num sinal ou processo residual ou em um sinal limpo e um sinal de ruído ou sinal interferente. No primeiro caso, o objetivo foi a quantização e a codificação e, no segundo caso, em geral, buscou-se a melhora do sinal, separação de fontes e identificação da fonte do sinal. Estes modelos foram, com critério, aplicados a sinais de voz para preservar informação essencial na sua transmissão bem como para caracterizar a emoção do locutor e também para separar o sinal de voz de misturas contendo voz e música.

Apresenta-se também a produtividade do autor dentro do período de análise de 5 anos, incluindo os resultados obtidos sob os auspícios desta Bolsa de Produtividade CNPq 307633/2011-0.

Esta proposta tem por objetivo criar o Núcleo de Apoio a Pesquisa em Biodiversidade e Computação, NAP BioComp, a fim de consolidar um grupo de pesquisa fortemente transdisciplinar que visa se tornar um pólo de referência no tratamento das questões ligadas à biodiversidade neotropical e computação. A perda de biodiversidade é uma das mais sérias e urgentes ameaças resultantes da ação do homem na Terra, agravada pelas mudanças climáticas globais. Lidar com estes problemas para subsidiar a tomada de decisão em diferentes níveis exige formação técnico-científica competente, avançada e integrada especialmente nas áreas de Biodiversidade e Computação, mas com forte aporte também das outras ciências. A Universidade de São Paulo tem especialistas nas várias áreas do conhecimento, mas precisa reunir um grupo avançado que atue nessa interface e criar um novo perfil de competência para subsidiar, com maior clareza e eficácia, a sociedade cívil e os tomadores de decisão. A questão da biodiversidade ainda não faz parte das principais ações de desenvolvimento, e seu uso é pouco conhecido, especialmente no Brasil?até na academia. Um enfoque de serviços de ecossistemas deve ser adotado para abordar esse problema, como sugerido pela Avaliação do Milênio, das Nações Unidas. Mas estudos internacionais recentes provaram que o uso de ferramentas moleculares para avaliação da biodiversidade (através do DNA barcoding) e principalmente as destinadas ao estudo da variabilidade genética das populações, para a identificação de pragas e doenças na agricultura, para restauração ambiental, trarão respostas efetivas para o manejo de recursos naturais. O NAP BioComp promoverá uma maior interação entre diversas áreas do conhecimento ? Biologia, Computação, Engenharia Elétrica e Matemática - fundamentais para aumentar o conhecimento sobre a biodiversidade neotropical, as formas de preservá-la e usá-la de modo sustentável. Visa o desenvolvimento de pesquisas abrangentes, com sólida fundamentação e qu

Este plano de pesquisa compõe-se de temas relacionados com análise de voz, codificação de voz, reconhecimento de voz, identificação de locutor e identificação multibiométrica de pessoas. A análise de voz, além de seu interesse específico, propicia as representações do sinal e dos parâmetros necessárias aos outros temas. Novas formas de análise autorregressiva serão exploradas para a codificação da envoltória espectral de curto prazo do sinal de voz de faixa larga, principalmente, com o auxílio de técnicas de quantização vetorial e de modelos de misturas de gaussianas. Estas novas formas de análise também podem se desdobrar para auxiliar na representação do sinal de excitação de voz, que será principalmente representado através dos espectros de modulação de componentes de bancos de filtros.
Várias dessas representações paramétricas também serão aplicadas à identificação do locutor, auxiliada pelo reconhecimento de sua própria voz eventualmente. O reconhecimento do locutor também será combinado através de fusão com as identificações do sujeito obtidas através de outros sinais adquiridos por microfones, estetoscópios e câmaras fotográficas para luz visível e infravermelho longo. Estes outros sinais devem ser classificados através da quantização vetorial e de redes neurais. [Processo FAPESP 2009/18242-5]

Bolsa CNPq de Produtividade em Pesquisa de nível 2.
Foram aprimoradas representações do sinal de voz que o decompõe num modelo preditivo linear (LP) e num sinal residual na forma de uma expansão de sinal sobre uma escala de tempo não-uniforme e que constitui uma descrição exata da forma de onda se todas as componentes forem retidas e uma descrição paramétrica eficiente se um subconjunto ótimo das componentes for retido. Partiu-se de modelos propostos no Laboratório de Processamento de Sinais (LPS) como modelos LP que permitem representar de forma eficiente o espectro da componente de evolução lenta do sinal residual. Foi considerado que vêm sendo pesquisadas formas de tornar estes modelos menos sensíveis às variações do sinal de voz bem como novas representações da componente rápida do sinal residual, exploradas em colaboração com o KTH (Royal Institute of Technology) tendo por base modelos capazes de reconstrução perfeita (PR) desenvolvidos nesta instituição. Verificou-se que estes modelos necessitam aprimoramentos tais como classificação 
mais fina da natureza do sinal de voz para que possam ter seus parâmetros quantizados e, assim, utilizados na codificação do sinal de voz. Estes refinamentos foram explorados para propor representações tempo-frequenciais mais controláveis. (Bolsa de Produtividade em Pesquisa CNPq 309249/2008-2.)

Pretende-se aplicar alguns efeitos psicoacústicos espectrais e espaciais em algoritmos para codificação de voz, melhoramento de voz e localização da fonte sonora. A pesquisa em codificação de voz cobre taxas não superiores a 4 kbit/s usando interpolação da forma de onda (WI), que será incrementada com modelos espectrais. A experiência adquirida em predição linear excitada por códigos (CELP) pelo Laboratório de Processamento de Sinais (LPS) auxiliará no condicionamento perceptualmente transparente. Na linha de pesquisa em melhoramento de voz, com a experiência obtida no LPS em reconhecimento de voz, empregando modelagem estatística com modelos ocultos de Markov (HMM) em ambientes adversos como a linha telefônica comutada comercial, pretende-se empregar essas técnicas em aplicações monocanal, estendidas para sinais da faixa de áudio, em conjunto com filtragem espectral para o melhoramento objetivo da voz, e síntese concatenativa para o melhoramento subjetivo, incluindo a redução do ruído musical. Ainda, deve-se maximizar a informação mútua para uma configuração de feixes de sinais ("beamforming") para arranjos de microfones em aplicações multicanal. Finalmente, na linha de localização da fonte sonora busca-se a recriação para o ouvinte dessa percepção com estímulos biauriculares. Para tal finalidade, serão empregados modelos antropométricos das funções de transferência relativas à cabeça (HRTFs - "Head Related Transfer Functions"). Este projeto foi financiado pela Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP) mediante o Processo 2004/13206-7.

O projeto foi executado na Philips Components and Materials sob a co-orientação do Ir. D. J. A. Teuling e Mr. H. E. van Brueck além do Ir. A. C. S. de Jager do PII. No início das atividades do autor, estavam sendo testadas as primeiras amostras do circuito integrado sintetizador de voz por formantes MEA8000 e havia um analisador que executava num minicomputador. O autor projetou, para um Sistema de Desenvolvimento, um analisador e um editor gráfico que levavam em consideração as limitações impostas pela arquitetura do sintetizador durante o processo de análise e não apenas ao seu final. Finalizando o trabalho, desenvolveu um construtor de sentenças numa placa microprocessada com o sintetizador, incorporando frases codificadas com o Sistema de Desenvolvimento.