Denis Deratani Mauá.

As técnicas de aprendizagem profunda demonstraram excelente desempenho em tarefas cognitivas tanto de baixo nível, como reconhecimento de fala e imagem, como de alto nível, como resposta automática a questões e planejamento estocástico. Apesar disso, desenvolver soluções baseadas em aprendizagem profunda é uma tarefa notoriamente difícil, pois requer uma quantidade enorme de dados e recursos computacionais (muito além do disponível a usuários comuns). Ademais, tais técnicas são muito sensíveis a variações de domínio e produzem resultados indesejados que minam a confiança do usuário. As técnicas de IA clássica, por sua vez, requerem menos dados, generalizam melhor para novas situações e são capazes de verificação. Elas, no entanto, são limitadas a pequenos domínios e exibem desempenho insatisfatório na presença de ruído e incerteza nos conhecimento. As abordagens neurossimbólicas procuram tirar proveito do melhor de ambas as abordagens. Este documento descreve um plano de pesquisa de cinco anos para investigar o desenvolvimento de técnicas neurossimbólicas baseadas em programação lógica, programação probabilística e combinações das duas. O resultado esperado é a criação de agentes adaptativos que ultrapassem a visão dominante de aprendizado como uma tarefa de otimização contínua guiada por pares de exemplo entrada-saída. Para atingir isso, essa pesquisa pretende estender os arcabouços teóricos de programação lógica neurossimbólica com construções mais expressivas e técnicas de aprendizado mais eficientes; as abordagens desenvolvidas serão avaliadas em tarefas cognitivas de alto nível como resposta automática a perguntas em linguagem natural.

As técnicas de aprendizagem profunda demonstraram excelente desempenho em tarefas cognitivas tanto de baixo nível, como reconhecimento de fala e imagem, como de alto nível, como resposta automática a questões e planejamento estocástico. Apesar disso, desenvolver soluções baseadas em aprendizagem profunda é uma tarefa notoriamente difícil, pois requer uma quantidade enorme de dados e recursos computacionais, muito além do disponível a usuários ordinários. Ade- mais, tais técnicas são muito sensíveis a variações de domínio e produzem resulta- dos indesejados que minam a confiança do usuário. As técnicas de IA clássica, por sua vez, requerem menos dados, generalizam melhor para novas situações e são ca- pazes de verificação formal. Elas, no entanto, são limitadas a pequenos domínios e exibem desempenho insatisfatório na presença de ruído e incerteza no conhec- imento. As abordagens neurossimbólicas procuram tirar proveito do melhor de ambas as abordagens, de forma a desenvolver sistemas que sejam expressivos e escaláveis, porém amenos a quantidades limitadas de recursos.Este documento descreve um plano de pesquisa de 3 anos para investigar o desenvolvimento de técnicas neurossimbólicas baseadas em programação lógica, dentro do escopo de uma bolsa de produtividade do CNPq. O resultado esperado é a criação de agentes adaptativos que ultrapassem a visão dominante de apren- dizado como uma tarefa de otimização contínua guiada por pares de exemplo entrada-saída. Para atingir isso, essa pesquisa pretende estender os arcabouços teóricos de programação lógica neurossimbólica com construções mais expressi- vas e técnicas de aprendizado mais eficientes; as abordagens desenvolvidas serão avaliadas em tarefas cognitivas de alto nível como resposta automática a perguntas em linguagem natural e argumentação abstrata.A pesquisa será conduzida pelo proponente e seu grupo de pesquisa, que at- ualmente compreende 5 doutorandos, 7 mestrandos e 2 alunos de iniciação cien- tífica. O proponente é professor do departamento de Ciência da Computação da Universidade de São Paulo desde 2015. Desde seu mestrado ele trabalha com raciocínio probabilístico e aprendizagem de máquina; mais recentemente, tem se interessado por linguagens que combinam formalismos lógicos e semântica prob- abilística.

Deep models have recently obtained impressive results in a wide range of tasks and domains, from computer vision to image and text processing to diagnosis and automated reasoning. Sum-product networks are special type of neural networks targeted at the representation of high-dimensionality probability distributions. Notably, the structure of a sum-product network (i.e., its graph) encodes a number of probabilistic independence assertions. In addition, each node of the network computes a valid distribution over its part of the variables. Such probabilistic semantics facilitates debugging, allows a wide range of queries and data (including missing and noisy data) to be handled properly and efficiently, and enables efficient structure learning algorithms. In many applications, it is desirable to have not only a prediction (e.g., the probability of observing a certain object, say an image), but a confidence measure about its prediction. As sum-product networks are learned from data, the probabilities they calculate can be overly confident or too sensitive to hyperparameters on regions where data was scarce, conflicting or too noisy. In this research project, we plan on following two possible approaches to estimating the uncertainty of a sum-product network prediction. The first approach estimates uncertainty by analyzing the effect that small perturbations of the data have on the prediction. The second approach considers the variability of predictions among different networks (learned from the same data). This research investigates methods to producing predictive uncertainty estimators for sum-product networks.

Redes bayesianas permitem representar modelos probabilísticos de for- ma concisa aproveitando-se de independências entre variáveis. No en- tanto, muitas propriedades de um domínio são capturadas apenas no ní- vel dos eventos. Tais propriedades, chamadas de estrutura local, incluem determinismo, independência sensível a contexto, e replicação. Inferência em redes bayesianas pode ser agilizada explorando a estrutura local; para isso, é necessária uma linguagem formal que permita a representação de tais propriedades e auxilie no raciocínio probabilístico. Este projeto visa investigar diferentes linguagens formais para especificação de redes baye- sianas com estrutura local abundante. Em particular, investigaremos lin- guagens relacionais e mais, especificamente, linguagens temporais. Nosso objetivo é encontrar linguagens que sejam convenientes para descrição de conhecimento e que permitam realizar inferência de forma mais rápida aproveitando-se da estrutura local.

Redes bayesianas permitem a representação compacta de conhecimento incerto. Existem fortes indícios vindos da complexidade computacional que realizar inferência em tais modelos leva tempo exponencial na largura de árvore, que mede a complexidade de um modelo. Limitar a largura de árvore dos modelos diminui seu poder representacional. Tal dimuição pode ser evitada sem aumento da complexidade de inferência através da introdução de variáveis latentes, isto é, de variáveis não observáveis. No entanto, os métodos existentes para aprendizagem de redes bayesianas de largura de árvore limitada não permitem variáveis latentes. Eles também são ineficazes em grandes domínios (com centenas ou até milhares de variáveis), o que impossibilita sua aplicação em muitos problemas reais.
Essa pesquisa visa o desenvolvimento de métodos de aprendizagem de redes bayesianas de largura de árvore limitada que permitam variáveis latentes ou parcialmente observáveis, e que lidem satisfatoriamente com domínios grandes. Tais métodos serão aplicados na construção de classificadores multirrótulos, ou seja, no aprendizado de funções que mapeiem objetos em conjuntos de classes relevantes. Diferentemente da classificação (monorrótulo) tradicional (onde cada objeto pertence a uma única classe), a relevância das classes é comumente correlacionada, o que demanda modelos mais sofisticados.
Uma alternativa para a construção de classificadores computacionalmente eficientes é adotar outra classe de modelos probabilísticos com inferência tratável. Redes soma-produto são
circuitos aritméticos para a representação de modelos probabilísticos. Inferência em uma rede
soma-produto leva tempo linear em seu tamanho.
Nessa pesquisa pretende-se desenvolver métodos de construção de classificadores multirrótulo baseados em redes soma-produto, comparando-os com os baseados em redes bayesianas.