Aplicação de equações diferencias estocásticas em problemas de otimização

Abstract

Aprendizado profundo é uma subárea de aprendizado de máquinas, cujo objeto de estudo é redes neurais e suas diversas arquiteturas. Uma rede neural possui diversos neurônios artificiais, que recebem várias entradas e fornecem como saída uma soma ponderada dessas entradas. O resultado obtido é passado por uma função de ativação não linear. É desejado que a rede neural capture características dos dados, sendo capaz de generalizar para um conjunto de dados não conhecido. De modo a ter um bom desempenho, torna-se necessário otimizar os pesos da rede. Um modo de otimizar a função desses pesos é aplicar métodos baseados em equações diferenciais ordinárias (EDOs). Contudo, esses métodos utilizam características locais, analisando o comportamento da função ao longo da trajetória de um sistema de EDOs. Assim, tais métodos podem ficar presos em mínimos locais. Como alternativa, podemos usar métodos que utilizam equações diferenciais estocásticas (EDEs). Nesse contexto, o presente trabalho exibe uma revisão de literatura de equações diferenciais estocásticas, abordando integrais estocásticas, Lema de Itô, equação de Fokker-Planck, métodos numéricos, tipos de convergência e estabilidade. Ademais, o trabalho apresenta um método, utilizando EDE, para otimizar funções $f: \mathbb{R}^n \rightarrow \mathbb{R}$. O método é testado em quatro funções e os resultados são satisfatórios. Em todos os cenários, o método foi capaz de retornar o mínimo global da função.

Deep learning is a subarea of machine learning, whose object of study is neural networks and their various architectures. A neural network has several artificial neurons, that receive many inputs and provide a weighted sum of them as output. The result obtained is passed through a non-linear activation function. It is desirable that the neural network captures characteristics of the data, being able to generalize to an unknown dataset. In order to have good performance, it is necessary to optimize the network weights. A way of optimizing the function of these weights is applying methods based on ordinary differential equations (ODEs). However, these methods use local characteristics, analyzing the behavior of the function along the trajectory of an ODE system. Thus, these methods can get stuck in local minimum. Alternatively, we can use methods based on stochastic differential equations (SDEs). In this context, the present work presents a literature review of stochastic differential equations, covering stochastic integrals, Itô’s Lemma, Fokker-Planck equation, numerical methods, types of convergence and stability. Furthermore, the work presents a method, using SDE, to optimize functions f : R n → R. The method is tested on four functions and the results are great. In all scenarios, the method was able to return the global minimum of the function.