Aprendizado por Reforço para Escalonamento de Recursos em Sistema sem Fio Multiportadora com Ondas Milimétricas Utilizando Modelo Markoviano

Neste artigo, apresenta-se um algoritmo de alocação de recursos baseado em aprendizado por reforço para um sistema de comunicação multiportadora considerando múltiplos usuários e efeitos de desvanecimento e multipercurso em uma transmissão assumindo ondas milimétricas. Para tal, propõe-se que o sistema de comunicação possa ser descrito por um modelo Markoviano representado pelos estados da fila nos buffers e estados dos canais. Para o algoritmo de alocação de recursos deste trabalho, introduzimos uma função de recompensa a ser utilizada no algoritmo de aprendizado por reforço Q-learning. Os resultados obtidos nas simulações mostram que a aplicação do algoritmo proposto de escalonamento de recursos provê de forma geral, melhoria nos parâmetros de desempenho do sistema de comunicação considerado, como por exemplo, aumento de vazão e diminuição de perda de pacotes. Comparações com outros algoritmos apresentados na literatura são realizadas, mostrando também que o uso da função de recompensa e o modelo Markoviano propostos torna o escalonamento de usuários e o compartilhamento de recursos mais eficientes.