Este projeto apresenta um simulador 3D de uma Caixa de Skinner, desenvolvido na Godot Engine, onde um agente autônomo (rato virtual) aprende e extingue comportamentos através de um algoritmo de Aprendizagem por Reforço (Q-Learning). O objetivo é oferecer uma alternativa pedagógica moderna para o ensino de Análise Experimental do Comportamento (AEC), alinhando-se às restrições legais de uso de animais em atividades didáticas (Lei Arouca).
-
Cérebro Evolutivo: Diferente de simuladores legados, o comportamento do agente não é pré-programado; ele emerge dinamicamente através de interações com o ambiente.
-
Protocolo Experimental Completo: Implementação de quatro fases fundamentais da AEC: Linha de Base, Treino ao Comedouro, Modelagem e Extinção.
-
Visualização de Dados em Tempo Real: Gráficos e indicadores de interface que permitem observar os valores da Tabela-Q e a probabilidade de exploração/explotação do agente.
-
Persistência de Aprendizado: O conhecimento adquirido pelo agente é salvo e carregado em formato JSON, permitindo a continuidade do experimento entre sessões.
O sistema foi projetado de forma modular para separar a lógica de decisão da execução física:
Implementa o algoritmo Q-Learning puro.
-
Equação de Bellman: Utilizada para atualizar o valor de utilidade de cada ação baseada na recompensa e expectativa futura.
-
Política ε-greedy: Equilibra a curiosidade (exploração) e o uso do que já foi aprendido (explotação).
Responsável pela ponte entre o cérebro e o ambiente.
-
Percepção: Traduz estímulos (proximidade da barra, presença de comida) em estados discretos.
-
Navegação e Animação: Gerencia o sistema de
NavigationAgent3De aAnimationTreepara uma movimentação fluida e natural.
O aprendizado é guiado por um protocolo de quatro fases:
-
Linha de Base: Observação e registro da frequência natural de comportamentos do agente sem intervenção.
-
Treino ao Comedouro: O usuário ensina ao agente que o som do comedouro indica disponibilidade de alimento.
-
Modelagem (Shaping): Reforçamento de aproximações sucessivas (olhar, aproximar, tocar) até que a pressão na barra seja aprendida de forma autônoma.
-
Extinção: Suspensão do reforço para observar a diminuição gradual da resposta aprendida.
Legenda: Visualização do modelo 3D do rato.
Legenda: Visualização do ambiente 3D
Legenda: Visualização do interface de explicação da teoria
Legenda: Visualização do interface da fase de *Linha de Base*
Legenda: Visualização do interface da fase de *Treino ao Comedouro*
Legenda: Visualização do interface da fase de *Modelagem (Shaping)*
Legenda: Visualização do interface da fase de *Extinção*
Faça o download de UT-Rat Executavel e extraía o arquivo executavel.
-
Faça o download da Godot Engine 4.4.1.
-
Clone este repositório:
git clone https://github.com/seu-usuario/projeto-skinner-3d.git
- Abra o arquivo
project.godotno editor da Godot. - Pressione
F5para iniciar a simulação.
-
Osni Junior dos Santos - Mestrado em Ensino de Ciência e Tecnologia & Ciência da Computação - UTFPR/PG.
-
Luiz Guilherme Monteiro Padilha - Mestrando em Ciencia da Computação - PPGCC/UTFPR/PG.
-
Simone Bello Kaminski Aires - UTFPR/PG.
-
Eloiza Aparecida Silva Avila de Matos - UTFPR/PG.
-
SKINNER, B. F. Sobre o behaviorismo. São Paulo: Cultrix, 1974.
-
BRASIL. Lei nº 11.794 (Lei Arouca), 8 de out. 2008.
-
SANTOS, O. J. et al. O Desenvolvimento de Simuladores Virtuais para o Ensino de AEC, 2024.