msnet

Репозиторий для узучения DeepLearning на фреймворке PyTorch.

Структура

Проект содержит реализации таких слоев нейронной сети как:

• Linear - линейный (полносвязный) слой
• ReLU - слой функции активании ReLU
• Sigmoid - слой функции активании Sigmoid
• Dropout - Dropout слой (случайное выбрасывание нейронов)
• LogSoftmax - LogSoftmax слой (для многоклассовой классификации)
• RNN - рекуррентный слой (Vanilla RNN)
• GRU - рекуррентный слой GRU

Доступные функции потерь:

• NLLLoss - Negative Log Likelihood Loss
• CrossEntropyLoss - CrossEntropyLoss, представленная как LogSoftmax + NLLLoss
• FocalLoss - FocalLoss: $-(1-p)^\gamma * log(p)$

Оптимизаторы:

• SGD - метод стохастического градиентного спуска
• AdaGrad - метод AdaGrad
• RMSprop - метод RMSprop