Лаборатория нейронных сетей и глубокого обучения возобновляет курс Deep Learning in Natural Language Processing

Курс предназначен для желающих познакомиться с нейросетевыми методами обработки языка. В основе программы лежит аналогичный курс Стэнфордского университета.

Занятия организованы в формате «inverse classroom». Участников ждут онлайн-лекции, по которым нужно будет выполнять домашние задания и писать тесты, работа над собственными проектами, семинары, на которых будут обсуждаться теория и разбираться проекты, и практических воркшопов, которые помогут лучше понять материал и приобрести конкретные навыки применения нейросетей.

Ведут курс сотрудники лаборатории Владислав Лялин и Алексей Сорокин. Семинары будут проходить на русском языке, лекции — на английском. Лучшие участники будут приглашены на стажировку в лабораторию.

Темы занятий:

1. Intro to natural language processing, word embeddings (Word2vec, GloVe, FastText);
2. Intro to language modelling, fully-connected neural networks, backpropagation;
3. Embeddings workshop;
4. Practical tips: gradient checks, overfitting, regularization, activation functions and optimization;
5. Backpropagation workshop;
6. Recurrent neural networks, GRU, LSTM;
7. Transfer learning in NLP (ELMo, ULMfit);
8. Language modelling workshop;
9. Neural machine translation, attention;
10. Transformer networks;
11. Convolutional neural networks for text classification;
12. Pre-training of Deep Bidirectional Transformers for Language Understanding;
13. Classification workshop.

Принять участие могут студенты Физтеха и все, кто знаком с глубоким обучением и обработкой естественного языка. Для записи на курс необходимо заполнить форму.

Записи семинаров будут доступны на Youtube-канале лаборатории.

По информации МФТИ.