Machine Learning/Data Mining/Big Data

Применение тематического моделирования в SE

В настоящее время применения тематического моделирования (topic modeling, TM) в области SE достаточно ограничены. В основном TM применяют в code comprehension, чтобы упрощать знакомство с кодовой базой, сопоставляя коду тематическую информацию. Также, в существующих работах по извлечению тем из кода применяют классические методы (LSI, LDA, ARTM), не учитывая специфику кода.

Нам кажется, что применимость TM не ограничена областью code comprehension. В нашей работе мы исследуем новых подход к TM на основании эмбеддингов идентификаторов в коде и предлагаем с его помощью извлекать интерпретируемые факторы из произвольных фрагментов кода (например, проекты, код отдельных программистов, изменения в рамках коммита).

В рамках семинара мы обсудим существующие подходы к тематическому моделированию, подходы к оценке их качества, особенности исходного кода и наши текущие результаты в этой области.

Докладчик: Егор Богомолов.

Слайды: https://drive.google.com/file/d/13M0f...

NLP Trends 2020

На онлайн-конференции «Нас слышат, видят, реагируют: куда движутся технологии?» 23 апреля прошла дискуссия о развитии технологий обработки естественного языка. Михаил Бурцев, заведующий лабораторией нейронных систем и глубокого обучения МФТИ, выступил с лекцией: NLP Trends 2020.

Курс FastAi: Урок 2: Разбираемся что такое потери

Ноутбук который мы рассматриваем в этом уроке: https://github.com/fastai/course-v3/b...

Лекция: Архитектуры NLP, Transformer, Bert. (10.04.2020)

Занятие ведёт Татьяна Гайнцева.
Ссылка на диск с материалами: https://drive.google.com/drive/u/0/fo...

Семинар: архитектуры NLP, Transformer, Bert (10.04.2020)

Занятие ведёт Артём Чумаченко.

Семинар: обучение CNN

Синтез речи в 2020

Синтез речи в 2020 году достиг уже достаточного качества, чтобы синтезированную речь можно было спутать с записью настоящего человека. На семинаре рассмотрим, как так получилось.

Будут рассказаны основы работы с аудио и речью для тех, кто никогда ранее не работал в этой области. Будут подробно рассмотрены самые популярные архитектуры для синтеза речи, такие как Tacotron, FastSpeech, будут рассмотрены их основные недостатки и способы их устранения. Будут также подробно рассмотрены различные вокодеры (и будет рассказано, что это такое): от WaveNet и LPCNet до WaveFLow.

Докладчик: Сергей Полежаев.

Слайды: https://drive.google.com/open?id=1dhq...

Tree Structures and (Self)attention

В области обработки естественного языка модели с архитектурой Transformer уже несколько лет пользуются популярностью, что не удивительно, так как различные её модификации показывают SOTA на ряде задач. Ванильный трансформер работает с последовательными данными, слова поступают на вход модели в порядке их написания в предложении, что совсем не учитывает синтаксические особенности языка. Однако в некоторых случаях, важно учитывать и синтаксис, например, при работе с языками программирования, где в язык заложен чёткий синтаксис. Для передачи такого рода информации, данные можно представлять в виде дерева, например, на основе синтаксического разбора, но тогда становится непонятно, как применять механизм внимания, один из главных компонентов ячейки Transformer.

На данном семинаре мы разберём 2 статьи, в которых авторы предлогают модификации механизма внимания, для работы с иерархическими структурами.

Статьи:

https://arxiv.org/abs/1909.06639

https://arxiv.org/abs/2002.08046

Докладчик: Егор Спирин.

Слайды: https://docs.google.com/presentation/...

Семинар по языковым моделям (20.03.2020)

Лекция по языковым моделям (20.03.2020)

Создаем ноутбук для прохождения курса FastAi на Google Cloud AI Platform

В этом уроке я покажу шаг за шагом как можно настроить рабочее окружение (ноутбук) полностью готовы для прохождения курса FastAi (https://course.fast.ai/videos/). В конце урока у Вы будуте знать:
— как создавать ноутбук с предустановленным PyTorch/fastai
— как подключать/отключать GPU
— как получить самую последнюю версию материалов курса

Олег Бахтеев: Байесовский выбор модели глубокого обучения

В работе рассматривается задача автоматического построения моделей глубокого обучения оптимальной и субоптимальной сложности. Под сложностью модели понимается минимальная длина описания, т.е. минимальное количество информации, которое требуется для передачи информации о модели и о выборке. Вычисление минимальной длины описания модели является вычислительно сложной процедурой. В работе предлагается получение ее приближенной оценки, основанной на связи минимальной длины описания и обоснованности модели. Для получения оценки обоснованности используются вариационные методы получения оценки обоснованности, основанные на аппроксимации неизвестного апостериорного распределения другим заданным распределением. Под субоптимальной сложностью понимается вариационная оценка обоснованности модели. Одна из проблем построения моделей глубокого обучения — большое количество параметров моделей. Поэтому задача выбора моделей глубокого обучения включает в себя выбор стратегии построения модели, эффективной по вычислительным ресурсам.

Мета обучение с подкреплением

Классический подход к обучению с подкреплением предполагает обучение агента под конкретную задачу. Однако, это приводит к тому, что при небольших изменениях в условиях задачи приходится обучать нового агента, в то время как человеку достаточно было бы нескольких попыток для того, чтобы понять, как выполнить измененную задачу. Подход мета обучения предполагает тренировку одной стратегии, которая сможет адаптироваться под разные задачи, используя лишь небольшое количество данных.

На семинаре будут рассмотрены четыре различных подхода к мета обучению с подкреплением, алгоритмы их работы, а также демонстрируемые результаты.

Докладчик: Владислав Мосин.

Тренировка по машинному обучению 22.02.2020

Тренировка по машинному обучению – это открытый митап, на который мы приглашаем участников соревнований по анализу данных, чтобы познакомиться, рассказать про задачи, обменяться опытом участия и пообщаться.

С докладами выступают успешные участники последних соревнований на Kaggle и других платформах — рассказывают о своих решениях: какие техники и методы использовали они сами, а какие помогли их конкурентам.

В программе 22 февраля:
— Artur Kuzin – Driven Data Hakuna Ma-data: Identify Wildlife on the Serengeti with AI for Earth (eng)
— Dmitriy Abulkhanov – Kaggle Google QUEST Q&A Labeling (eng)
— Илья Широких, Мария Герасимова – Moscow Travel Hack: рекомендательный сервис, формирующий индивидуальную программу посещения Москвы для туристов (rus)
— Адель Валиуллин – Kaggle Peking University/Baidu — Autonomous Driving (rus)

DeepPavlov: Лекция 1

Word Vector Representations (word2vec): https://youtu.be/8rXD5-xhemo
Word Vectors and Word Senses: https://youtu.be/kEMJRjEdNzM

DeepPavlov: Лекция 2

Rl#1: Exploration in RL

Pre-trained Contextual Embedding of Source Code

Область обработки естественного языка (NLP) активно развивается, каждый год появляются новый архитектуры, которые улучшают метрики на различных задачах. 2019 год не стал исключением в этом плане, архитектура модели BERT стала одной из самой популярных, её стали использовать даже за пределами задач NLP. Одна из причин такой популярности — это подход к тренировке такой модели: сначала она обучается на большом не размечанном наборе данных, а затем дообучается на примерах конкретной задачи. Такой подход к тренировке давно используется в задачах компьютерного зрения, а BERT стал первой архитектурой, где такой подход успешно применили к тексту.

Авторы статьи «Pre-trained Contextual Embedding of Source Code» решили проверить такой подход к обучению модели на исходном коде и показывают, что их модель CuBERT (Code Understanding BERT) хорошо решает поставленные задачи.

На данном семинаре, мы разберём, что из себя представляет BERT, особенности обучения такой модели, а так же, как авторы вышеупомянутой статьи применили данный подход к коду.

Докладчик: Егор Спирин.

Ссылка на слайды: https://docs.google.com/presentation/...

NLP cookbook: анализируем тексты на Python с минимальными знаниями о машинном обучении

Пётр Ермаков (Lamoda / Datagym) @ Moscow Python №72

«Большой объем информации в интернете хранится в текстах: новости, комментарии, сообщения и даже вакансии. В докладе мы рассмотрим набор рецептов по анализу текста на Python не углубляясь в теорию. Возможно, рецепты вдохновят вас узнать про лежащие в основе методы больше, но в любом случае сразу после доклада у вас будет понимание, как применять полученные сниппеты у себя в работе».

Слайды: http://www.moscowpython.ru/meetup/72/...