Reinforcement learning является довольно новым и перспективным направлением Машинного обучения. В отличие от Классических методов и Глубокого обучения, по нему есть очень мало материалов и курсов на русском языке, многие из которых написаны очень сложно и мудрено. 

На этой лекции преподаватель расскажет доступным языком все основные подходы Обучения с подкреплением.

🤔 Зачем изучать Reinforcement learning? Обучение с подкреплением применяется во множестве прикладных задач: начиная от участия в игровых соревнованиях по Dota2, Starcraft и го, заканчивая управлением технологическими процессами, показом рекламы в интернете и подбором рекомендаций пользователям, игрой на бирже и управлением инвестиционными портфелями. Именно через Обучение с подкреплением лежит путь к сильному искусственному интеллекту. 

Практика и все сопутствующие материалы будут выложены на сайте курса plyus.pw/ml2020

Преподаватель курса: ассистент кафедры информатики МФТИ Павел Плюснин.

Приветствую вас на следующей лекции нашего курса.

Эта лекция у нас будет посвящена обучению с подкреплением или на английском reinforcement learning.

Это направление машинного обучения очень сильно отличается от всех других ветвей, отличается от классических методов и от глубоких нейронных сетей, от нейросетевых подходов, хотя тоже их может использовать как какую-то свою часть.

Вообще, что такое обучение с подкреплением и зачем это нужно?

Обучение с подкреплением ставит с собой такую цель, то есть мы пытаемся обучать интеллектуального агента, целью которого это получение хорошей последовательности принятия решения в каких-то условиях, в среде с неполной информацией.

Ключевые слова здесь — это, во-первых, что это обучение.

Мы обучаем нашего агента, а не просто его как-то программируем, сами задавая его стратегию.

Нет, мы все-таки ее обучаем.

Второе — это то, что мы пытаемся найти какую-то хорошую последовательность, то есть оптимальную в каком-то смысле, хорошо решающую нашу задачу.

И Мы решаем задачу принятия решения, то есть мы не только подбираем какую-то функцию, как мы до этого делали, просто аппроксимируем какую-то функцию.

Здесь мы принимаем решение, и наши решения влияют на саму среду.

То есть неправильное решение единожды может, в принципе, нам все сломать, и следующие действия тоже будут какими-то неоптимальными.

И мы находимся в условиях неполной информации, то есть нам доступна не вся информация о системе, мы знаем неполное состояние, то есть мы знаем только какие-то наблюдаемые перепенные, наблюдаемые проявления нашей системы, мы не знаем, как серьезно наши действия повлияли на ее состояние и так далее.

Давайте сейчас перейдем к плану нашего занятия.

То есть я сейчас сказал вообще что-то такое, а что же мы пройдем вообще за сегодняшнее наше занятие.

Сначала я расскажу об особенностях reinforcement learning, чем это отличается от машинного обучения, где это применяется и так далее.

Дальше мы познакомимся с основными понятиями обучения с подкрепления.

А затем пройдем основные три ветки методов reinforcement learning.

Первая ветка это так называемые value-based подходы.

И здесь мы рассмотрим конкретные алгоритмы, это вэлью-итерэйшн и кулёнинг.

Дальше мы перейдем к полисе gradient методом и рассмотрим подробно алгоритм reinforced.

Дальше мы посмотрим на актор-критик подходы и там тоже рассмотрим несколько алгоритмов.

Вообще, что такое обучение с подкреплением?

Какую часть, какую роль вообще в науке, в мире в целом занимает это направление.

Вообще, строго говоря, это не прям частный случай машинного обучения, это нечто большее.

Обучение с подкреплением является такой наукой на стыке нескольких различных ветвей.

То есть здесь у нас участвует и психология, и программирование, и математика, инженерия, и, конечно же, компьютер-сайенс, машинное обучение и экономика.

Пересекаясь, все вот эти науки дают обучение с подкреплением.

Действительно, нам важна каждая из этих наук, и их проявление здесь очевидно.

То есть, на самом деле, часто, подбирая какие-то методы, мы переносим эвристики с реальной жизни, как человек принимает те или иные решения, человек или животное, и мы, анализируя поведение человека, психологию, переносим эти идеи и на машину, применяем различные техники, которые использует человек.

Но решаем мы все-таки эту задачу математически.

То есть здесь нам помогает математика, теория принятия решений, экономика, ну и компьютерная, компьютерные науки, в частности, машинное обучение нам помогает как-то оптимизировать функционалы, еще что-то.

Мы применяем какие-то методы, например, тьеженейросети для некоторых методов и подходов.

Вообще, традиционное, классическое обучение с подкреплением все-таки считается частью машинного обучения, и мы все-таки не особо задумываемся, что это нечто большее.

Какие же особенности обучения с подкреплением, и чем это отличается от традиционных обычных задач?

Во-первых, у нас нет учителя.

И более того, нельзя назвать эту задачу unsupervised learning.

То есть unsupervised learning — это задача, когда у нас нет правильных ответов.

Но здесь ситуация совсем другая.

Здесь мы все-таки получаем ответы от среды, но они могут быть заторможенными.

То есть мы получаем реакцию среды не сразу, а посредованно через какой-то промежуток времени.

Причем этот промежуток времени заранее не фиксирован, может различаться существенно.

То есть у нас ошибка не задается явно, наши награждения приходят как-то вот не моментально, а спустя какое-то время, и мы с этим должны как-то мириться, с этим как-то тоже работать.

Далее обратная связь от среды может поступать с содержкой, это вот собственно я рассказал.

Дальше параметр времени имеет особое значение, то есть наши данные поступают последовательно.

Более того, как я уже сказал, нашей задачей является предсказание не одного конкретного числа, действия.

Наша задача — предсказывать последовательность действий.

И с каждым новым действием наша среда переходит в другое состояние, и мы влияем на эту среду, и следующие наши действия зависят от предыдущих.

Оптимальность всего решения нашего в целом зависит от каждого из шагов.

Действия агента влияют на поступающие в дальнейшем данных.

Собственно, это то, что я только что рассказал.

Ну а теперь давайте посмотрим, где это вообще нужно, где это применяется, на каких практических задачах это находит свое применение.

То есть прежде всего первое, что приходит в голову, это различные игры, соревнования.

Из таких крупнейших побед, наиболее известных, это AlphaGo.

То есть в этой игре компьютер научился играть лучше, чем человек.

Вообще еще несколько десятков лет, даже не десятков, еще 10 лет назад такая победа считалась не то что невозможной, но крайне маловероятной.

Потому что различных стратегий, различных действий там огромное количество.

Там 10 в огромной степени.

То есть различных состояний, огромное количество, пространство признаков очень большое, и как-то перебрать все возможные техники нельзя, придумать какие-то алгоритмы, стратегии не получалось.

И считалось, что эта задача очень сложная.

Это даже не шахматы, она много сложнее.

Буквально несколько лет назад все-таки разработчикам удалось победить именно благодаря методам обучения с подкреплением эту задачу.

Здесь также можно упомянуть другие различные игровые соревнования, то есть игры в StarCraft, в Dota, различные другие, вы о них наслышаны, то есть сейчас тоже различные агенты играют в эти игры и играют как минимум наравне с человеком.

Конечно, в каких-то играх они играют пока что еще хуже человека, но в каких-то мы уже, точнее, машины уже побеждают людей, профессиональных игроков.

Здесь еще упомянуты такие игры, как Atari.

То есть Atari, может быть, кто-то из вас знает, это такая довольно старая игра, была раньше в 90-е приставочка типа Тетрис, и в ней были такие маленькие игры, всякие арканоиды, бегалки и так далее.

В общем, такие игры простейшие.

Это были первые игры, на которых обучались такие методы, такие подходы.

То есть эти задачи довольно простые, там все-таки не какой-то навороченный геймплей, но уже достаточно сложный, чтобы такие задачи нельзя было решить просто каким-то простым перебором, простым каким-то примитивным машинным обучением или просто программистским вот именно зашиванием какой-то стратегии.

То есть здесь мы именно пытаемся сами заставить машину выучить эту стратегию оптимальную.

Дальше контроль движения человекоподобного робота.

То есть всем известные различные скелеты, скафандры.

Это вот такое неочевидное тоже применение.

То есть понятно, что это тоже можно обобщить и туда.

Но вообще различные робособаки, роботы в виде человека, роботы не в виде человека — все это тоже желательно управлять с помощью обучения с подкреплением.

Пока что большинство таких роботов, что вы знаете, Boston Dynamics и так далее, они все еще используют модельную систему, то есть в них прям зашита какая-то программа, то есть в этих роботах вшита теоретическая физика, теоремеха и так далее, они принимают свои решения, опираясь на физическую модель, на физическую модель мира, себя и так далее.

Но все-таки такой подход очень тяжел.

Для каждого конкретного робота, для каждой конкретной архитектуры надо все самостоятельно руками пересчитывать, просчитывать, зашивать, разрабатывать архитектуру и так далее.

И если получить такой конкретный алгоритм, который будет качественно обучаться вне зависимости от самой формы робота, от каких-то конкретных реализаций, там, этих суставчиков, связей и так далее, то понятно, что создавать и проектировать новых роботов станет намного проще и быстрее.

Ну и в принципе то качество, которое будет получаться, оно будет выше, потому что на данный момент, пока роботы проектируются руками человека, то они совершают те же ошибки, что и совершает человек, и действия тоже не суперчеткие, потому что мы не уверены, что то решение, которое мы вшиваем в машину, оно оптимальное, прям абсолютно.

Хочется все-таки находить прям оптимальное решение.

Но уже какие-то опыты на роботах ставятся с помощью именно обучения с подкреплением.

Дальше управление различными технологическими процессами, то есть управление энергетическими станциями, заводами и так далее.

Там тоже есть различные какие-то механизмы, то есть мы можем как-то регулировать различные вентили, краны и так далее.

И в зависимости от показателей энергопотребляемости, эффективности самой станции и так далее, мы можем влиять на какие-то параметры.

И вот именно такое управление станцией — это тоже задача обучения с подкреплением.

Дальше это различные инвестфонды, инвестпакеты.

То есть управление инвестиционным фондом, инвестиционным портфелем, игра на бирже.

Все это тоже является задачей, которую можно решать такими подходами.

Здесь вы везде видите, какую общую зависимость.

То есть есть какая-то среда, есть какие-то действия, которыми мы можем на нее влиять.

И этих действий обычно не одно, а несколько.

Ну, собственно, то, что я говорил в самом начале.

Дальше это автоматизация различных холодных звонков.

То есть понятно, что звонок — это довольно дорогое действие.

В каком смысле дорогое?

То есть понятно, что человек за один сколько он может сделать звонков?

Ну там в день какая-нибудь женщина-телефонистка может сделать за час пусть 20, к примеру.

Тогда за полный рабочий день она сделает их там ну меньше 200, то есть около 150 звонков.

Если у нас телефонисток в штате там 10 штук, ну мы получим свои полторы тысячи звонков в день, а клиентов в базе несколько сотен тысяч.

Понятно, что если мы будем перезванивать всех подряд, то в принципе, чтобы одно объявление, одну рекламу рассказать всем, понадобится месяц работы.

К этому времени уже акция перестанет свое действие, у нее закончится.

Поэтому нужно определиться, каким именно клиентам это реклама наиболее интересна, кому именно этот продукт может быть полезен.

И если позвонить именно этому человеку, с большим шансом он купит у нас этот продукт.

Если же позвонить просто кому-то случайному человеку, то, скорее всего, ему это будет не так интересно.

То есть именно автоматизация, кому из вот этой многомиллионной базы данных человек, кому именно из них надо позвонить, это тоже задача машинного обучения.

Точнее, обучения с подкреплением, потому что здесь у нас еще есть действие.

То есть конкретное действие, это мы говорим конкретному человеку, ну, неважно, телефонистке позвонить.

Дальше мы знаем, он купил продукт или не купил продукт.

Это наше вознаграждение, типа нолик или единичка.

Хотя можно делать не нолик, а даже отрицательное число, потому что мы все-таки потратили время телефонистке, то есть это все-таки ее зарплата, часть ее зарплаты, расходы на звонок и так далее.

А плюс это, например, та выгода, которую мы получили за продажу нашего продукта.

Ну и различное управление техникой, то есть какие-то сложные фигуры высшего пилотажа, просто управление техникой и так далее.

То есть здесь пример — это управление движением, например, вертолета.

Ну а теперь давайте все-таки перейдем к формальной постановке задачи.

То есть мы все-таки поняли, что это все нужно, очень полезно.

Давайте все-таки поставим какие-то конкретные понятия, чтобы ими можно было оперировать.

Итак, у нас есть среда, И среда может принимать какие-то состояния.

Будем обозначать все пространство состояния, все множество состояний, буковка S большое.

И наша среда может принимать в каждый момент времени только одно состояние.

Будем его обозначать буквой S.

Не факт, что мы его полностью наблюдаем, то есть оно может как-то очень сложно характеризоваться, а мы видим только какое-то, ну вот, не все признаки, например.

То есть все-таки состояние — это что-то большее, чем мы можем наблюдать, в принципе.

Дальше у нас есть агент.

И у агента есть действие.

То есть, находясь в каждом состоянии, он может совершить какое-то действие.

Мы будем обозначать буковкой А большое.

Конкретное действие А малое.

Для разных состояний у нас может быть немного разное множество действий, то есть в каких состояниях мы можем делать не все.

Ну, в принципе, то есть вообще, строго говоря, надо вводить множество А большое для каждого из действий.

Ну, в принципе, их можно как-то обобщить, считать, что не все действия доступны в каждом состоянии.

В общем, это уже такая немного формальная деталь.

Дальше у нас есть вообще в нашей природе, в принципе, то есть не все пункты, которые я здесь буду перечислять, нам будут даны, нам будут известны.

Еще есть модель переходов.

То есть это та модель, по которой переходит наша система.

То есть сама только природа, сам кто-то, кто-то или никто, но в общем все-таки есть у нас среда, которая меняет свое состояние.

То есть в зависимости от текущего состояния и действия, которое было предпринято в этом состоянии, мы переходим в некоторое другое состояние S-штрих.

Возможность некоторой вероятности.

То есть, например, вы находитесь в состоянии подготовки к экзамену, И вы решаете принять действие, не готовясь к экзамену.

Вы приходите на экзамен, и тут уже вот, собственно, среда разыгрывает, куда вы переходите.

Например, с вероятностью 0,9 вы уходите на пересдачу, а с вероятностью 0,1 вы все-таки получаете свой зачет, потому что там как-то вам повезло и так далее.

То есть все-таки мы задаем это вероятностным распределением на множестве действий и состояний.

То есть еще раз, что это такое?

Это вероятность попасть из состояния S, выполнив действие A, в состояние S'.

Также у нас есть политика агента.

То есть у нас есть агент и есть его стратегия действий.

Наша стратегия может быть здесь какой угодно, то есть это тоже вероятностное распределение.

То есть в зависимости от S мы даем действию, а какую-то вероятность.

То есть, например, мы как студент, находясь в состоянии подготовки к экзамену, например, мы студент раздолбаю, наша политика это всегда действие не готовиться к экзамену, или мы такой студент-отличник, и наше действие, например, всегда готовится к экзамену, или у нас может быть какая-то другая стратегия, политика, То есть здесь вообще в общем случае не обязательно должна быть она прямо такая вероятностная.

То есть здесь еще раз вы видите, то есть это P, это какое действие A мы принимаем, находясь в состоянии s.

Не обязательно эта функция должна быть детерминированной, то есть мы можем, находясь в одном и том же состоянии s, принимать разные действия, если мы будем несколько раз как бы сэмплировать это действие.

Просто функцию p можно просто задавать именно какое действие мы получаем, а можем как-то описывать вероятностно, так же как и P, то есть через вероятностное распределение.

Ну, мы об этом поговорим дальше.

И дальше у нас есть награждение, то

есть находясь в состоянии AS, мы делаем действие A и получаем награждение R.

не получаем награду, мы считаем, что награда ноль.

Мы можем получать отрицательное вознаграждение.

Вообще, иногда в некоторых задачах может складываться так, что награждения у нас нет, у нас есть только штрафы.

Например, мы хотим решать нашу задачу как можно быстрее, и в принципе с каждым шагом мы будем давать какой-то штраф.

То есть у нас есть само время, и время нас штрафует.

каждом действии мы получаем там какой-то, некоторый фиксированный штраф или не фиксированный.

То есть в принципе награды могут быть всегда отрицательными.

То есть наша итоговая награда всегда минус, ну как бы, ну и ладно, понятное дело, что это все чисто наше видение, наше обозначение.

Особенность всей этой системы в том, что мы, как создатели алгоритмов машинного обучения, конкретно для этой задачи, для вашей практической задачи.

Многого из этого мы не знаем.

идеале мы хотим получить саму стратегию.

Именно это то, что нам нужно.

Нам нужно знать, какой стратегии нам надо придерживаться, чтобы получать оптимальный результат.

Но нам неизвестна модель переходов.

Наш агент может ее как-то пытаться восстановить, может не пытаться восстановить.

Тут разные методы есть.

И с награждениями тоже есть большой вопрос.

Иногда очевидно, откуда берутся награждения, а иногда нет.

То есть, когда мы берем какую-то задачу прикладную, прям явно наград может и не быть, нам надо их как-то искусственно ввести.

Вот, например, когда я говорил до этого задачу о холодных звонках, то есть я все-таки так неявно, очень быстренько предложил, как можно вводить награды, что вот мы будем штрафовать, Если мы позвонили человеку, он не купил продукт, давать ему минус, там цену, ну, в общем, те затраты, которые мы понесли, то есть часть зарплаты и цена звонка.

Плюс, например, тот доход, который получила компания.

Можно вводить как-то по-другому эти реварды, как еще по-английски говорят.

То есть награды или по-английски ревард.

Но еще бывают такие ситуации, что, например, мы играем в ту же игру, там, го или в шахматы.

Понятно, что в процессе игры мы не получаем вообще никакого отклика.

То есть мы не знаем, мы приблизились к победе или нет.

Мы только в конце партии узнаем, выиграли мы или нет.

То есть мы получим один ответ и в конце.

И этого все-таки может оказаться мало.

Нам все-таки хотелось бы получать какие-то промежуточные результаты и не очень понятно, как их вводить.

Например, играя в шахматы, можно как-то поощрять какие-то комбинации, то есть мы можем давать бонусы, когда мы будем чужие чужие фигуры убирать с доски и так далее.

За это можно получать какие-то бонусы.

Но вот в такой ситуации непонятно, какое величину бонуса давать, как соотносится уничтожение одной фигуры соперника с общим итоговым вкладом победы в игру и так далее.

То есть именно задача моделирования ревардов тоже очень такая существенная сложная задача, которую вам надо решать вручную.

Это не автоматизированный процесс.

Иногда есть некоторые методы, где эта функция тоже обучается и как-то пытается быть восстановленной, но обычно все-таки считаются, что реварды заданы и все-таки мы их знаем.

Здесь и далее мы будем считать, что отклики системы нам приходят, то есть все в порядке, эту такую техническую часть, но очень важную, мы в дальнейшем рассматривать подробно не будем.

понятия, которые у нас есть, связанные со средой и с агентом.

Что же мы будем делать?

Что с этим всем нам дальше творить?

Итак, у нас есть эпизод.

мы будем называть полностью всю партию игры или чего бы то ни было, то есть взаимодействие агента со средой.

Понятно, что некоторые состояния среды могут быть терминальными, то есть финальными.

Ну, на них, после них уже ничего не происходит.

Итак, траекторию мы будем называть такую последовательную, то есть мы находимся в состоянии S0, делаем действие A0, переходим в состояние S1, дальше делаем действие A1, переходим в состояние S2 и так далее.

See all Pulsar Production transcripts on Youtube

Обучение с подкреплением Q-learning, Policy Gradient (Reinforce), Actor-Critic Практика на gym