Тонкие настройки активации правил. Выключение правил. Машинное обучение против гибридной схемы. Какие расширенные функции есть в Dialog Flow. Ограничения и минусы технологии

Тема 2.6. Тонкие настройки активации правил. Выключение правил. Машинное обучение против гибридной схемы. Какие расширенные функции есть в DialogFlow. Ограничения и минусы технологии Душкин Р. В. (​ roman.dushkin@gmail.com​ ) Привет, друзья. С вами вновь Роман Душкин, и это наш курс по основам Искусственного Интеллекта для РАНХиГС. Мы продолжаем наше погружение в таинства разработки разговорных интерфейсов и чат-ботов при помощи инструментария DialogFlow, и сегодня у нас заключительное занятие на эту тему. Мы уже изучили практически всё, что только можно, а потому сегодня я покажу вам особенные нюансы, которые вы можете использовать при разработке своих ботов. Поехали. Мы уже изучили то, как агенты реагируют на отправленные им фразы. Это делается при помощи правил, в которых есть набор входных фраз, и нейросеть как бы обобщает смысл этих фраз, заставляя правило реагировать не только на них, но и на схожие по смыслу тексты, которые отправляет пользователь. А в выходной части правил у нас набор фраз, из которого агент выбирает одну случайную фразу, которая и выводится пользователю в ответ. В целом, это довольно простая и гибкая штука. Мы научились тренировать агента на тех диалогах, которые у него были. Это очень удобный инструмент, через который можно на лету создавать новые правила для реагирования на те входные фразы пользователей, для обработки которых либо агент выбрал неадекватное правило, либо у него вообще нет правил на этот счёт. В итоге, если вы уже достаточно игрались со своим чат-ботом, у вас должно было накопиться большое количество диалогов, на которых вы построили некоторую систему правил. Сегодня я расскажу вам, как тонко управлять реакцией агента на разные ситуации. Начнём с того, что у каждого правила есть приоритет в активации. Вот заходите сейчас в раздел «Intents» вашего агента и внимательно смотрите на свои правила. Видите голубенькие кружочки напротив каждого правила? Если вы пробовали на них нажимать, то происходило просто выделение правила, и можно было бы выделить несколько правил, а потом массово применять к выделенным правилам операции копирования, перемещения и удаления. Да, можно скопировать или переместить правила в других агентов, если у вас их несколько. Довольно удобная штука. Но на самом деле, этот голубенький кружок показывает приоритет активации правила. Если нажать на какое-нибудь правило, то такой же голубенький кружочек будет показан около названия. Но если теперь кликнуть в него, то на экране появится меню, в котором можно установить приоритет правила от наивысшего к низкому, а также вовсе отключить правило, и тогда агент не будет его использовать. Голубенький кружок — это нормальный приоритет, устанавливаемый для правила по умолчанию при его создании. Давайте посмотрим, для чего это может понадобиться. Дело в том, что если у вас очень развитый агент, то у него обычно сотни и тысячи правил. Типовой агент, который используется в чат-боте технической поддержки должен иметь пару сотен правил как минимум. Моя ИИ-ассистентка ​Натали​, работает уже на нескольких тысячах правил, но при этом каждый день обучается. Само собой разумеется, что я не могу помнить, какие у неё есть правила. И иногда получается так, что я создаю новое правило для фраз, которые уже были использованы в других правилах, либо для фраз со схожим смыслом. В этом нет ничего плохого — агент легко будет справляться с такими ситуациями. Но если вдруг он начнёт «залипать» на каком-то правиле, то его можно понизить в приоритете или отключить. С другой стороны, какое-то правило можно повысить в приоритете, чтобы оно активировалось чаще остальных. В общем, здесь можно играть приоритетом для более гибкой и тонкой настройки активации правил тогда, когда их у вас становится очень много. Или вот другой вариант. Например, у вас есть чат-бот для ответа на вопросы в какой-нибудь выделенной предметной области. Вот как моя Натали, которая ассистирует мне на курсах по Искусственному Интеллекту и смежным темам, типа философии сознания. Но любая предметная область — это динамически изменяющийся набор знаний. И если вчера надо было отвечать на такой-то вопрос одним способом, то сегодня может оказаться так, что и отвечать на такой вопрос больше не надо. Тогда мы берём и правило отключаем. Также это может быть полезным и в чат-ботах технической поддержки. Теперь давайте зайдём в настройки вашего агента. Для этого, я напомню, надо нажать на шестерёнку, которая находится около идентификатора агента и крутится, когда он обучается. Нажав на неё, вы попадёте в раздел настроек, где имеется большое количество разделов. Сейчас нас будет интересовать раздел «Export and Import». Если вы зайдёте туда, то увидите три возможности — скачать своего агента, восстановить его из файла или импортировать правила и сущности из файла. Тоже очень удобная штука. Как минимум, можно периодически сохранять всю вашу работу к себе локально. Теперь переходите в раздел «ML Setting», то есть «Настройки машинного обучения». Здесь есть пара нюансов, про которые я хотел бы упомянуть, так как они тоже играют важную роль в умениях агента реагировать на те или иные фразы. Во-первых, обратите внимание, что есть две возможности по сопоставлению с входными фразами в правилах — гибридное и основанное только на машинном обучении. Если у вас немного правил, и количество входных фраз в них небольшое, то используйте гибридный способ. Для простых входных фраз, которые присутствуют в правилах, он будет работать очень быстро. Но если количество правил у вас перевалило за сотню, а это можно понять по тому, что агент перестал тренироваться после сохранения правила, то переключайтесь на использование только машинного обучения, иначе ваш чат-бот будет довольно существенно тормозить при ответах. Дальше у нас есть порог активации правил, который представляет собой число от нуля до единицы. Если вы хотите, чтобы агент реагировал на все входные фразы, и только редко активировал правило по умолчанию для нераспознанных фраз, то ставьте порог примерно в одну десятую. Но чем выше порог вы поставите, тем более строгим будет ваш агент, тем тяжелее ему будет искать совпадение во фразах по смыслу. Это имеет высокую важность для того, чтобы сделать агента адекватным — чем ниже порог активации, тем проще агенту выбрать какое-нибудь правило, то есть он временами будет отвечать не так и не то. Но чем выше порог, тем больше разных правил должно быть в вашей базе знаний. Следующая галочка позволяет осуществлять автоматическую проверку орфографии во входных фразах. В принципе, её можно включить, хотя особого значения она не имеет, так как работа нейросети прекрасно справляется с ошибками и без коррекции. А вот следующая кнопка очень важна для агентов, которые перестали обучаться автоматически из-за выросшего объёма базы знаний. Время от времени таких агентов надо перетренировывать, а для этого надо заходить в эти настройки и нажимать кнопку «Train». Со своей Натали я делаю это еженедельно, и один сеанс занимает несколько часов. Так-то. Ну что ж. Я рассказал про DialogFlow всё, что хотел. Теперь после того, как вы позанимаетесь со своими агентами и чат-ботами, вы довольно сильно проникнитесь этой темой. Уверен, что вам понравится. Но давайте я немного расскажу и об ограничениях этого инструментария. По крайней мере, существующие на текущий момент. Во-первых, моя персональная боль — это отсутствие памяти и контекста. Чтобы ваш агент запомнил имя пользователя, который начал с ним вести диалог, надо передавать каждое правило на сторонний сервер для внешней обработки. Это крайне неудобно. Во-вторых, ваш агент никогда не будет самостоятельно начинать беседу, он будет только реагировать на фразы пользователя. Отсутствие этой функции не позволяет использовать DialogFlow для разработки чат-ботов, которые могли бы активно взаимодействовать с пользователем, донося до них, например, новости о вашей компании, какие-то специальные сообщения и так далее. Чат-боты на DialogFlow пока получаются исключительно реактивными. Но я надеюсь, что когда-нибудь разработчики этой платформы добавят всю желаемую функциональность. Ну а в целом это прекрасный инструментарий, в том числе и тем, что его служба поддержки очень трепетно взаимодействует с пользователями. На этом всё. Я рассказал вам всё, что сам знаю и умею делать на DialogFlow. Очень надеюсь, что этот рассказ был вам полезен, и дальше вы сможете самостоятельно заниматься разработкой разговорных интерфейсов. Как минимум, вы теперь обладаете знанием для того, чтобы заказывать подобные разработки, обладая всем необходимым пониманием. Ну а я всегда остаюсь на связи, так что пишите, если у вас будут возникать какие-либо вопросы. С вами был Роман Душкин, и в следующий раз у нас последнее занятие. До скорого и пока.