Гермиона — искусственный интеллект Made in Kazakhstan

Ежедневно пользователи Kolesa.kz. Krisha.kz, Market.kz и Avtoelon.uz подают около 80 тысяч объявлений. Однако до размещения доходят не все. В многомиллионной аудитории появляются мошенники и шутники, которые публикуют фейковые объявления, фотографии
18+ или объявления о продаже запрещенных товаров.

Задача модераторов Kolesa Group — отфильтровать огромный поток объявлений в краткий срок. Недавно у отдела модерации появился еще один сотрудник — искусственный интеллект Гермиона. 

---

— Что такое Гермиона?

Давай начнем с того, зачем она, Гермиона, нам нужна. С небольшого экскурса. Основа наших продуктов — объявления. Любой пользователь, подавая объявление, может написать любой текст и добавить к нему любые изображения. За словом «любой» скрывается вся сложность...

Месячная аудитория наших продуктов насчитывает более 10 миллионов человек. А там, где много людей, обязательно появляются мошенники. Они пытаются подать ложные объявления: с призывами на митинги, с продажей оружия и нароктиков, с оскорблениями других пользователей.

Наша задача сделать так, чтобы эти объявления не попали на сайт, при этом пропустить качественные и достоверные объявления, не нарушающие закон и наши внутренние правила. Простая миссия: пропустить добро и остановить зло. Каждое объявление, которое попадает к нам на сайт, каждое объявление, в которое вносятся изменения на редактировании, обязательно проходит процедуру проверки.

Количество проверяемых объявлений в день доходит до 80-90 тысяч. Год назад мы проверяли все эти объявления вручную. Целый отдел модерации старательно, изо дня в день, выявлял зло и не пропускал его к честным пользователям. Это был один из самых крупных отделов в компании с очень ответственной миссией.

Сейчас у нас появилась Гермиона — микросервис, в основе которого лежат алгоритмы машинного обучения. Микросервис проверяет 90% всех объявлений, поданных в «Колеса». По каждому объявлению Гермиона принимает решение: пропустить на сайт, удалить или отклонить. В последних двух пунктах необходимо также определиться с причиной, почему объявление не попало на сайт. Чтобы у пользователя было понимание, что именно он нарушил.

— Получается, пришлось сократить отдел модерации?

Нет-нет. Отдел модерации по-прежнему есть и после внедрения стал еще более ценным. Ведь теперь каждое проверенное модератором объявление потенциально может повлиять на качество работы Гермионы. Модератор, пропустив на сайт ложное объявление как бы сообщает Гермионе: «С этим объявлением все хорошо, пропускай подобные на сайт». Соответственно, выросли требования к качеству работы наших модераторов. И сейчас они не просто проверяют объявления, а обучают искусственный интеллект.

Также внедрение Гермионы позволяет нам масштабировать продукты без роста отдела модерации. При увеличении поданных объявлений в два раза раньше нам бы пришлось увеличить отдел модерации в два раза. Сейчас нет. В ноябре мы запустили Avtoelon, аналог «Колес» в Узбекистане. Еще не прошел год, но мы уже стали первыми в сфере авто в стране. То есть появился новый поток объявлений, но благодаря Гермионе мы смогли не увеличивать штат модераторов, а просто перенаправить людей на проверку объявлений другого проекта.

— Придется ли увольнять сотрудников из-за ИИ?

Да. Но это касается не только ИИ. Есть множество профессий, которые исчезли из-за автоматизации, никак не связанной с ИИ.

Пару веков назад в европейских городах еще существовали фонарщики. Кто сейчас вспомнит о такой профессии? Пример из ближайшего прошлого: кондукторы, они работали в каждом алматинском автобусе. Сейчас есть «Онай» и почти умершая профессия кондуктора. Да, теперь есть контролеры. Но их количество в разы меньше количества кондукторов несколько лет назад. И задача другая: искать зайцев, а не принимать оплату за проезд и кричать названия остановок.

ИИ – это один из способов автоматизации ручного труда. Чем более механическая у вас работа, тем больше риска несет вам автоматизация. Чем более интеллектуальная или творческая работа, тем в большей безопасности ваша профессия.

— Дорого ли обходится искусственный интеллект?

Здесь есть интересная особенность. С точки зрения экономии ресурсов модераторов, думаю, что по деньгам пока мы в проигрыше. Стоимость разработки подобной системы, стоимость аппаратного обеспечения, на котором работает Гермиона, стоит очень дорого. И должно пройти не мало времени, чтобы этот проект себя оправдал.

Но есть и другая сторона. У отдела модерации есть внутренний KPI: объявление должно быть проверено за 7 минут. Это очень высокий показатель даже по мировым стандартам подобных проектов. Но пользователи не готовы покупать платные услуги для объявления, которое еще не было проверено. А через семь минут телефон лежит в кармане пользователя, а сам пользователь занят другими делами.

Гермиона проверяет объявление менее чем за секунду. И пользователь, который видит, что его объявление уже опубликовано, с большей вероятностью купит платную услугу, чтобы получить больше звонков по своему объявлению.

Получается, что автомодерация косвенно влияет на использование платных услуг сразу после подачи объявления. То есть не только на сокращение расходов, но и на увеличение доходов.

— Как разрабатывали Гермиону?

В основе любого искусственного интеллекта лежат большие объемы данных. Так и в нашем случае, первым этапом стал сбор данных: мы имели большое количество объявлений с результатами ручной проверки и причинами удалений/отклонений, накопленными за много лет работы. То есть Гермиона видела объявление и результат проверки.

Дальше искусственный интеллект искал некие паттерны, которые ведут к тому или иному решению. И когда приходит новое объявление, грубо говоря, Гермиона пытается понять, какие паттерны есть в этом объявлении и что нужно сделать в соответствии с этими паттернами: пропустить, отклонить или удалить объявление.

Бывают случаи, когда Гермиона не понимает, что нужно сделать с объявлением и тогда она отправляет объявление на ручную проверку модератору.

На самом деле, Гермиона состоит из нескольких моделей. У каждой из которых есть своя цель и предназначение.

Есть модель, которая определяет, правильно ли указана категория в объявлении, чтобы в авто не подавали запчасти, например. Другая модель отвечает за проверку текста на наличие нежелательных слов в объявлении. Еще есть модель, которая отвечает за адекватность цены в предложении. Ведь за дешевыми объявлениями часто скрываются мошенники.

Все это работает как единый организм. И за каждой из моделей скрывается большой объем работы с данными.

— Можно ли Гермиону считать самым настоящим искусственным интеллектом?

Смотря, какой смысл заложить в «искусственный интеллект». 

Гермиона способна принять решение о размещении на сайте, увидев объявление впервые. В этом смысле Гермиона — настоящий искусственный интеллект!

Если же речь идет саморазвитии, творческом подходе и о порабощении человечества, то конечно же нет.

— Совершает ли Гермиона ошибки?

Да, конечно. Как и живой человек.

У нас есть внутренние KPI по проценту допущенных ошибок. Мы стараемся придерживаться этих показателей. Но чаще всего это не грубые ошибки.

Гермиона может решить, что автомобиль стоит слишком дешево и отклонить объявление. А потом оказывается, что продавцу срочно нужны деньги или что в машину нужно много вкладывать. Но такое решение мог принять и человек. Скорее это даже не ошибка, а допущение.

— Гермиона эволюционирует?

Изначально мы думали сделать самообучаемую модель. Которая в реальном времени анализировала бы решения модераторов, проверяющих оставшиеся 10% объявлений и изменяла бы внутренние алгоритмы. Но решили отказаться от этой схемы.

Подобная реализация потребовала бы от нас больших ресурсов на разработку и внедрение процедур контроля процессов обучения. А профита от подобной реализации было бы не много.

Сейчас мы можем управлять автомодерацией через список стоп-слов, через ручное переобучение моделей. Весь сервис обвешан логами и событиями. И мы в любой момент можем понять, какое решение было принято и почему нужно что-то изменить в алгоритмах.

Также на основе Гермионы будут разработаны решения для «Маркета» и «Крыши», адаптированные под проблемы и особенности конкретных продуктов. Кстати, названия эти микросервисы будут иметь тоже из вселенной Гарри Поттера: Джинни и Полумна.