Современная жизнь считается угрозой для культур коренных малочисленных народов севера. Например, из 37 тысяч живущих в России эвенков лишь 5 тысяч на достаточном уровне владеют родным языком. Однако технический прогресс может быть и помощником в сохранении традиционного уклада. Примером тому может служить Ayana – голосовой помощник на эвенкийском языке, аналог известных «Алисы» и «Маруси». О том, что собой представляет проект и какие возможности он открывает, в интервью «ФедералПресс» рассказал разработчик Николай Апросимов.
Роботы говорят по-эвенкийски
С чего началась работа над вашим проектом?
— Впервые такая идея появилась в 2019 году, а непосредственная работа началась год спустя, когда мы выиграли грант министерства по развитию Арктики РС(Я). На тот момент речь шла только о создании переводчика с русского на эвенкийский язык. Мы искали способы реализации, перебирали варианты и в ходе работы стали погружаться в особенности функционирования искусственного интеллекта. И когда в процессе мы услышали, как машина впервые в истории сказала «мэнду» (что по-эвенкийски значит «привет»), мы были шокированы. Поняли, что произошло нечто невообразимое. И главное, мы осознали, что появилась прямая надежда на сохранение нашего языка.
А дальше оказалось, что речь может идти больше чем об обычном переводчике в мобильном приложении. Создается как будто искусственное ядро родного языка, где можно собрать массив данных, включающий не только слова, но и культурный код. Так же, как у «Алисы», можно попросить включить музыку или можно будет сделать голосовой запрос об эвенкийской кухне, национальной одежде, о знаменитых эвенках. Конечно, проект вызвал эффект разорвавшейся бомбы, но в то же время мы получили достаточно много замечаний.
Для реализации подобного проекта нужен целый набор компетенций – от знания эвенкийского языка до навыков программирования. Как вы их получили и как формировалась команда?
— Начну с того, что по профессии я не программист и не лингвист, а эколог. И больше того, хоть и принадлежу к эвенкийскому народу и являюсь потомком известного рода Апросимовых, долгое время нашим языком на должном уровне не владел. Впрочем, именно это и дало мне понимание, как важно сохранение национальной культуры и что для этого могут быть полезны современные технологии.
Все началось с просмотров тематических роликов на YouTube и изучения Google-переводчика. Дальше пришлось очень много учиться. Тем более что на первоначальном этапе у нас и не было ресурсов набрать широкую команду с разнообразными компетенциями. В том числе приходилось много консультироваться на сайте профессионалов в области ИТ – Habr, также в блог-канале «Теплица социальных технологий»*. Данные о языке брали с сайта Еvengus, который ведут лингвисты. Конечно, не всегда получалось успешно, была и своя череда неудач, в какой-то момент стало казаться, что на таком редком языке, как эвенкийский, вообще невозможно запустить работу с применением NLU («естественного распознавания языка». – Прим. ред.). NLU было необходимо для запуска именно голосового решения с последующим голосовым ответом пользователю.
Помощь пришла неожиданно – из Великобритании. Я много общался в профильных сообществах, и один собеседник из этой страны просто отправил видеосообщение и рассказал, что есть такой код, такая разметка, где можно кастомизировать речь, отправил мне репозитории. Мы начали работу и впервые смогли не только озвучить, но и провести кастомизацию по изучению эвенкийского языка. Именно тогда случился тот яркий момент, когда машина впервые сказала слова на эвенкийском языке. Мы стали применять разметку искусственного интеллекта (AIML), на основе которой созданы популярные языковые ассистенты по всему миру.
Голос, которым говорит AYANA, полностью сгенерирован? Или в основу положена речь конкретного человека?
— Это целиком результат генерации, никакого человеческого голоса в основе нет. На самом деле, мы пробовали и такой способ, но потерпели неудачу – в Google Speech Test робот просто не смог повторить речь. Мы пошли другим путем и начали соединять то же ядро, которое разработали на AIML, с «Марусей», «Алисой», Google Assistant – все стало не просто лучше, но оказалось, что искусственный интеллект дает возможность использовать сервис не только в телефоне, но и в других устройствах. Более того, произношение стало намного лучше.
Дальше мы начали прикреплять реальные записи носителей языков, синхронизировали с роботизированным голосом. Например, мы услышали несколько вариантов произношения слова «икэллу» («войдите»), поначалу сказанное роботом, затем записью произношения реального человека с аутентичным произношением. Чтобы не утерялась ценная часть самого слова и для более точного выявления расхождений в произношении между роботом и живым человеком.
«Умный дом» вместо тундры
Какие функции уже поддерживает AYANA и как она будет развиваться в дальнейшем?
— На данный момент речь идет о формате MVP («минимально жизнеспособный продукт»). Эксперимент показал, что эвенкийский язык может подружиться с искусственным интеллектом, но и показал некоторые проблемы, главная из которых – отсутствие корпусов данных, на основе которых и должна развиваться нейросеть. И чтобы решить этот вопрос, создали еще один продукт – Ayana Offline.
Во-первых, он позволяет собирать эти самые данные на основе данных, вводимых самими пользователями. Во-вторых, учится работать с диалектами эвенкийского языка. Ведь наш народ в России чем-то напоминает рассыпанные бусы: эвенки живут на обширной территории от Томской области до Сахалина, от Таймыра до границы с Китаем, и у всех разные диалекты и говоры, нет единого компромиссного решения. Больше того, несколько диалектов может быть даже в рамках одного села. Существует литературный эвенкийский язык, но он не всегда является исчерпывающим. Такой конфликт может привести даже к гибели языка.
Поэтому наше мобильное приложение имеет в том числе возможность внесения правок в случае ошибок и возможность добавления своих диалектов. Мобильное приложение Ayana Offline показало хорошую модель взаимодействия носителей языков с технологиями, сам проект был реализован при помощи гранта Президентского фонда культурных инициатив и с софинансированием Группы компаний ООО «Арктик капитал». В итоге, благодаря этой модели, бывают ситуации, когда в ответ на одно русское слово программа выводит семь разных вариантов на эвенкийском. И в частности поэтому здесь требуется система обратной связи и правок. Первоначально мы хотели решить этот вопрос так же, как «Википедия», то есть дать возможность вносить корректировки всем пользователям. Но столкнулись с тем, что у нас ведь и не каждый представитель народа владеет языком правильно. И чтобы не создать еще больше ошибок, мы раздали права редактирования тем, кто разбирается в теме, – языковым активистам и преподавателям эвенкийского языка.
Таким образом, у нас на данный момент есть MVP-модель искусственного интеллекта и есть офлайн-версия модели с статусом – MLP («минимально привлекательный продукт»). И вот в последнем есть специальная программная консоль, которая делает разметку данных. То есть через вводы в базу данных языковыми активистами мы пополняем и словарный фонд в ее цифровом виде, и элементы культурного кода: музыка, одежда, кухня. Дальше все это превращается в автоматическую разметку – файлы XML, которая служит разметкой уже для AIML – языка разметки искусственного интеллекта. И когда мы соберем достаточное количество данных, их можно превратить в настоящую модель искусственного интеллекта. Тогда не только мобильное приложение будет говорить на эвенкийском языке, но и все умные устройства, включая колонки, мессенджеры, smart-TV, другие гаджеты, «умные дома». Так мы будем иметь возможность создания искусственной среды нашего родного языка.
Считаю, что это нужно делать, ведь сегодня детей не загонишь обратно в тайгу и тундру, все хотим жить в комфортных условиях, где есть телевизоры, машины, смартфоны. И для решения задачи недостаточно одного онлайн-переводчика, детей это просто не заинтересует. Другое дело, если программа по запросу сможет включать музыку, показывать одежду, рассказывать о писателях. Если за счет этого мы подарим интерес, то сможем сохраниться как народ. И мое мнение – делать надо так, чтобы интересно было не только для нас, эвенков, но и для всего мира.
О том, что подключить «умный дом» возможно, мы знаем точно – уже разработали коробочные версии, через которые смогли подключать на экспериментальном уровне различные устройства – пылесосы, телевизоры, автомобили. На данный момент мы уже практически запатентовали нашу модель – получили печать ФИПС (Федерального института промышленной собственности) и научное обоснование уже тоже прошли. Кроме того, подали заявку на субсидию от Фонда развития инноваций. Но на этом этапе, чтобы довести продукт до массового использования, нужна будет команда, в первую очередь из специалистов по IT, и ее формированием мы сейчас занимаемся.
Недоверие и азарт
Как сами представители эвенкийского народа относятся к такому проекту?
— Обратную связь мы получили, и на первом этапе она была не просто положительная, а скорее даже восторженная. Сразу после нашей презентации на проект возлагали большие надежды. Многие даже решили, что вопрос сохранения языка уже автоматически решен. Прошли месяцы, и стали приходить и другие отзывы – я уже объяснял, как много у нас диалектов и почему кто-то может считать, что перевод сделан неправильно. Отзывы и сегодня можно прочитать, просто зайдя на App Store или PlayMarket.
Ну а кроме того, иногда приходится сталкиваться с гиперконсерватизмом наших сородичей, особенно представители старшего поколения могут не понимать современных тенденций и зачем все это нужно. Поэтому мы на каждой презентации все подробно объясняем. Те, кому сначала кажется, что это какое-то страшное непонятное устройство, при виде интерфейса консоли базы данных, со временем не просто становятся его пользователями, но даже входят в азарт и тем самым активно участвуют в пополнении базы данных.
Впереди много работы
Рассматривается ли возможность разработки подобных продуктов и для других коренных народов Севера?
— Эта работа уже ведется. Совсем недавно мы ездили на Таймыр и обучали долган, ненцев, энцев, нганасан вводу их языков в консоль по той же модели. Рассчитываем, что уже в следующем месяце представим онлайн-переводчики с энецкого языка Dirichu, с ненецкого Yalyakoko, нганасанского «БуO'», долганского Elden.
В целом же у нас в стране каждый год говорится о важности сохранения языков и культуры коренных народов. Опыт нашей работы показывает, что прогресс – не враг традициям, и совсем наоборот, современные технологии многое могут предложить для сохранения и популяризации национального кода многих этносов России.
*МИНИСТЕРСТВО ЮСТИЦИЙ ОБЪЯВИЛО ИНОСТРАННЫМ АГЕНТОМ
Фото: Николай Апросимов
Видео: ФедералПресс / Станислав Казаченко
Эксклюзивы «ФедералПресс»