Почему нейросеть ChatGPT стала такой популярной, и какой переворот произошел в машинном обучении, на Российском интернет форуме рассказал директор по развитию искусственного интеллекта компании «Яндекс» Александр Крайнов:
«Что такое ChatGPT? Это генеративная нейронная сеть. Она генерирует текст, важно, что генерирует она на самом деле слово или токен. Эта сеть берет на входе какой-то контекст и дописывает новое слово.
В чем новизна истории: нейронные сети, что были у всех больших компаний, имели целью генерировать такой текст, на котором они учились. Они подражали случайному написанному тексту, они писали текст такой, который мог быть написан в Интернете. Модель дообучили на небольшом массиве очень тщательно отобранных человеческих текстов. Модель стала писать тексты не так, как они где-то были написаны, а так, чтобы они были полезны.
Никто не ожидал, что при таком небольшой объеме данных получится такой результат. Сейчас началась сумасшедшая гонка за Open AI, но надо понимать, что базовые технологии есть у многих. Больше всего обидно Google, который долго был лидером этой истории, но потом упустил момент. Сейчас все подтянутся.
Произошел серьезный переворот в машинном обучении: там всегда была задача научить алгоритм делать вывод из чего-то. Если ты что-то запомнил, ты переобучился, и теперь не сможешь обобщать. А тут размеры моделей и количество данных для обучения стали такими большими, что сейчас сказали: фиг с ним, пусть нейросети помнят. По-прежнему модель заставляют делать выводы. Теперь они сочетают память, с которой не научились работать, и выводы. Есть куча проблем, когда модели пишут что-то не то.
Люди делятся на две категории: те, кто никогда не пользовались ChatGPT, и те, кто видел только скриншоты. И люди, которые пользовались, говорят, что эта хрень не работает. Нельзя оценивать крутость технологии по скриншотам, потому что отобрано самое лучшее.
Абсолютная ошибка оценивать технологию по сегодняшнему состоянию. Мы не знаем, как она упрется в проблемы, но пока развивается очень быстро. Надо исходить не из того, как она работает сейчас, а из того, как будет работать через два года».
Фото: ФедералПресс / Денис Коробейников