10 стыдных вопросов о нейросетях: отвечает специалист по Machine Learning Игорь Котенков

В новой серии статей известные эксперты отвечают на вопросы, которые обычно неловко задавать: кажется, что все об этом и так знают, а спрашивающий будет выглядеть глупо.

В этот раз мы поговорили со специалистом по искусственному интеллекту Игорем Котенковым. Вы узнаете, можно ли сохранить для правнуков свою цифровую копию, почему нейронкам нельзя доверять на 100% и грозит ли миру восстание машин.

1. Как работают нейросети? Это ж волшебство какое‑то. Как вообще можно было сделать ChatGPT? А Midjourney или DALL-E?

Нейросеть — это математическая модель, придуманная с оглядкой на понимание того, как работает мозг живого организма. Правда, за основу взяли самые базовые представления начала второй половины XX века, которые теперь можно назвать неактуальными или слишком упрощёнными.

Даже название «нейросеть» происходит от слова «нейрон» — так называют одну из основных функциональных единиц мозга. Сами нейросети состоят из узлов — искусственных нейронов. Так что можно сказать, что многие идеи современных архитектур были «подсмотрены» у самой природы.

Но важнее то, что нейросеть представляет собой математическую модель. А раз это что‑то связанное с математикой, то мы можем применить всю силу математического аппарата для того, чтобы узнать или оценить свойства такой модели. Можно рассмотреть нейросеть как функцию, и функция — это тоже математический объект. Самый простой и понятный пример: функция, которая, скажем, принимает на вход любое число и прибавляет к нему 2: f(4) = 6, f(10) = 12.

Но такую функцию очень легко запрограммировать, даже ребёнок справится после пары часов изучения языков программирования. И причина в том, что такая функция очень легко формализуется, описывается во всех деталях на простом и понятном языке.

Однако существуют такие задачи, к которым мы даже не знаем, как подступиться. Например, я могу дать вам фотографии кошек и собак вперемешку, а вы без проблем разложите их на две кучки без ошибок. Но чем именно вы руководствуетесь, когда определяете ответ? И те и другие бывают пушистыми. У обоих видов есть хвост, уши, два глаза. Может быть, размер? Но есть очень маленькие собачки, есть большие коты.

Многие задачи реального мира мы не можем описать, не знаем зависимости нашего наблюдения и какого‑то условного «правильного» ответа.

Мы просто умеем давать этот ответ — и всё, не задумываясь о том, как он получается.

И тут на помощь приходят нейросети. Эти математические функции обучаются на основе данных. Вам не нужно описывать связь между входом и выходом. Вы просто готовите две стопки фотографий, и модель тренируется давать правильные ответы. Она сама учится находить эту связь, сама её находит, опираясь на ошибки, которые совершает. Спутала бенгальского кота и ротвейлера? Что ж, в следующий раз исправится!

Процесс обучения нейросети и представляет собой такую подстройку «нейронов», чтобы научиться решать задачу и давать правильный ответ. И что самое примечательное: существует теоретическое доказательство, что достаточно большая нейросеть с достаточно большим набором данных может выучить любую сложную функцию. Но самое важное тут — это вычислительная мощность (потому что нейронка может быть очень большой) и наличие размеченных данных. Именно размеченных, то есть у них указан класс «собака», кошка или что угодно.

Мы не до конца понимаем, как модели работают, — самые сложные и большие модели вроде ChatGPT почти не поддаются анализу.

Лучшие исследователи прямо сейчас работают над решением задачи «понимания» внутреннего устройства их процессов.

Но мы знаем, на какую задачу модели обучались, какую ошибку пытались минимизировать во время тренировки. Для ChatGPT задача состоит из двух. Первая — предсказание следующего слова по его контексту: «мама мыла…» Что? Вот это модель и должна предсказать.

Вторая задача — чтобы ответы не были оскорбительными, но при этом оставались полезными и понятными. Потому‑то модель так и завирусилась — она напрямую обучена генерировать такой текст, который людям нравится!

Подробнее о том, как работает ChatGPT, можно прочитать в моей статье.

2. Нейронки умеют мыслить?

Учёные всё ещё не понимают, что же значит «мыслить» или «рассуждать» и как вообще работает интеллект. Поэтому и сложно судить, обладает ли модель, подобная ChatGPT, такими свойствами.

Представим ситуацию: вы подходите к двери своей квартиры. Рождается ли у вас мысль о том, что нужно достать ключ из левого кармана рюкзака, чтобы открыть дверь? Можно ли сказать, что описание и представление действий — это мыслительный процесс? По сути, мы установили связь между текущим состоянием и целевым желаемым (открытая дверь). Если вы считаете, что ответ на вопрос выше «да», то тогда и мой ответ будет таким же. 🙂

Другое дело, если речь заходит об инновационных мыслях, которые раньше не высказывались или встречаются не так часто. Ведь к примеру выше можно легко придраться: «Да, модель это 100500 раз прочитала в интернете и в книгах. Конечно, она это знает! Ничего удивительного». Кстати, а вы откуда узнали? Не потому ли, что вам родители в детстве показали, а вы наблюдали процесс сотни дней подряд?

В таком случае точного ответа не существует. И дело тут в том, что мы не берём в расчёт одну важную компоненту: вероятность.

Насколько вероятно, что модель сгенерирует мысль, которая подходит под конкретно ваше определение «мысли»?

Ведь нейронку вроде ChatGPT можно заставить сгенерировать миллион разных ответов на один и тот же запрос. Например, «придумай идею для научного исследования». Если одна генерация из миллиона будет по‑настоящему интересной и новой, считается ли это за подтверждение факта того, что модель может родить мысль? Но чем это будет отличаться от попугая, что выкрикивает случайные слова, которые нет‑нет да и сложатся во что‑то понятное?

С другой стороны, люди тоже не всегда выдают корректные мысли — некоторые фразы заводят в тупик и ничем не кончаются. Почему же мы не можем нейросети этого простить? Ну ладно, одна новая идея из миллиона сгенерированных — это и вправду плохо… А если 100 штук из миллиона? Тысяча? Где проходит эта граница?

Вот то‑то и оно, что мы не знаем. Намечается следующая тенденция: сначала мы думаем, что машинам будет сложно решить задачу X. Например, пройти тест Тьюринга, где нужно просто початиться с человеком полчаса. Потом, с развитием технологий, люди придумывают способы решения, точнее — обучения моделей на задачу. И мы говорим: «Ну хорошо, на самом деле это был неправильный тест, вот вам новый, его точно нейронки не смогут пройти!» И ситуация повторяется.

Те технологии, которые есть сейчас, лет 80 назад воспринимались бы как чудо. А сейчас мы всеми силами стараемся отодвинуть границу «разумности», чтобы самим себе не признаваться, что машины уже умеют думать. На самом деле даже возможно такое, что мы сначала изобретём нечто, а уже постфактум и ретроспективно определим это как ИИ.

3. Если нейронки могут рисовать и писать стихи, значит, они умеют в творчество и почти как люди?

Ответ на самом деле во многом опирается на вышеизложенную информацию. Что такое творчество? Насколько много творчества в среднем человеке? Уверены ли вы, что дворник из Сибири умеет творить? А почему?

Что, если модель может породить стихотворение или картину, которая, условно, дойдёт до финала городского конкурса писателей‑любителей или детских художников? А если такое будет происходить не каждый раз, а один из ста?

Большая часть этих вопросов дискуссионна. Если вам кажется, что ответ очевиден, — попробуйте опросить своих знакомых и близких. С очень большой вероятностью их точка зрения не совпадёт с вашей. И тут главное — не рассориться.

4. Mожно ли доверять ответам нейросетей и больше не гуглить?

Всё зависит от способа использования моделей. Если задавать им вопрос без контекста, без сопроводительной информации в промпте и ожидать ответа по темам, где важна фактическая точность, а не общий тон ответа (к примеру, последовательность событий в рамках некоторого периода, но без точного упоминания мест и дат), то ответ — нет.

По внутренним оценкам OpenAI, в подобных ситуациях самая лучшая на сегодняшний день модель, GPT‑4, отвечает правильно примерно в 70–80% случаев — в зависимости от темы вопросов.

Может показаться, что эти цифры очень далеки от идеальных 100% фактической «аккуратности». Но на самом деле это большой скачок относительно прошлого поколения моделей (ChatGPT, основанных на архитектуре GPT–3.5) — у тех точность была 40–50%. Получается, что такой скачок был произведён в рамках 6–8 месяцев исследований.

Понятно, что чем ближе к 100% мы будем подбираться, тем сложнее будет вносить какие‑то исправления, чтобы ничего не «сломать» в понимании и знаниях модели.

Однако всё вышесказанное относится к вопросам без контекста. Например, вы можете спросить: «Когда родился Эйнштейн?» Модель должна опираться только на внутренние знания, которые в неё были «зашиты» на этапе длительного обучения на данных со всего интернета. Так и человек не сможет ответить! Но вот если бы мне дали страницу из «Википедии», то я смог бы её прочитать и ответить по источнику информации. Тогда правильность ответов была бы близка к 100% (с поправкой на корректность источника).

Соответственно, если модели предоставить контекст, в котором содержится информация, то ответ будет куда более надёжным.

Но что, если позволить модели гуглить и находить источники информации в интернете? Чтобы она сама находила источник и строила ответ на его основе? Что ж, такое уже реализовано! Так что можно не гуглить самому, а делегировать часть поиска в интернете самой GPT‑4. Правда, для этого понадобится платная подписка.

Что же касается дальнейшего прогресса в области развития надёжности фактической информации внутри модели, то генеральный директор OpenAI Сэм Альтман даёт оценку в 1,5–2 года на решение этой проблемы командой исследователей. Очень будем ждать! Но пока держите в голове, что не нужно доверять написанному нейронкой на 100%, и проверять‑перепроверять хотя бы источники.

5. Правда ли нейросети воруют рисунки реальных художников?

И да, и нет — об этом сейчас активно спорят обе стороны конфликта в судах по всему миру. Можно точно сказать, что напрямую изображения в моделях не хранятся, просто появляется «насмотренность».

В этом плане нейронки очень похожи на людей, которые сначала изучают искусство, разные стили, смотрят на работы авторов, а потом пытаются подражать.

Однако модели учатся, как мы уже выяснили, по принципу минимизации ошибки. И если во время тренировки модель видит одно и то же (или очень похожее) изображение сотни раз, то, с её точки зрения, лучшая стратегия — это запомнить картинку.

Давайте на примере: ваш преподаватель в художественной школе выбрал очень странную стратегию. Вы каждый божий день рисуете две картины: первая всегда уникальная, в новом стиле, а вторая — «Мона Лиза». Через год вы пытаетесь оценить, чему научились. Поскольку вы больше 300 раз изобразили «Мону Лизу», то помните почти все детали и теперь можете воспроизвести её. Это не будет точный оригинал, и вы наверняка добавите что‑то от себя. Цвета будут чуть‑чуть отличаться.

А теперь вас просят нарисовать что‑то, что было 100 дней назад (и что вы видели один раз). Вы куда менее точно воспроизведёте то, что требуется. Просто потому, что рука не набита.

То же самое с нейронками: они учатся на всех картинках одинаково, просто какие‑то встречаются чаще, а значит, модель штрафуют во время обучения тоже чаще. Это относится не только к картинам художников — к любому изображению (даже рекламному) в тренировочной выборке. Сейчас применяются методы устранения дубликатов (потому что тренироваться на них — как минимум неэффективно), но они не идеальны. Исследования показывают, что существуют такие изображения, которые встречаются во время тренировки по 400–500 раз.

Мой вердикт: нейросети не воруют изображения, а просто рассматривают в качестве примеров рисунки. Чем популярнее пример, тем точнее модель его воспроизводит.

То же самое делают люди во время обучения: смотрят на прекрасное, изучают детали, стили разных художников. Но у художников или фотографов, потративших полжизни на обучение ремеслу, точка зрения зачастую радикально отличается от вышеописанной.

6. Правда ли «всё пропало» и нейросети отнимут работу у людей? Кому больше всех переживать?

Важно разделять просто «нейросети», которые делают определённые задачи, от нейросетей общего назначения вроде ChatGPT. Последние очень хороши в соблюдении инструкций и умеют учиться на примерах из контекста. Правда, сейчас размер их «памяти» ограничен 10–50 страницами текста, как и навыки размышления и планирования.

Но если чья‑то работа сводится к рутинному выполнению инструкции и этому легко научиться за пару дней, почитав статьи (или если этой информацией заполнен весь интернет), а стоимость труда при этом выше среднего — то в скором времени такую работу автоматизируют.

Но сама по себе автоматизация не означает полную замену людей. Может быть оптимизирована лишь часть рутинной работы.

Человеку же начнут доставаться более интересные и креативные задачи, с которыми машина (пока) не справляется.

Если приводить примеры, то к группе изменяемых или заменямых профессий я бы отнёс, скажем, налоговых ассистентов‑консультантов, которые помогают подготовить декларацию и проверяют типовые ошибки, выявляют несоответствия. Изменения возможны в такой специальности, как менеджер данных клинических исследований — суть работы в заполнении отчётов и сверке их с табличкой стандартов.

А вот повар или водитель автобуса будут востребованы куда дольше просто потому, что связать нейросети и реальный физический мир достаточно сложно, особенно с точки зрения законодательства и регуляций — спасибо бюрократам за отдаление ИИ‑кризиса!

Большие изменения ожидаются в индустриях, связанных с печатными материалами и текстовой информацией: журналистика, образование. С очень большой вероятностью для первых уже совсем скоро нейронки будут писать черновики с набором тезисов, в которые уже люди будут вносить точечные изменения.

Изменениям в области образования я рад больше всего. Есть исследования, которые показывают, что качество обучения напрямую зависит от «персональности» подхода и от того, насколько много времени конкретному ученику уделяет преподаватель. Самый простой пример: обучение в группах по 30 человек по учебнику куда хуже, чем индивидуальный репетитор под конкретные нужды (пусть и по той же программе, что в учебнике). С развитием ИИ у человечества появится возможность предоставить персонализированного ассистента каждому студенту. Это просто невероятно! Роль же учителя сместится, как мне видится, к стратегический и контролирующей: определение общей программы и последовательности изучения, проверка знаний и так далее.

7. Можно ли загрузить в компьютер своё сознание, сделать цифрового двойника и жить вечно?

В том смысле, в котором это себе представляют на основе sci‑fi, — нет. Можно лишь научить модель подражать вашему стилю общения, выучить ваши шутки. Возможно, модели уровня GPT‑4 даже смогут придумывать новые, обрамлённые в ваши уникальные стиль и манеру подачи, но это явно не означает полный перенос сознания.

Мы как человечество, опять же, не знаем, что такое сознание, где оно хранится, чем отличается от других, что делает меня — мной, а вас — вами. Если вдруг окажется, что всё это просто набор воспоминаний и пережитого опыта, помноженный на индивидуальные особенности восприятия, то, скорее всего, можно будет каким‑то образом передавать знания в нейросети, чтобы они симулировали дальнейшую жизнь на их основе.

8. В нейросети опасно загружать свой голос, внешность, свою текстовую манеру речи? Кажется, такую цифровую личность можно украсть.

В них нельзя загрузить что‑либо в буквальном смысле. Можно их обучить (или дообучить) таким образом, чтобы результаты больше походили на ваши внешность, голос или текст. И такую обученную модель действительно можно украсть, то есть просто скопировать скрипт и набор параметров для запуска на другом компьютере.

Можно даже сгенерировать видео с просьбой перевести денег на чужой счёт, в которое поверит ваш родственник: самые лучшие алгоритмы дипфейков и клонирования голоса уже достигли подобного уровня. Правда, требуются тысячи долларов и десятки часов записи, но тем не менее.

Вообще, с развитием технологий вопрос идентификации и подтверждения личности становится более важным.

И его пытаются решить тем или иным способом. Например, существует стартап WorldCoin (по сути, делает криптовалюту), в который вложился руководитель OpenAI Сэм Альтман. Смысл стартапа в том, что каждая частичка информации о человеке будет подписываться его собственным ключом для последующей идентификации. То же будет относиться и к масс‑медиа, чтобы точно знать, достоверная это новость или фейк.

Но, к сожалению, пока всё это на стадии прототипов. Да и глубокое внедрение систем во все индустрии я не считаю реализуемым на горизонте ближайшей декады просто потому, что это слишком сложно и масштабно.

9. Могут ли нейронки начать вредить и захватить мир?

Опасность представляют не текущие разработки, а то, что последует за ними при дальнейшем развитии. Сейчас не изобретено методов контроля работы нейросетей. Взять, к примеру, очень простую задачу: сделать так, чтобы модель не ругалась матом. Вообще никогда. Не существует метода, который позволит следовать такому правилу. Пока что можно найти разные способы, как всё-таки её «развести».

А теперь представьте, что мы говорим про GPT‑8 условно, чьи навыки будут сопоставимы с навыками самых способных и умных людей. Нейросеть умеет программировать, пользоваться интернетом, знает психологию и понимает, как думают люди. Если дать ей волю и не ставить конкретную задачу, то что она будет делать? А если она узнает, что её нельзя контролировать?

Вероятность плохого развития событий не так велика, если верить оценкам. Общепринятой оценки, кстати, нет — хотя все спорят о деталях, о пагубных последствиях и так далее. Сейчас называют примерные цифры от 0,01% до 10%.

В моём представлении это огромные риски, если предположить, что самый негативный сценарий — это уничтожение человечества.

Интересно, что ChatGPT и GPT–4 — это продукты, которые были созданы командами, работающими над проблемами «выравнивания» намерений людей и нейронок (подробности можно найти тут). Именно поэтому модели так хорошо слушаются инструкций, стараются не хамить, задают уточняющие вопросы, но это пока очень далеко от идеала. Проблема контроля не решена даже наполовину. И пока мы не знаем, решается ли она вообще, и если да, то какими методами. Это и есть самый горячий топик исследований на сегодня.

10. Может ли нейросеть влюбиться в человека?

С текущими подходами и архитектурами нейронок — нет. Они лишь генерируют текст, который наиболее правдоподобен как продолжение текста, поданного на вход. Если закинуть туда первую главу любовного романа, переписав его под вашу личность, и попросить модель вам ответить на любовное письмо — она с этим справится. Но не потому, что влюбилась, а потому что это наиболее точно подходит под контекст и запрос «а напиши‑ка мне письмо!». Помните, что модели учатся генерировать текст, который следует инструкциям.

Более того, у нейросетей в базовом варианте нет памяти — между двумя разными запусками они всё забывают и откатываются на «заводские настройки». Память можно добавить искусственно, как бы сбоку, чтобы в модель подавалось, скажем, 10 страниц самых релевантных «воспоминаний». Но тогда получится, что мы в исходную модель просто подаём набор событий и говорим: «А как бы ты себя повела при таких условиях?» Никаких чувств у модели не возникает.