Глава xAI и самый богатый человек в мире Илон Маск согласен с экспертами по искусственному интеллекту, что для обучения нейросетей осталось крайне мало реальных данных. Подобное мнение в декабре высказал сооснователь компании OpenAI Илья Суцкевер.
Мы в основном исчерпали совокупный объём человеческих знаний для обучения ИИ. Это произошло в прошлом году.
Илон Маск
Суцкевер ранее предположил, что дефицит информации вынудит компании пересмотреть традиционные подходы к разработке нейросетей. Маск считает, что решение может заключаться в использовании синтетических данных — обучающих наборов, созданных самим искусственным интеллектом.
С их помощью ИИ сможет оценивать собственные действия и проходить процесс самообучения.
Крупные технологические компании, такие как Microsoft, OpenAI и Anthropic, уже используют синтетические данные для обучения своих флагманских моделей. По оценкам Gartner, в 2024 году 60% данных, применяемых в проектах ИИ, были созданы искусственным путём.
Этот подход дешевле привычных методов. Основатели стартапа Writer заявляют, что их нейросеть Palmyra X 004, разработанная практически полностью на основе синтетических данных, обошлась в 700 000 долларов. Это, как отмечает TechCrunch, меньше затрат OpenAI на аналогичные проекты.
Однако есть и недостатки. Исследования показывают, что использование синтетических данных может привести к снижению креативности и усилению предвзятости ИИ. Это, в свою очередь, ставит под угрозу качество его работы и функциональность.
