Чем на самом деле занимаются аналитики данных и почему они не останутся без работы

Что такое большие данные

На уроках математики в школе вы постоянно работали с данными: складывали, умножали, делили в уме или в столбик. Возможно, вы также ведёте семейный бюджет в блокноте или в таблице — вносите информацию и используете простые формулы: находите суммы, разности, средние значения. То есть выполняете обработку данных, причём преимущественно вручную. Когда их мало, справляться с такими задачами сравнительно несложно.

Большие данные — это когда информации действительно много: чёткой границы нет, но обычно речь идёт о гигабайтах, если не о терабайтах. Эти массивы могут поступать сразу из множества источников: интернет‑магазинов и социальных сетей, промышленных систем управления качеством, систем видеонаблюдения, устройств интернета вещей.

Данные отличаются по структуре, бывают упорядоченными и нет. Например, история операций по кредитке упорядочена по времени, а характеристики смартфонов на складе можно хранить без строгого порядка.

Плотность данных также может быть разной: одни системы выполняют измерения каждый час, другие — несколько раз в секунду. Соответственно, и объёмы информации отличаются: от нескольких килобайт до сотен гигабайт.

Работать с большими данными вручную сложно: это долго, дорого и неэффективно. Поэтому для анализа таких массивов используют средства автоматической обработки.

Зачем бизнесу анализировать данные

Представьте, что вы управляете продуктовым магазином. Как узнать, чего хочет покупатель? Спросите его — и услышите, какие товары он приобретает чаще, в какое время обычно ходит за покупками.

Но масса деталей останется за кадром. Например, именно аналитики знают, как на покупки влияет заполненность полок, плохая погода, фоновая музыка.

Все эти и другие данные можно собрать и проанализировать. Это поможет супермаркету расставить товар так, чтобы покупатель как можно дольше оставался в торговом зале и обращал внимание на нужные предложения, и пересмотреть график работы кассиров, чтобы уменьшить очереди на кассах. Узнав больше об интересах своих клиентов, магазин сможет оптимизировать закупки и логистику. В результате выручка увеличится, а расходы сократятся.

Найти применение большим данным можно в любой сфере:

• На заводах система компьютерного зрения следит за рабочими. Система заметит, если кто‑то забыл про каску, и напомнит о правилах безопасности.
• В банках анализ больших данных диктует условия кредитов и депозитов, выявляет хакерские атаки и подозрительные операции.
• Городами тоже управляют большие данные. Умные светофоры уменьшают пробки, компьютерное зрение ищет преступников в толпе. С аналитиками советуются, прежде чем построить новую дорогу или центр госуслуг, изменить маршрут автобуса.

На основе данных можно построить модели и проверить гипотезы. Модель — это математическое описание любой ситуации, которое помогает предположить будущее. Например, модель прогнозирования спроса в торговой сети предскажет, как будет меняться востребованность отдельных товаров, поможет скорректировать цены и объёмы закупок. Использование математических описаний обеспечивает поддержку принятия решений на каждом шагу: конкретный результат работы с данными — точный прогноз на будущее.

Чем работа аналитика данных отличается от data scientist

В простых ситуациях можно обойтись без анализа больших данных и использовать банальную логику. Например, если вы заметили, что покупатели с детьми в магазине часто приобретают определённое печенье, то вы можете просто поставить рядом с ним детский сок и тем самым увеличить продажи.

Но на практике всё обычно куда сложнее. Например, как составить оптимальный пакет услуг мобильного оператора и определить цену, которая будет доступной для абонента и принесёт максимальную выгоду компании?

Аналитик может структурировать и обработать данные о рынке мобильной связи, существующих пакетах и расходах абонентов. Он сформулирует и проверит гипотезы, найдёт закономерности и сделает выводы: предложит конкретный состав пакета и его цену.

Более сложными задачами, а также поиском неочевидных закономерностей в данных занимается уже другой специалист — data scientist. Так, вы можете и не подозревать, что покупки связаны между собой. Или что маршруты автомобилей во вторник и в среду отличаются, поэтому пробки образуются в разных районах — хотя, казалось бы, это обычные будние дни.

Для решения таких задач задействуют машинное обучение и искусственный интеллект. Data scientist выбирает конкретные методы, которые позволяют системе учиться на разрозненных данных, делать логичные выводы и прогнозы.

Какие знания и навыки нужны аналитику данных

Прежде всего, технические (hard skills):

• Основы математической статистики. За многими методами анализа стоят статистические законы. Для правильных выводов недостаточно одних данных, нужно пользоваться статистикой: отсекать выбросы, правильно считать среднее значение или медиану, проверять статистические гипотезы.
• Умение создавать программы для анализа данных. Чаще всего в этой области используют язык программирования Python. У него простой и логичный синтаксис, есть немало готовых библиотек — чтобы не изобретать велосипед, а собрать программу из уже существующих функций и блоков.
• Понимание принципов работы реляционных (табличных) баз данных. Массивы информации чаще всего хранятся в них. Чтобы получить сведения из таких источников, нужно знать язык SQL и уметь составлять на нём запросы к базам данных.

Но и человеческие качества (soft skills) имеют значение. Они определяют, насколько вы эффективны в качестве аналитика данных и комфортно ли вам будет работать на такой должности. Пригодятся:

• Желание найти корни проблем. Если вы действительно хотите разобраться в причинах событий и явлений, учиться и работать будет легче и интереснее.
• Умение нестандартно мыслить. Очень странные гипотезы порой находят подтверждение и помогают компаниям заработать миллионы.
• Смелость. Вы можете сколько угодно сомневаться в своих идеях, но лучше проверить их на данных, чем отправить «в стол», лишь бы коллеги не посчитали вас странным.
• Навык задавать правильные вопросы, чтобы получить полезную информацию. Это нарабатывается с опытом.

С какими сложностями сталкиваются студенты на курсе по анализу данных

Аналитик данных — не самая простая профессия. Чтобы стать хорошим специалистам, придётся приложить немало усилий. К чему стоит быть готовым?

• Придётся регулярно выделять время на учёбу. Освоить весь материал в сжатые сроки физически невозможно: здесь надо много читать, запоминать, создавать предсказательные модели, писать код, проводить эксперименты и улучшать их результаты.
• Вы будете постоянно задавать вопросы, и, чтобы получить нужный ответ и не тратить время впустую, необходимо научиться правильно их формулировать.
• Часть информации предстоит искать самостоятельно. Конечно, в интернете есть всё, а ИТ‑сообщество достаточно отзывчиво, но с нестандартными запросами придётся повозиться.
• Порой эксперименты с данными завершаются неудачей: ваша модель не подходит для решения задачи, вы получаете совсем не те результаты, которые ожидали. Это нормально: даже опытные аналитики не всегда достигают цели с первого раза. И это вовсе не повод останавливаться.
• Некоторые темы покажутся совершенно непонятными. Вы можете читать материал снова и снова, но не приблизитесь к сути вопроса. В таких ситуациях помогает переключиться, а позднее вернуться к занятиям — либо попросить помощи у ментора или у других студентов.

Как освоить профессию аналитика данных

Обычно в университетах студенты получают фундаментальные знания, но работодателей интересуют навыки решения практических задач и опыт в нужной области. И если крупные учебные заведения регулярно обновляют программу, рассматривают реальные кейсы и современные инструменты для анализа данных, то вузам поменьше для этого часто не хватает ресурсов. Поэтому студентам приходится самостоятельно искать проекты и задачи, чтобы научиться применять теорию на практике.

Быстрое погружение в профессию и понимание потребностей работодателей даёт почувствовать, какие знания и умения нужны. Формируется привычка самостоятельного поиска решений, примеров, похожих кейсов, нарабатывается опыт, растёт портфолио.

Проверьте, готовы ли вы освоить профессию аналитика данных:

1. Пройдите вводный курс — поймёте, насколько вам интересен анализ данных.
2. Прочитайте отзывы людей, которые уже завершили занятия на курсе по этой профессии и трудоустроились.
3. Изучите программу обучения и задайте вопросы образовательной поддержке курса.
4. Найдите вакансии в своём городе или предложения удалённой работы, изучите требования к специалистам по анализу данным.
5. Взвесьте все за и против. Было ли интересно анализировать данные на вводном курсе? А вакансии кажутся привлекательными? Если всё так, похоже, вам подходит эта профессия.