Категория: Блог
Автор: Иван Марьин

Учимся работать с вакансиями в Big Data | Part 1

___________________________________

Мы запустили обучающие вебинары с участием высококвалифицированных IT специалистов. Они рассказывают о технологиях, которые используют, о стоящих перед ними задачах и ключевых понятиях в их деятельности Записи видео на канале iChar

7 февраля состоится бесплатный вебинар для рекрутеров по технологии Java. Зарегистрироваться

Цель вебинаров - помочь рекрутерам задавать правильные вопросы на интервью и понимать, подходит ли кандидат на вакансию в данной области, ориентируясь на его опыт, навыки и стек технологий.

___________________________________

Существует множество материалов на эту тему, но они разрознены. Мы собрали и систематизировали их в нашем цикле из трех статей.

В первой (этой) статье мы поговорим о том, что такое Big Data и Data Science, какие удивительные вещи можно делать с их помощью, приведем примеры инструментов для работы с ними и сделаем предположения о ближайшем будущем этого рынка.

Вторая статья будет посвящена профилю кандидатов, работающих с Big Data, и их анализу.

В третьей мы поговорим о том, откуда берутся эти люди и где их этому учат.

 

Что такое Big Data и Data Science?

Это «наука о больших данных», то есть о том, как управляться с огромными объемами информации, совершать с их помощью открытия, делать точные прогнозы, добывать ценные сведения о поведении людей, рынков или погоды, оптимизировать бизнес и управлять всевозможными процессами в самых разных отраслях. Data Science включает в себя всё: добывание этих массивов данных, их консолидацию и хранение, сортировку и форматирование, разработку программного обеспечения для работы с ним, специальных систем для их анализа и применения, а также — навыки специалистов по такому анализу.

Гигантские объемы информации требуют на самом деле особенных, революционных способов обращения с ними. Уже стали совершенно другими способы хранения данных; облака и виртуализация — только первая ступень       в этом процессе, и вскоре мы увидим дальнейшую эволюцию облачных моделей и платформ. Вот и традиционная бизнес-аналитика с такими массивами просто не срабатывает, требуя быстрого, можно сказать, взрывного совершенствования, и перерастая в нечто качественно совершенно иное.

Data Science — рынок сравнительно новый и быстрорастущий, возможности на нем открываются самые увлекательные. Уже появился новый термин — data driven business, бизнес, который меняет свои процессы под воздействием результатов анализа Big Data. В такой компании данные превращаются в главный стратегический актив, а значит — на первый план выходит задача максимально эффективной работы с ними.

 

Что можно делать с помощью Big Data

Всё что угодно. Первооткрывателем стал финансовый сектор: там анализируют тенденции рынка и результаты торгов, предсказывают по неожиданным факторам поведение заемщиков, сортируют клиентов, формируют новые кредитные предложения и многое-многое другое. Затем стали подтягиваться поисковые системы, которым нужно как можно четче представлять себе, что показывать каждому конкретному пользователю, и предсказывать его интересы на основе вводимой информации.

Популярна Data Science и на телекоммуникационном рынке; эта сфера применения Big Data сильно выросла в США и Европе и набирает обороты в России. Так, МТС широко использует инструменты Big Data для профилирования потребителей интернет-трафика, типов используемых абонентских устройств, круге общения и покупках, стремясь предельно индивидуализировать предложения для каждого клиента. На повестке дня борьба с мошенничеством, разработка новых веб-сервисов, формирующих новые потребности пользователей, геотаргетинг и многое другое.

Метеорологи применяют Data Science для учета поведения заряженных микрочастиц влаги в разреженных слоях атмосферы: оказалось, что оно позволяет предсказывать появление ураганов над Атлантикой.

Рекламщикам пригодился многофакторный мониторинг трафика и поиск оптимальных мест для размещения наружки — именно там, где текут наиболее интенсивные потоки не просто людей, а потребителей данной конкретной рекламы, что в разы увеличивает эффективность каждого щита.

Кстати, вот еще отличный пример радикальной новизны Data Science по сравнению с традиционными инструментами: Smarking, система, которая предсказывает наличие парковочных мест. Она не просто информирует о том, где места свободны, но делает это «в будущем» - то есть, может просигналить, что мест нет, когда они еще есть, но скоро не будет (то есть, клиент не успеет их занять). Вот в этом «на пять секунд раньше» - вся соль инструментов Data.

Особенный интерес представляют инструменты типа  Data Mining для поиска скрытых закономерностей в накопленных массивах информации. Эти скрытые закономерности позволяют как оптимизировать внутренние процессы, так и прогнозировать внешние. Появляются все более утонченные инструменты анализа «больших данных», например, так называемая аналитическая экосистема, позволяющая бизнесу использовать любые данные в любое время для любых задач. Актуальны инструменты обработки данных в режиме реального времени (Realtime Data), особенно такие, которые предсказывают эффективность коммуникации с пользователем по истории его реакции на конкретные виды и каналы коммуникации.

 

Куда будет расти рынок Big Data

По разным прогнозам, к 2018 году рынок Big Data (вернее, просто Data, потому что другие способы пользования данными будут постепенно трансформироваться) составит до 48-55 млрд долларов и в ближайшие годы будет расти в шесть раз быстрее всей IT-отрасли в целом. Российский рынок, который еще далек от насыщения, будет расти примерно на 50% в год. На данный момент, по исследованиям CNews, подобные технологии используются в 20% российских компаний, еще 17% начинают их внедрять, и более трети от оставшихся — рассматривают такую возможность. Вовсю работают биржи, где агрегаторы данных (такие как Mail.ru или «Вымпелком») встречаются с их потребителями и налаживают техническое сотрудничество. Похоже, что опоздавшие к Big Data компании будут зарабатывать намного меньше своих более шустрых конкурентов, если вообще останутся на плаву. Таким образом, специалисты по Big Data будут востребованы, и главный вопрос в том — хватит ли их на рынке, и насколько серьёзно спрос на них будет превышать предложение. Но более подробно об этом мы расскажем в нашей следующей статье.

https://vk.com/ichar

Дальше будет интереснее!

Оставайтесь с нами, Ваш iChar.

Читать также Учимся работать с вакансиями в Big Data | Part 2

Читать также Где учат на Data Scientist | Part 3