-
Категория: Блог
- Автор: Иван Марьин
Учимся работать с вакансиями в Big Data | Part 1
___________________________________
Мы запустили обучающие вебинары с участием высококвалифицированных IT специалистов. Они рассказывают о технологиях, которые используют, о стоящих перед ними задачах и ключевых понятиях в их деятельности Записи видео на канале iChar
7 февраля состоится бесплатный вебинар для рекрутеров по технологии Java. Зарегистрироваться
Цель вебинаров - помочь рекрутерам задавать правильные вопросы на интервью и понимать, подходит ли кандидат на вакансию в данной области, ориентируясь на его опыт, навыки и стек технологий.
___________________________________
Существует множество материалов на эту тему, но они разрознены. Мы собрали и систематизировали их в нашем цикле из трех статей.
В первой (этой) статье мы поговорим о том, что такое Big Data и Data Science, какие удивительные вещи можно делать с их помощью, приведем примеры инструментов для работы с ними и сделаем предположения о ближайшем будущем этого рынка.
Вторая статья будет посвящена профилю кандидатов, работающих с Big Data, и их анализу.
В третьей мы поговорим о том, откуда берутся эти люди и где их этому учат.
Что такое Big Data и Data Science?
Это «наука о больших данных», то есть о том, как управляться с огромными объемами информации, совершать с их помощью открытия, делать точные прогнозы, добывать ценные сведения о поведении людей, рынков или погоды, оптимизировать бизнес и управлять всевозможными процессами в самых разных отраслях. Data Science включает в себя всё: добывание этих массивов данных, их консолидацию и хранение, сортировку и форматирование, разработку программного обеспечения для работы с ним, специальных систем для их анализа и применения, а также — навыки специалистов по такому анализу.
Гигантские объемы информации требуют на самом деле особенных, революционных способов обращения с ними. Уже стали совершенно другими способы хранения данных; облака и виртуализация — только первая ступень в этом процессе, и вскоре мы увидим дальнейшую эволюцию облачных моделей и платформ. Вот и традиционная бизнес-аналитика с такими массивами просто не срабатывает, требуя быстрого, можно сказать, взрывного совершенствования, и перерастая в нечто качественно совершенно иное.
Data Science — рынок сравнительно новый и быстрорастущий, возможности на нем открываются самые увлекательные. Уже появился новый термин — data driven business, бизнес, который меняет свои процессы под воздействием результатов анализа Big Data. В такой компании данные превращаются в главный стратегический актив, а значит — на первый план выходит задача максимально эффективной работы с ними.
Что можно делать с помощью Big Data
Всё что угодно. Первооткрывателем стал финансовый сектор: там анализируют тенденции рынка и результаты торгов, предсказывают по неожиданным факторам поведение заемщиков, сортируют клиентов, формируют новые кредитные предложения и многое-многое другое. Затем стали подтягиваться поисковые системы, которым нужно как можно четче представлять себе, что показывать каждому конкретному пользователю, и предсказывать его интересы на основе вводимой информации.
Популярна Data Science и на телекоммуникационном рынке; эта сфера применения Big Data сильно выросла в США и Европе и набирает обороты в России. Так, МТС широко использует инструменты Big Data для профилирования потребителей интернет-трафика, типов используемых абонентских устройств, круге общения и покупках, стремясь предельно индивидуализировать предложения для каждого клиента. На повестке дня борьба с мошенничеством, разработка новых веб-сервисов, формирующих новые потребности пользователей, геотаргетинг и многое другое.
Метеорологи применяют Data Science для учета поведения заряженных микрочастиц влаги в разреженных слоях атмосферы: оказалось, что оно позволяет предсказывать появление ураганов над Атлантикой.
Рекламщикам пригодился многофакторный мониторинг трафика и поиск оптимальных мест для размещения наружки — именно там, где текут наиболее интенсивные потоки не просто людей, а потребителей данной конкретной рекламы, что в разы увеличивает эффективность каждого щита.
Кстати, вот еще отличный пример радикальной новизны Data Science по сравнению с традиционными инструментами: Smarking, система, которая предсказывает наличие парковочных мест. Она не просто информирует о том, где места свободны, но делает это «в будущем» - то есть, может просигналить, что мест нет, когда они еще есть, но скоро не будет (то есть, клиент не успеет их занять). Вот в этом «на пять секунд раньше» - вся соль инструментов Data.
Особенный интерес представляют инструменты типа Data Mining для поиска скрытых закономерностей в накопленных массивах информации. Эти скрытые закономерности позволяют как оптимизировать внутренние процессы, так и прогнозировать внешние. Появляются все более утонченные инструменты анализа «больших данных», например, так называемая аналитическая экосистема, позволяющая бизнесу использовать любые данные в любое время для любых задач. Актуальны инструменты обработки данных в режиме реального времени (Realtime Data), особенно такие, которые предсказывают эффективность коммуникации с пользователем по истории его реакции на конкретные виды и каналы коммуникации.
Куда будет расти рынок Big Data
По разным прогнозам, к 2018 году рынок Big Data (вернее, просто Data, потому что другие способы пользования данными будут постепенно трансформироваться) составит до 48-55 млрд долларов и в ближайшие годы будет расти в шесть раз быстрее всей IT-отрасли в целом. Российский рынок, который еще далек от насыщения, будет расти примерно на 50% в год. На данный момент, по исследованиям CNews, подобные технологии используются в 20% российских компаний, еще 17% начинают их внедрять, и более трети от оставшихся — рассматривают такую возможность. Вовсю работают биржи, где агрегаторы данных (такие как Mail.ru или «Вымпелком») встречаются с их потребителями и налаживают техническое сотрудничество. Похоже, что опоздавшие к Big Data компании будут зарабатывать намного меньше своих более шустрых конкурентов, если вообще останутся на плаву. Таким образом, специалисты по Big Data будут востребованы, и главный вопрос в том — хватит ли их на рынке, и насколько серьёзно спрос на них будет превышать предложение. Но более подробно об этом мы расскажем в нашей следующей статье.
Дальше будет интереснее!
Оставайтесь с нами, Ваш iChar.
Читать также Учимся работать с вакансиями в Big Data | Part 2
