Шлях до BigData. Частина друга: досвід GlobalLogic

Автор: Олександр Федірко, Solution Architect, Trainer, GlobalLogic Ukraine

Минулого разу ми розібрали, які шляхи існують для тих, хто хоче приєднатись до BigData-спільноти та стати ентузіастом “великих даних”. У цій колонці ми докладніше розберемо досвід команди GlobalLogic: розкажемо про наші проєкти та курси GL BigData ProCamp.

Чим GL BigData ProCamp відрізняється від онлайн-курсів?

Найцінніше у GL ProCamp — це, звісно, можливість поспілкуватися з експертами-практиками, отримати чимало лайфхаків та дізнатись про найкращі практики, що використовуються на реальних проєктах.

GlobalLogic має клієнтів в різних областях: маркетинг, продажі, роботизація, фінансові установи, Automotive, IoT. На проєктах ми будуємо платформи для аналізу даних та співпрацюємо з іншими технологічними напрямками (DevOps, Embedded, Data Science, QA) для створення якісних рішень.

Наведу декілька прикладів:

• Один з маркетингових проєктів розв’язує задачу MTA (Multi Touch Attribution), в рамках якої поєднує онлайн-рекламу з офлайн-покупками в магазинах. Це дозволяє великим компаніям-виробникам продукції для супермаркетів краще планувати свої рекламні кампанії, та розуміти, яка саме реклама більше впливає на кінцеве рішення споживача.
• Інший приклад: кожного разу, коли ви відвідуєте будь-який сайт, на ньому з’являється реклама. Як це відбувається? Як сайт знає, яку саме рекламу показувати? Відразу після того, як ви потрапили на сайт, за дуже короткий проміжок часу (10–20 мс) відбуваються торги за право показу рекламного блоку. Торги відбуваються на платформах Ad Exchange. Саме одну з таких платформ розробляють інженери GlobalLogic.
• Ще один приклад. Проєкт фокусувався на обробці даних в контексті безпеки. У клієнта є розвинена інфраструктура, приблизно 50 000 пристроїв (персональні комп’ютери, роутери, сервери і т.п.). Завданням було розробити систему, що в режимі реального часу зможе виявляти кіберзагрози та сповіщати про них операторів. Одним з головних викликів було те, що система була повинна обробляти до 1 000 000 подій за секунду. Вся інфраструктура була розгорнута в Google Cloud та мала властивості автоматичного масштабування.
• Мабуть, найбільш інноваційними проєктами в контексті великих даних є проєкти, що пов’язані з інтернетом речей: саме розумні девайси продукують велику кількість даних. Так, на одному з проєктів інженери GlobalLogic підтримують аналітичну платформу, що збирає інформацію з 750 000 пристроїв по США для більш ніж 1 000 000 клієнтів. Інформація збирається, агрегується та на основі цього аналізу кінцевим користувачам надаються рекомендації щодо покращення їх здоров’я.

Яку базу необхідно мати, щоб розпочати вивчення BigData? Чи є можливість приєднатися до команди після закінчення GL BigData ProCamp?

Початкові вимоги для цього курсу досить невисокі. Якщо ви знаєте Python чи будь-яку іншу мову програмування — цього вже досить. Проте пам’ятайте, що після кожного курсу варто закріпити навички. Тож знайдіть собі pet project. Будь-яка можливість застосувати навички та знання з курсів на практичних задачах допоможе вам їх опанувати.

Якщо ви закінчили наш курс і маєте хороший рейтинг та фідбек від тренерів GL BigData ProCamp, ви отримаєте пропозицію спробувати себе на позиції та проєкті, що найкраще підходять для вашого профілю.

Які вимоги до інженерів BigData в GlobalLogic?

Критичним є знання SQL як одного з основних інструментів аналізу та маніпулювання даними. На більшості проєктів зустрічається Spark, тож знання цього фреймворку дуже актуальне.

Також потрібна компетентність в наступних питаннях:

• Spark job performance optimization.
• Розподілені обчислення в цілому та дизайн сховищ даних.
• Якісне впровадження програмного забезпечення, як то CI/CD: що це таке та як з цим стикається інженер.
• Оркестрації процесів ETL.
• Базові питання щодо обробки stream-даних.
• Робота з різними типами сховищ даних, як то columnar storage/document oriented/key-value/graph.

На закінчення скажу, що попит на інженерів BigData невпинно зростає. Тож ким би ви не працювали — Java-розробником, QA-інженером або DevOps — вміння вправлятись із великими даними вигідно розширить ваш профіль як спеціаліста та значно підвищить вашу конкурентоспроможність на ринку.

Наприклад, якщо ви Embedded-інженер, то BigData є одним із перспективних шляхів розширення вашої спеціалізації, адже IoT тісно пов’язаний зі збиранням, обробкою та зберіганням даних з пристроїв. Тож не вагайтесь, відкривайте для себе світ BigData вже сьогодні – реєструйтесь на GL BigData ProCamp!