• Розробка продукту
  • Data science та аналітика

Senior Data Engineer (Prom.ua)

Поділитися

Prom.ua — один з лідерів серед торгових майданчиків в Україні, 60 тис продавців та 112 млн пропозицій, кожна 5-а гривня в уанеті витрачається на prom.ua.

Prom.ua в цифрах:
– 20 млн переглядів сторінок щодня (260 млн подій при цьому),
– 100 млн запитів на пошукову видачу щомісяця,
– Трафік в місяць близько 90 млн сесій,
– В онлайні максимум одночасно 17 тис. користувачів.

 

Data Team займається напрямками:
Обробка великих даних — ми процесимо всю зібрану клієнтську аналітику та перетворюємо це на впорядковані дані, над якими можна будувати продукти та використовувати їх для прийняття рішень.
Стрімінгова аналітика — процесинг даних в реальному часі, для використання в роботі інших сервісів, зокрема антифроду.
Пошук — наша команда супроводжує те, як працює пошук в каталозі та сервіси, пов’язані з забезпеченням його функціонування.
ML сервіси — ми допомагаємо команді дата саєнтистів впроваджувати їхні моделі в продакшн та контролювати справну роботу.
Зараз ми шукаємо людину, яка буде лідити напрямки «Обробка великих даних» та «Стрімінгова аналітика».

 

Проекти та сервіси команди з технічного боку:
Для роботи з великими даними: Python + Pyspark (як фреймворк обробки) + HDFS (як сторедж) + Airflow(шедулер) + JupyterHub і notebooks (середовище для експериментів/тестування гіпотез).
Стрімінгова аналітика: Kafka (як шина даних) + Spark + Scala/Python + Clickhouse/Redis (як стореджі).
Для роботи з пошуком: ElasticSearch (як пошуковий движок) + Python/Kotlin/Java (для написання сервісів/плагінів) + Kafka (як шина даних).
Запуск ML сервісів: Tensorflow/Scikit Learn/Spark MLlib (як фреймворки навчання моделей) + FastAPI/Aiohttp (як фреймворки для веб обгортки) + Annoy/Faiss (для пошуку схожих векторів).

 

Що важливо для даної позиції:
– від 4 років досвіду роботи з Python, вміння оцінювати обчислювальну та ресурсну складність застосованих алгоритмів, розуміння роботи і досвід використання веб фреймворків, досвід роботи з docker & kubernetes.
– досвід роботи з переліченими технологіями одного з напрямків «Обробка великих даних» та «Стрімінгова аналітика»
– бажання набувати експертизи в інших напрямках роботи команди

 

Найближчі задачі:
– Вдосконалення сервісу для проведення АБ тестів.
– Розробка та оптимізація пайплайнів обробки даних.
– Вдосконалення системи обробки великих даних.

 

З нами ви:
– Будете впливати на користувацький досвід мільйонів людей
– Розвиватимете вміння роботи з мікросервісами: як підтримувати їх під значним навантаженням, як реалізувати трейсинг та збирати логи для спостережуваності в такій системі, збирати метрики і використовувати їх для реагування на інциденти, як скейлити вашу реалізацію
– Отримаєте знання та вміння в напрямках, якими займається команда
– Використовуватимете технології описані раніше та впроваджуватимете нові, які найліпше вирішують поставлені завдання.

 

Як у нас проходить підбір на дану позицію?
– Технічна співбесіда з лідом та розробкою (1.5 год).
– Знайомство і співбесіда з продакт менеджером команди (1 год).

Анастасія з People Team

Анастасія

Хочу до вас у команду

Прикріпити резюме

Максимум 1 файл розміром до 5 МБ

ЯКЩО НЕ ЗНАЙШЛИ ВІДПОВІДНУ ВАКАНСІЮ, АЛЕ В МАЙБУТНЬОМУ ХОЧЕТЕ ПРИЄДНАТИСЯ ДО НАШОЇ КОМАНДИ, ВІДПРАВТЕ РЕЗЮМЕ НА [email protected]