Разработчик в команду потоковых и федеративных запросов YDB

YDB — это распределенная отказоустойчивая реляционная база данных с открытым исходным кодом, которая сочетает высокую доступность, масштабируемость и производительность. Вместе с сопутствующим стеком serverless-технологий YDB позволяет организовать систему хранения и обработки данных для самых сложных и требовательных приложений.

Также YDB — это платформа для создания инфраструктурных компонентов. Мы предлагаем пользователям не только надежные транзакции поверх таблиц, но и готовые решения на основе самого движка: персистентные очереди, федеративные запросы, сетевые диски для виртуальных машин (Yandex Network Block Store) и другое.

YDB используется в Маркете, Такси, Банке, Алисе и других сервисах Яндекса. Мы уже умеем обрабатывать миллионы запросов в секунду и надежно хранить петабайты данных. На базе YDB построены решения для доставки платежных данных в биллинг Яндекса и хранения логов в Yandex Cloud.

Наша команда разрабатывает облачный сервис Yandex Query и движок федеративных запросов в YDB. Yandex Query предназначен для анализа данных в Object Storage и потоковых данных из шины Yandex Data Streams с помощью SQL-запросов. Ближайшие аналоги нашего сервиса: AWS Athena, Microsoft Azure, Apache Flink, Google Cloud Dataflow.

Отличительные характеристики Yandex Query:

• федеративность — возможность работы с разными типами источников в одном запросе;
• гибридность — совмещенный синтаксис для стриминговых и батч-запросов;
• serverless — возможность работы с данными без предварительного заказа и выделения вычислительных мощностей;
• масштабируемость — один запрос может выполняться на нескольких узлах кластера;
• отказоустойчивость — отказ отдельных узлов и даже дата-центров не повлияет на работу пользователей.

Какие задачи вас ждут:

• Разрабатывать core-engine-процессинг
• Продумывать безопасность работы пользовательского кода в облачном контуре
• Отвечать за интеграцию с разнородными хранилищами данных
• Решать сложные задачи в области распределенных систем и обработки данных в реальном времени

Больше о том, что под капотом платформы Yandex Cloud, — в канале Inside Yandex Cloud

Мы ждем, что вы:

• Пишете на С++ более трех лет
• Знаете базовые алгоритмы и структуры данных
• Понимаете парадигму многопоточности, знакомы с основными подходами, проблемами и ограничениями в этой области

Будет плюсом:

• Работали с системами виртуализации и контейнеризации (k8s), с высоконагруженными распределенными системами или другими облачными или serverless-платформами