Python-разработчик в Yandex DataLens

DataLens — облачный сервис визуализации и анализа данных. Он широко используется как внутри Яндекса, так и за его пределами: в составе платформы Yandex Cloud.

Сервис позволяет подключаться ко множеству различных источников данных, строит поверх них абстракции в виде датасетов и предоставляет инструменты для отображения этих данных в нужном виде. На входе — исходные данные, на выходе — красивые и удобные дашборды.

Ядро сервиса разрабатывается в опенсорсе с открытой лицензией.

Бэкенд DataLens решает следующие задачи:

• Работа со множеством источников данных (БД, внешние API, онлайн-таблицы, загружаемые файлы) и предоставление единого интерфейса для получения разнородных данных
• Формирование сложных SQL-запросов на лету: мы предоставляем простой для использования язык описания формул, который за кулисами преобразуется в оптимальные запросы с учетом особенностей конкретного источника данных
• Фоновая обработка данных из файлов и онлайн-таблиц с использованием очередей задач
• Обеспечение безопасности данных и инфраструктуры: отдельные операции изолируются в специализированных средах исполнения

Чтобы больше узнать о сервисе, вы можете посмотреть краткий проморолик или более подробное демо.

Мы ищем опытных Python-разработчиков. Ждем и тех, кто отлично владеет другими языками и готов перейти на Python. У нас живой и дружный коллектив, мы вместе формулируем цели и принимаем решения. Присоединяйтесь!

Какие задачи вас ждут:

Строить гибкий API для решения задач анализа данных, оптимизировать построение модели данных

Датасеты — это способ объединить большое количество данных в модель, которая независимо от источника данных позволяет строить запросы к нему благодаря универсальному API. Датасеты должны быстро работать с любым количеством полей: это достигается различными оптимизациями и несколькими уровнями кеширования. Помимо развития API датасетов, мы также наполняем сервис и другими возможностями, улучшающими пользовательский опыт (это, к примеру, экспорты, алертинг, публичный API).

Разрабатывать коннекторы для подключения к новым источникам

Мы постоянно увеличиваем набор доступных коннекторов к источникам данных, чтобы покрывать больше сценариев аналитики. Задача подключения каждого нового источника по-своему уникальна: необходимо не только разобраться в тонкостях его работы, но и продумать взаимодействие с коннектором с точки зрения пользователя.

Работать над масштабированием, стабильностью и скоростью работы сервиса

Наша команда отвечает за все этапы жизни сервиса, от проектирования и разработки до развертывания и поддержания работоспособности всех окружений. Мы сами обслуживаем как DataLens внутри Яндекса — одну из крупнейших инсталляций среди подобных инструментов, так и DataLens в Yandex Cloud — крупнейший облачный сервис аналитики и визуализации в России. Оптимизация пайплайнов CI/CD, улучшение инструментов мониторинга, развитие средств диагностики без прямого доступа к инсталляции и данным пользователей — в наших планах всегда находится место для актуальных инфраструктурных задач.

Развивать ядро сервиса в опенсорсе, чтобы открыть новые возможности для его расширения

Чтобы каждый желающий мог добавить в сервис новый коннектор или иную функциональность, собрать и настроить систему под свои требования, необходимо поддерживать и развивать модульную архитектуру кода: выделять общие части, предоставляя точки для расширения.

Больше о том, что под капотом платформы Yandex Cloud, — в канале Inside Yandex Cloud

Мы ждем, что вы:

• Разрабатывали на Python или готовы перейти на него с другого языка
• Работали с реляционными базами данных
• Строили и поддерживали отказоустойчивые системы

Будет плюсом:

• Работали с Flask, AIOHTTP, SQLAlchemy
• Знакомы с Docker, Terraform, Kubernetes
• Работали с другими облаками
• Интересуетесь анализом и визуализацией данных и работали с другими BI-системами