Яндекс открывает исходный код YTsaurus — своей главной платформы для работы с большими данными
Яндекс опубликовал исходный код YTsaurus.
Большинство сервисов Яндекса работает на основе данных, которые здесь хранятся и обрабатываются.
При этом ее возможности очень широкие. Аналитика и обучение сложных моделей с миллиардами параметров — вот лишь некоторые возможности.
Яндекс реализует в Поиске с помощью YTsaurus поисковый индекс. Беспилотные автомобили через эту платформу обрабатывают данные о поездках, оптимизируют алгоритмы.
YTsaurus управляет суперкомпьютерами Яндекса, распределяя нагрузку так, чтобы их вычислительные мощности использовались наиболее эффективно.
«Яндекс ведёт разработку YTsaurus — или YT, как мы называем её внутри — с 2010 года. Мы начали строить собственную экосистему для больших данных, потому что ни одно из имевшихся на рынке решений не удовлетворяло всем нашим требованиям. Сейчас YTsaurus — один из ключевых элементов внутренней инфраструктуры Яндекса. Над платформой работают десятки разработчиков, и её возможности постоянно расширяются», — рассказыват руководитель отдела технологий распределённых вычислений Максим Бабенко.
YTsaurus — легко масштабируемая платформа, при этом она отказоустойчивая. Здесь хранятся и обрабатываются экзабайты данных. Заняты десятки тысяч серверов. Обращается к платформе каждый второй сотрудник компании.
YTsaurus можно использовать как классическую MapReduce-систему. Есть возможность поддержки и других популярных методов и подходов в обработке данных, в том числе есть интеграции с ClickHouse и Apache Spark. Подробнее о возможностях YTsaurus рассказывается в блоге Яндекса на «Хабре».
«Платформа YTsaurus отлично зарекомендовала себя в Яндексе. Теперь мы сделали её доступной и за его пределами. Наибольшую пользу YTsaurus может принести крупным компаниям, которые обрабатывают гигантские объёмы данных на тысячах серверов в условиях постоянно возрастающей нагрузки. Мы уверены, что публикация кода выведет платформу на новый виток развития, как это уже было с другими нашими продуктами», — говорит руководитель Yandex Cloud Алексей Башкеев.
Исходный код и документация YTsaurus доступны на GitHub. Код распространяется под лицензией Apache 2.0. Использовать платформу или доработать её под себя может любой желающий.
