Давным-давно интернет-компания LinkedIn столкнулась с проблемой наличия петабайтов связанных данных без возможности их анализа в режиме реального времени. Поскольку это была первая проблема в своем роде, было только одно решение. Компания собрала талантливую команду инженеров и поручила им создать подходящий инструмент для работы. Сегодня этот инструмент носит название Apache Pinot.
Пино вошел в легендарное наследие инноваций, появившихся в одной из крупнейших социальных сетей в мире. За несколько десятилетий технический гигант Кремниевой долины помог сотням миллионов людей по всему миру сориентироваться в своей карьере. Теперь, как компания Microsoft, LinkedIn пережила и продолжает поддерживать связь между коллегами благодаря неизбежным успехам и неудачам, которые связаны с хорошей карьерой.
И поначалу может показаться странным, что функция под названием Кто просматривал мой профиль может привести к появлению некоторых из самых популярных инструментов с открытым исходным кодом, которые меняют способ создания и эксплуатации программного обеспечения компаниями.
Pinot - это последний инкубированный проект Apache, который следует по стопам таких гигантов, как Kafka, Helix и Samza, первый из которых быстро становится столпом облачных приложений. Если программное обеспечение действительно пожирает мир, вполне вероятно, что Apache Kafka может быть ответственным за потребление частного центра обработки данных.
До того, как Kafka выступил на сцене в качестве стандартного отраслевого брокера сообщений, у крупных компаний, у которых были проблемы с программным обеспечением, не было другого выбора, кроме как использовать собственное оборудование. Но сегодня с помощью таких инструментов с открытым исходным кодом, как Kafka, разработчики могут преодолеть разрыв между виртуальными машинами в центре обработки данных и облачными приложениями.
Секрет Кафки? Превратите потоки событий, собранные из множества различных отключенных систем, в темы, которые можно запрашивать как базу данных, не превращаясь в одну.
Хотя Kafka представляет собой серьезный шаг вперед как своего рода портативное хранилище данных, большинству разработчиков приложений все еще трудно преобразовать потоки событий в сложные модели запросов, не изучая тонкости потоков Kafka.
Теперь Пино стремится сделать еще один шаг вперед, переместив стек вверх от Kafka и предоставив разработчикам знакомство с базой данных, которая превращает потоки событий в модели данных, доступные для запросов. Конечным результатом является то, что разработчикам остается на одну проблему меньше, о чем нужно беспокоиться, когда дело доходит до создания и эксплуатации своих приложений - они пользуются всеми преимуществами Kafka - но сосредотачиваются только на написании кода, который является наиболее ценным для пользователей.
Поскольку Kafka является и брокером сообщений, и журналом транзакций, он часто используется в качестве базы данных, что возлагает на разработчиков бремя поддержки прогнозов данных, полученных из потоков событий, находящихся в разделах.
Pinot предлагает инструмент, который избавляет разработчиков от необходимости беспокоиться об использовании тем Kafka для создания и поддержки прогнозируемых прогнозов из потоков событий. Потому что, как выясняется, беспокойство о потоках событий - это еще одна вещь, которая замедляет процесс разработки за счет сохранения переносимости данных.
