Является ли Pentaho ETL и Data Analyzer хорошим выбором?

Pentaho кажется довольно надежным, предлагая весь набор инструментов BI с улучшенной интеграцией, как сообщается, в пути. Но... есть вероятность, что компании, желающие пойти по пути открытого исходного кода для своего решения BI, также, скорее всего, в конечном итоге будут использовать технологию базы данных с открытым исходным кодом... и в в этом смысле "независимая от базы данных" легко может быть обоюдоострым мечом. Например, вы можете разработать куб в службах Microsoft Analysis Services, зная, что любые MDX/XMLA, которые ваш куб отправляет в базу данных, будут последовательно обрабатываться, и неприятных сюрпризов будет очень мало.

Сравните это со стеком Pentaho, который обычно прекращает взаимодействие с Postgresql или Mysql. Я не могу поручиться за то, как Postgresql работает в сфере OLAP, но по опыту знаю, что Mysql — при всех его несомненных достоинствах — имеет «проблемы» с типами SQL, которые обычно возникают повсюду в решении OLAP. (в кубе далеко не уедешь, не используя GROUP BY или COUNT DISTINCT). Таким образом, часть того, что вы сэкономите на лицензионных расходах, почти наверняка будет использовано для решения проблем, возникающих из-за того, что Pentaho не всегда знает, с какой базой данных он разговаривает - так сказать, ограбить Питера, чтобы (хотя бы частично) заплатить Полу.

К сожалению, нужно больше информации. Например:

• вам нужно будет обмениваться данными с известными приложениями (Oracle Financials, Remedy и т. д.)? Если это так, вы можете сэкономить массу времени и денег с помощью решения ETL, которое уже имеет встроенную поддержку этого интерфейса.
• с какими продуктами баз данных (и их версиями) и типами файлов вам нужно поговорить?
• вам нужно поддерживать запросы веб-сервисов?
• вам нужна передача данных почти в реальном времени?
• вам нужен аудит и подсчет на уровне правил для учета каждой отдельной строки
• Вам нужна дельта-обработка?
• на каких машинах вам это нужно? линукс? окна? мэйнфрейм?
• Каким процессам контроля версий, тестирования и сборки должен соответствовать этот инструмент?
• какая производительность и масштабируемость вам нужны?
• Вы не возражаете, если база данных в конечном итоге будет управлять преобразованиями?
• вам нужно, чтобы это работало в пользовательском пространстве?
• вам нужно запускать его части в разных сетях, отключенных от остальных? (не редкость для процессов извлечения)
• сколько интерфейсов и какой сложности вам нужно поддерживать?

Вы можете потратить много времени на развертывание и изучение инструмента ETL, но обнаружите, что он действительно не очень хорошо соответствует вашим потребностям. Лучше сначала потратить пару часов, чтобы понять это.

Раньше я использовал Talend с некоторым успехом. Вы создаете свой перевод, объединяя операции в графическом дизайнере. Были определенно некоторые WTF, и было трудно иметь дело с многострочными записями, но в остальном это работало хорошо.

Talend также генерирует Java, и вы можете получить удаленный доступ к процессам ETL. Инструмент также бесплатен, хотя они обеспечивают обучение и поддержку предприятия.

Есть много вариантов. Посмотрите на BIRT, Talend и Pentaho, если вам нужны бесплатные инструменты. Если вам нужна гораздо большая надежность, посмотрите на Tableau и BIRT Analytics.