Панель управления для совместных проектов в области науки и обработки данных

Серверы непрерывной интеграции, такие как Hudson, являются отличным дополнением к разработке программного обеспечения. Я работаю в академической исследовательской лаборатории, и мне бы хотелось применить аналогичные принципы к анализу научных данных. Я хочу получить представление о том, какие коллекции данных в порядке, какие из них не проходят тесты (в основном, простые сценарии оболочки) и т. Д., Как на панели управления. Очень похоже на панель управления Chromium (ВНИМАНИЕ: страница загружается долго).

Требуется работа как минимум 4 человек и, возможно, 10 или 12 часов компьютерного времени, чтобы привести наши данные (из поведенческих исследований) из исходной формы в окончательную, легко анализируемую форму. Я пробовал Hudson и buildbot, но ни один из них не подходит для нашего рабочего процесса. Мы просто хотим провести несколько тестов, возможно, на пятидесяти независимых наборах предметных данных и красиво отобразить результаты.

ТАК! Есть ли у кого-нибудь рекомендации, как легко создать такой отчет? Или вы можете придумать хороший способ встроить такой рабочий процесс в сервер непрерывной интеграции? Или вы можете порекомендовать инструментальную панель модульного тестирования, которая могла бы иметь дело с тестами, которые представляют собой небольшие сценарии оболочки, а не небольшие функции?

Спасибо!


person rescdsk    schedule 19.03.2010    source источник
comment
В физике элементарных частиц мы создаем такие системы. Но с ними обращаются так, чтобы они отвечали конкретным требованиям каждого эксперимента, и для их запуска и запуска требуется много человеческих ресурсов.   -  person dmckee --- ex-moderator kitten    schedule 20.03.2010


Ответы (2)


Я предполагаю, что ваши данные меняются ежедневно, и поэтому вы хотите запускать те же тесты на новых пакетах данных на индивидуальной основе.

Buildbot может запускать тесты, которые являются сценариями оболочки. Вам просто нужно написать немного Python, чтобы расширить Buildbot, чтобы это произошло. При этом, если вы не хотите использовать Buildbot или Hudson и просто хотите запускать свои тесты каждые 24 часа или около того, вы можете установить свои скрипты как задания cron или написать мастер-скрипт, который будет запускать все ваши тесты и устанавливать это как задание cron. Учитывая, что вам, вероятно, придется написать что-то, что будет генерировать результаты вашего теста в HTML, если вам все равно нужна какая-то панель мониторинга, пусть ваш мастер-скрипт сгенерирует это и использует apache, twistd или что-то еще.

В противном случае мне неизвестны системы CI, которые будут делать что-то иначе, чем Buildbot или Hudson.

person saramah    schedule 19.03.2010
comment
Ага, вот о чем я подумал: - / - person rescdsk; 22.03.2010

Оформить заказ https://my.infocaptor.com

Это может сработать для ваших нужд. Вы можете агрегировать информацию в электронной таблице Google, предварительно суммировать их в своей собственной базе данных или напрямую обращаться к ней.

В качестве живого примера мы открыто отслеживаем собственные метрики на главной странице. Эта панель инструментов собирает информацию из базы данных SAAS mysql в режиме реального времени.

Существует множество готовых адаптеров, и для индивидуальных нужд вы можете написать сценарий на своем веб-сервере, а затем связать его с инфокаптором, используя http post http://infocaptor.com/help/http_post.htm

person Nilesh    schedule 07.06.2012