Как можно заставить Snakemake обновлять файлы иерархически на основе правил, когда новый файл появляется внизу иерархии?

Snakemake не запускает автоматически повторные запуски при добавлении новых входных файлов (например, сэмплов) в DAG. Однако вы можете обеспечить это, как указано в FAQ.

Причина, по которой это не делается по умолчанию, в основном заключается в согласованности: для этого Snakemake должен хранить метаинформацию. Следовательно, если метаинформация будет потеряна, вы будете вести себя иначе, чем если бы она была там. Однако я могу изменить это в будущем. Однако с такими фундаментальными изменениями я обычно очень осторожен, чтобы не забыть встречный пример, в котором текущее поведение по умолчанию является преимуществом.

Помните, что snakemake хочет удовлетворить зависимость первого правила и строит граф, протягивая дополнительные зависимости через остальную часть графа, чтобы удовлетворить эту начальную зависимость. Прикоснувшись к test2.txt, вы удовлетворили зависимость для первого правила, поэтому больше ничего делать не нужно. Даже с -R A больше ничего не нужно запускать, чтобы удовлетворить зависимость правила A - файлы уже существуют.

Snakemake определенно делает то, что вы хотите (добавляйте новые образцы, и весь граф правил запускается на этих образцах), и вам не нужно индивидуально вызывать каждое правило, но мне кажется, что вы можете неправильно думать о зависимостях. Я не уверен, что полностью понимаю, где ваши новые образцы вписываются в приведенный вами пример tst, но я вижу по крайней мере две возможности.

Зависимость вашего графика работает D->C->B->A, поэтому, если вы думаете, что добавили новые входные данные вверху (т. Е. Новый образец как test5.txt в правиле D), вы должны быть уверены, что у вас есть зависимость на конечной точке ( test2.txt в правиле А). Прикоснувшись к test2.txt, вы только что завершили свой конвейер, поэтому никаких зависимостей не существует. Если touch test5.txt (это ваши новые данные), то ваш пример работает и весь график работает.

Поскольку вы коснулись test1.txt и test2.txt в выполнении примера, возможно, вы хотели, чтобы они представляли новые образцы. Если это так, то вам нужно переосмыслить свой граф зависимостей, потому что их добавление не создает зависимости от остальной части графа. В вашем примере файл test2.txt - это ваша терминальная зависимость (последняя зависимость вашего рабочего процесса, а не вход в него). В вашем tst примере новые данные должны поступать как test5.txt в качестве входных данных для правила D (верхняя часть вашего графика) и проходить через граф зависимостей, чтобы удовлетворить входную зависимость правила A, которая равна test2.txt. Если вы думаете о test1.txt или test2.txt в качестве нового ввода, тогда вам нужно помнить, что snakemake протягивает данные через граф для удовлетворения зависимостей в нижней части графика, а не проталкивает данные сверху вниз. Запустите snakemake -F --rulegraph и убедитесь, что график работает D->C->B->A и поэтому должны поступать новые данные в качестве входных данных для правила D и протягиваться через график в качестве зависимости от правила A.