py2app собирает .git подкаталог пакета во время сборки

Я добавляю ответ на свой вопрос, чтобы задокументировать единственное, что я нашел работающим до сих пор. Мой подход заключался в том, чтобы обезвреживать distutils, чтобы игнорировать определенные шаблоны при создании каталога или копировании файла. Это действительно не то, что я хотел сделать, но, как я уже сказал, это единственное, что работает до сих пор.

## setup.py ##

import re

# file_util has to come first because dir_util uses it
from distutils import file_util, dir_util

def wrapper(fn):
    def wrapped(src, *args, **kwargs):
        if not re.search(r'/\.git/?', src):
            fn(src, *args, **kwargs) 
    return wrapped       

file_util.copy_file = wrapper(file_util.copy_file)
dir_util.mkpath = wrapper(dir_util.mkpath)

# now import setuptools so it uses the monkeypatched methods
from setuptools import setup

Надеюсь, кто-то прокомментирует это и расскажет мне о подходе более высокого уровня, чтобы избежать этого. Но на данный момент я, вероятно, оберну это в служебный метод, такой как exclude_data_patterns(re_pattern), для повторного использования в моих проектах.

Я вижу два варианта исключения каталога .git.

1. Создайте приложение из «чистой» проверки кода. При развертывании новой версии мы всегда строим из нового svn export на основе тега, чтобы гарантировать, что мы не получим ложные изменения/файлы. Вы можете попробовать эквивалент здесь, хотя эквивалент git кажется несколько более участие.

2. Измените файл setup.py, чтобы указать файлы, включенные в приложение. Это можно сделать с помощью функции exclude_package_data, как описано в документах, или создайте список data_files и передайте его setup.

Что касается того, почему это внезапно начало происходить, может помочь знание используемой вами версии py2app, а также знание содержимого вашего setup.py и, возможно, того, как это было сделано (вручную или с помощью py2applet).

У меня есть аналогичный опыт работы с Pyinstaller, поэтому я не уверен, что это применимо напрямую.

Pyinstaller создает «манифест» всех файлов, которые будут включены в дистрибутив, перед запуском процесса экспорта. Вы можете «массировать» этот манифест, согласно второму предложению Марка, чтобы исключить любые файлы, которые вы хотите. Включая что-либо внутри .git или самого .git.

В конце концов, я остановился на проверке своего кода перед созданием двоичного файла, поскольку раздувался не только .git (например, документы UML и необработанные файлы ресурсов для Qt). Проверка гарантировала чистый результат, и у меня не возникло проблем с автоматизацией этого процесса вместе с процессом создания установщика для двоичного файла.

На это есть хороший ответ, но у меня есть более сложный ответ, чтобы решить упомянутую здесь проблему с подходом белого списка. Чтобы патч для обезьяны также работал для пакетов вне site-packages.zip, мне пришлось также установить патч для обезьяны copy_tree (поскольку он импортирует copy_file внутри своей функции), это помогает в создании отдельного приложения.

Кроме того, я создаю рецепт белого списка, чтобы пометить определенные пакеты как небезопасные для zip. Этот подход упрощает добавление фильтров, отличных от белого списка.

import pkgutil
from os.path import join, dirname, realpath
from distutils import log

# file_util has to come first because dir_util uses it
from distutils import file_util, dir_util
# noinspection PyUnresolvedReferences
from py2app import util


def keep_only_filter(base_mod, sub_mods):
    prefix = join(realpath(dirname(base_mod.filename)), '')
    all_prefix = [join(prefix, sm) for sm in sub_mods]
    log.info("Set filter for prefix %s" % prefix)

    def wrapped(mod):
        name = getattr(mod, 'filename', None)
        if name is None:
            # ignore anything that does not have file name
            return True
        name = join(realpath(dirname(name)), '')
        if not name.startswith(prefix):
            # ignore those that are not in this prefix
            return True
        for p in all_prefix:
            if name.startswith(p):
                return True
        # log.info('ignoring %s' % name)
        return False
    return wrapped

# define all the filters we need
all_filts = {
    'mypackage': (keep_only_filter, [
        'subpackage1', 'subpackage2',
    ]),
}


def keep_only_wrapper(fn, is_dir=False):
    filts = [(f, k[1]) for (f, k) in all_filts.iteritems()
             if k[0] == keep_only_filter]
    prefixes = {}
    for f, sms in filts:
        pkg = pkgutil.get_loader(f)
        assert pkg, '{f} package not found'.format(f=f)
        p = join(pkg.filename, '')
        sp = [join(p, sm, '') for sm in sms]
        prefixes[p] = sp

    def wrapped(src, *args, **kwargs):
        name = src
        if not is_dir:
            name = dirname(src)
        name = join(realpath(name), '')
        keep = True
        for prefix, sub_prefixes in prefixes.iteritems():
            if name == prefix:
                # let the root pass
                continue
            # if it is a package we have a filter for
            if name.startswith(prefix):
                keep = False
                for sub_prefix in sub_prefixes:
                    if name.startswith(sub_prefix):
                        keep = True
                        break
        if keep:
            return fn(src, *args, **kwargs)
        return []

    return wrapped

file_util.copy_file = keep_only_wrapper(file_util.copy_file)
dir_util.mkpath = keep_only_wrapper(dir_util.mkpath, is_dir=True)
util.copy_tree = keep_only_wrapper(util.copy_tree, is_dir=True)


class ZipUnsafe(object):
    def __init__(self, _module, _filt):
        self.module = _module
        self.filt = _filt

    def check(self, dist, mf):
        m = mf.findNode(self.module)
        if m is None:
            return None

        # Do not put this package in site-packages.zip
        if self.filt:
            return dict(
                packages=[self.module],
                filters=[self.filt[0](m, self.filt[1])],
            )
        return dict(
            packages=[self.module]
        )

# Any package that is zip-unsafe (uses __file__ ,... ) should be added here 
# noinspection PyUnresolvedReferences
import py2app.recipes
for module in [
        'sklearn', 'mypackage',
]:
    filt = all_filts.get(module)
    setattr(py2app.recipes, module, ZipUnsafe(module, filt))