Как сделать создание файла атомарной операцией?

Запишите данные во временный файл, и когда данные будут успешно записаны, переименуйте файл в правильный файл назначения, например.

f = open(tmpFile, 'w')
f.write(text)
# make sure that all data is on disk
# see http://stackoverflow.com/questions/7433057/is-rename-without-fsync-safe
f.flush()
os.fsync(f.fileno()) 
f.close()

os.rename(tmpFile, myFile)

Согласно документу http://docs.python.org/library/os.html#os.rename

В случае успеха переименование будет атомарной операцией (это требование POSIX). В Windows, если dst уже существует, будет вызвана ошибка OSError, даже если это файл; может быть невозможно реализовать атомарное переименование, когда dst называет существующий файл

также

Операция может завершиться ошибкой в ​​некоторых разновидностях Unix, если src и dst находятся в разных файловых системах.

Примечание:

• Это может быть не атомарная операция, если местоположения src и dest не находятся в одной и той же файловой системе.

• os.fsync шаг можно пропустить, если производительность/быстродействие более важны, чем целостность данных в таких случаях, как сбой питания, сбой системы и т. д.

Простой фрагмент, реализующий атомарную запись с использованием Python tempfile.

with open_atomic('test.txt', 'w') as f:
    f.write("huzza")

или даже чтение и запись в один и тот же файл:

with open('test.txt', 'r') as src:
    with open_atomic('test.txt', 'w') as dst:
        for line in src:
            dst.write(line)

с помощью двух простых контекстных менеджеров

import os
import tempfile as tmp
from contextlib import contextmanager

@contextmanager
def tempfile(suffix='', dir=None):
    """ Context for temporary file.

    Will find a free temporary filename upon entering
    and will try to delete the file on leaving, even in case of an exception.

    Parameters
    ----------
    suffix : string
        optional file suffix
    dir : string
        optional directory to save temporary file in
    """

    tf = tmp.NamedTemporaryFile(delete=False, suffix=suffix, dir=dir)
    tf.file.close()
    try:
        yield tf.name
    finally:
        try:
            os.remove(tf.name)
        except OSError as e:
            if e.errno == 2:
                pass
            else:
                raise

@contextmanager
def open_atomic(filepath, *args, **kwargs):
    """ Open temporary file object that atomically moves to destination upon
    exiting.

    Allows reading and writing to and from the same filename.

    The file will not be moved to destination in case of an exception.

    Parameters
    ----------
    filepath : string
        the file path to be opened
    fsync : bool
        whether to force write the file to disk
    *args : mixed
        Any valid arguments for :code:`open`
    **kwargs : mixed
        Any valid keyword arguments for :code:`open`
    """
    fsync = kwargs.get('fsync', False)

    with tempfile(dir=os.path.dirname(os.path.abspath(filepath))) as tmppath:
        with open(tmppath, *args, **kwargs) as file:
            try:
                yield file
            finally:
                if fsync:
                    file.flush()
                    os.fsync(file.fileno())
        os.rename(tmppath, filepath)

Так как очень легко запутаться в деталях, я рекомендую использовать для этого крошечную библиотеку. Преимущество библиотеки в том, что она заботится обо всех этих мельчайших деталях и просмотрено и улучшено сообществом.

Одной из таких библиотек является python-atomicwrites от untitaker, которая даже имеет надлежащую поддержку Windows:

• https://github.com/untitaker/python-atomicwrites
• https://pypi.org/project/atomicwrites/

Из README:

from atomicwrites import atomic_write

with atomic_write('foo.txt', overwrite=True) as f:
    f.write('Hello world.')
    # "foo.txt" doesn't exist yet.

# Now it does.

Установка через PIP:

pip install atomicwrites

Я использую этот код для атомарной замены/записи файла:

import os
from contextlib import contextmanager

@contextmanager
def atomic_write(filepath, binary=False, fsync=False):
    """ Writeable file object that atomically updates a file (using a temporary file).

    :param filepath: the file path to be opened
    :param binary: whether to open the file in a binary mode instead of textual
    :param fsync: whether to force write the file to disk
    """

    tmppath = filepath + '~'
    while os.path.isfile(tmppath):
        tmppath += '~'
    try:
        with open(tmppath, 'wb' if binary else 'w') as file:
            yield file
            if fsync:
                file.flush()
                os.fsync(file.fileno())
        os.rename(tmppath, filepath)
    finally:
        try:
            os.remove(tmppath)
        except (IOError, OSError):
            pass

Применение:

with atomic_write('path/to/file') as f:
    f.write("allons-y!\n")

Он основан на этом рецепте.

Ответы на этой странице довольно старые, теперь есть библиотеки, которые делают это за вас.

В частности, safer — это библиотека, предназначенная для предотвращения ошибки программиста, приводящей к повреждению файлов, соединений сокетов или обобщенных потоков. Он довольно гибкий и, среди прочего, имеет возможность использовать либо память, либо временные файлы, вы даже можете сохранить временные файлы на случай сбоя.

Их пример - это то, что вам нужно:

# dangerous
with open(filename, 'w') as fp:
    json.dump(data, fp)
    # If an exception is raised, the file is empty or partly written

# safer
with safer.open(filename, 'w') as fp:
    json.dump(data, fp)
    # If an exception is raised, the file is unchanged.

Это в PyPI, просто установите его с помощью pip install --user safer или получите последнюю версию на https://github.com/rec/safer< /а>

Атомное решение для Windows для зацикливания папки и переименования файлов. Протестировано, атомарно для автоматизации, вы можете увеличить вероятность, чтобы свести к минимуму риск не иметь такое же имя файла. В вашей случайной библиотеке для комбинаций буквенных символов используется метод random.choice, для цифры str(random.random.range(50,999999999,2). Вы можете варьировать диапазон цифр по своему усмотрению.

import os import random

path = "C:\\Users\\ANTRAS\\Desktop\\NUOTRAUKA\\"

def renamefiles():
    files = os.listdir(path)
    i = 1
    for file in files:
        os.rename(os.path.join(path, file), os.path.join(path, 
                  random.choice('ABCDEFGHIJKL') + str(i) + str(random.randrange(31,9999999,2)) + '.jpg'))
        i = i+1

for x in range(30):
    renamefiles()