Регулярное выражение для подтверждения того, является ли строка допустимым идентификатором Python?

Вопрос был задан 10 лет назад, когда еще доминировал Python 2. Как показали многие комментарии за последнее десятилетие, мой ответ нуждался в серьезном обновлении, начиная с большого предупреждения:

Ни одно регулярное выражение не будет правильно соответствовать всем (и только) допустимым идентификаторам Python. Это не для Python 2, это не для Python 3.

Причины:

• Как указал @JoeCondron, зарезервированные ключевые слова Python, такие как True, if, return, являются не допустимыми идентификаторами, и регулярные выражения сами по себе не могут справиться с этим, поэтому требуется дополнительная фильтрация.

• Python 3 позволяет использовать буквы и цифры, отличные от ASCII, в идентификаторе, но категории букв и цифр Unicode, принимаемые лексическим синтаксическим анализатором для действительного идентификатора, не соответствуют тем же категориям \d, \w, \W в модуль re, как показано в контрпримере @martineau и очень подробно объяснено удивительным исследованием @Hatshepsut.

Хотя мы могли попытаться решить первую проблему, используя keyword.iskeyword(), как предложил @Alexander Huszagh, и обойти другую, ограничившись только идентификаторами ascii, зачем вообще использовать регулярное выражение ?

Как сказала Хатшепсут:

str.isidentifier() работает

Просто используйте его, проблема решена.

В соответствии с вопросом мой первоначальный ответ 2012 года представляет собой регулярное выражение, основанное на Python. 2 официальное определение идентификатора:

identifier ::=  (letter|"_") (letter | digit | "_")*

Что можно выразить регулярным выражением:

^[^\d\W]\w*\Z

Пример:

import re
identifier = re.compile(r"^[^\d\W]\w*\Z", re.UNICODE)

tests = [ "a", "a1", "_a1", "1a", "aa$%@%", "aa bb", "aa_bb", "aa\n" ]
for test in tests:
    result = re.match(identifier, test)
    print("%r\t= %s" % (test, (result is not None)))

Результат:

'a'      = True
'a1'     = True
'_a1'    = True
'1a'     = False
'aa$%@%' = False
'aa bb'  = False
'aa_bb'  = True
'aa\n'   = False

str.isidentifier() работает. Ответы регулярных выражений неправильно не соответствуют некоторым допустимым идентификаторам python и неправильно соответствуют некоторым недопустимым.

str.isidentifier() Возвращает true, если строка является допустимым идентификатором в соответствии с определением языка, раздел Идентификаторы и ключевые слова.

Используйте keyword.iskeyword() для проверки зарезервированных идентификаторов, таких как def и class.

Комментарий @ martineau дает пример '℘᧚', где решения регулярных выражений терпят неудачу.

>>> '℘᧚'.isidentifier()
True
>>> import re
>>> bool(re.search(r'^[^\d\W]\w*\Z', '℘᧚'))
False

Почему это происходит?

Давайте определим наборы кодовых точек, которые соответствуют заданному регулярному выражению, и набор, который соответствует str.isidentifier.

import re
import unicodedata

chars = {chr(i) for i in range(0x10ffff) if re.fullmatch(r'^[^\d\W]\w*\Z', chr(i))}
identifiers = {chr(i) for i in range(0x10ffff) if chr(i).isidentifier()}

Сколько совпадений регулярных выражений не являются идентификаторами?

In [26]: len(chars - identifiers)                                                                                                               
Out[26]: 698

Сколько идентификаторов не соответствует регулярному выражению?

In [27]: len(identifiers - chars)                                                                                                               
Out[27]: 4

Интересно - какие?

In [37]: {(c, unicodedata.name(c), unicodedata.category(c)) for c in identifiers - chars}                                                       
Out[37]: 
set([
    ('\u1885', 'MONGOLIAN LETTER ALI GALI BALUDA', 'Mn'),
    ('\u1886', 'MONGOLIAN LETTER ALI GALI THREE BALUDA', 'Mn'),
    ('℘', 'SCRIPT CAPITAL P', 'Sm'),
    ('℮', 'ESTIMATED SYMBOL', 'So'),
])

Чем отличаются эти два набора?

Они имеют разные значения Unicode «Общая категория».

In [31]: {unicodedata.category(c) for c in chars - identifiers}                                                                                 
Out[31]: set(['Lm', 'Lo', 'No'])

Из википедии это Letter, modifier; Letter, other; Number, other. Это согласуется с документами, поскольку \d — это только десятичные цифры:

\d Соответствует любой десятичной цифре Unicode (то есть любому символу в категории символов Unicode [Nd])

А как насчет другого пути?

In [32]: {unicodedata.category(c) for c in identifiers - chars}                                                                                 
Out[32]: set(['Mn', 'Sm', 'So'])

Это Mark, nonspacing; Symbol, math; Symbol, other.

Где это все задокументировано?

• В Справочнике по языку Python
• В PEP 3131 — поддержка идентификаторов, отличных от ASCII.

Где это реализовано?

https://github.com/python/cpython/commit/47383403a0a11259acb640406a8efc38981d2255

Я все еще хочу регулярное выражение

Посмотрите модуль regex в PyPI.

Эта реализация регулярного выражения обратно совместима со стандартным модулем «re», но предлагает дополнительные функции.

Он включает фильтры для «Общей категории».

Для Python 3 вам необходимо обрабатывать буквы и цифры Unicode. Так что, если это беспокоит, вы должны согласиться с этим:

re_ident = re.compile(r"^[^\d\W]\w*$", re.UNICODE)

[^\d\W] соответствует символу, который не является цифрой и не «не буквенно-цифровым», что переводится как «символ, который является буквой или символом подчеркивания».

\w соответствует цифрам и символам. Попробуйте ^[_a-zA-Z]\w*$

Работает как шарм: r'[^\d\W][\w\d]+'

^{Вопрос касается регулярных выражений, поэтому мой ответ может выглядеть не по теме. Дело в том, что регулярное выражение — это просто неправильный подход.}

Заинтересованы в проблемных персонажах?

Используя str.isidentifier, можно выполнять проверку посимвольно, добавляя к ним префикс, скажем, подчеркивание, чтобы избежать ложных срабатываний, таких как цифры и т. д. Как имя может быть действительным, если один из его (префиксных) компонентов не является (?) Например.

def checker(str_: str) -> 'set[str]':
    return {
        c for i, c in enumerate(str_)
        if not (f'_{c}' if i else c).isidentifier()
    }

>>> checker('℘3᧚₂')
{'₂'}

Какое решение касается неавторизованных первых символов, таких как цифры или, например. ᧚. Видеть

>>> checker('᧚℘3₂')
{'₂', '᧚'}
>>> checker('3᧚℘₂')
{'3', '₂'}
>>> checker("a$%@#%\n")
{'@', '#', '\n', '$', '%'}

Нужно улучшить, поскольку он не проверяет ни зарезервированные имена, ни ничего не говорит о том, почему ᧚ иногда проблематичен, тогда как ₂ всегда... но вот мой подход без регулярных выражений.

Мой ответ в ваших терминах:

if not checker(i):
    return True
else:
    return False

которые могут быть заключены в

return not checker(i)