Python: каким-либо способом выполнить этот гибридный split () для многоязычных (например, китайских и английских) строк?

Я тоже думал, что покажу подход с регулярным выражением. Мне это кажется неправильным, но это в основном потому, что все специфические для языка странности, которые я видел, заставляют меня беспокоиться о том, что регулярное выражение может быть недостаточно гибким для всех из них - но вам вполне может не понадобиться того, что. (Другими словами - чрезмерный дизайн.)

# -*- coding: utf-8 -*-
import re
def group_words(s):
    regex = []

    # Match a whole word:
    regex += [ur'\w+']

    # Match a single CJK character:
    regex += [ur'[\u4e00-\ufaff]']

    # Match one of anything else, except for spaces:
    regex += [ur'[^\s]']

    regex = "|".join(regex)
    r = re.compile(regex)

    return r.findall(s)

if __name__ == "__main__":
    print group_words(u"Testing English text")
    print group_words(u"我爱蟒蛇")
    print group_words(u"Testing English text我爱蟒蛇")

На практике вы, вероятно, захотите компилировать регулярное выражение только один раз, а не при каждом вызове. Опять же, заполнение деталей группировки персонажей зависит от вас.

В Python 3 он также разделяет число, если вам нужно.

def spliteKeyWord(str):
    regex = r"[\u4e00-\ufaff]|[0-9]+|[a-zA-Z]+\'*[a-z]*"
    matches = re.findall(regex, str, re.UNICODE)
    return matches

print(spliteKeyWord("Testing English text我爱Python123"))

=> ['Testing', 'English', 'text', '我', '爱', 'Python', '123']

Форматирование списка показывает repr его компонентов. Если вы хотите видеть строки естественным образом, а не экранировать, вам нужно отформатировать их самостоятельно. (repr не должен экранировать эти символы; repr(u'我') должен возвращать "u'我'", а не "u'\\u6211'. Очевидно, это происходит в Python 3; только 2.x застрял с экранированием, ориентированным на английский язык для строк Unicode.)

Базовый алгоритм, который вы можете использовать, - это присвоение класса символа каждому символу, а затем группировка букв по классам. Стартовый код ниже.

Я не использовал для этого doctest, потому что у меня возникли странные проблемы с кодировкой, которые я не хочу рассматривать (вне области видимости). Вам нужно будет реализовать правильную функцию группировки.

Обратите внимание: если вы используете это для переноса слов, есть другие особенности для каждого языка. Например, вы не хотите разбивать на неразрывные пробелы; вы хотите разбить на дефисы; для японцев вы не хотите разделять き ゅ; и так далее.

# -*- coding: utf-8 -*-
import itertools, unicodedata

def group_words(s):
    # This is a closure for key(), encapsulated in an array to work around
    # 2.x's lack of the nonlocal keyword.
    sequence = [0x10000000]

    def key(part):
        val = ord(part)
        if part.isspace():
            return 0

        # This is incorrect, but serves this example; finding a more
        # accurate categorization of characters is up to the user.
        asian = unicodedata.category(part) == "Lo"
        if asian:
            # Never group asian characters, by returning a unique value for each one.
            sequence[0] += 1
            return sequence[0]

        return 2

    result = []
    for key, group in itertools.groupby(s, key):
        # Discard groups of whitespace.
        if key == 0:
            continue

        str = "".join(group)
        result.append(str)

    return result

if __name__ == "__main__":
    print group_words(u"Testing English text")
    print group_words(u"我爱蟒蛇")
    print group_words(u"Testing English text我爱蟒蛇")

Модифицированное решение Гленна для удаления символов и работы с русским, французским и т. Д. Алфавитами:

def rec_group_words():
    regex = []

    # Match a whole word:
    regex += [r'[A-za-z0-9\xc0-\xff]+']

    # Match a single CJK character:
    regex += [r'[\u4e00-\ufaff]']

    regex = "|".join(regex)
    return re.compile(regex)

Для python3.7 работает следующее:

import re
def group_words(s):
    return re.findall(u'[\u4e00-\u9fff]|[a-zA-Z0-9]+', s)


if __name__ == "__main__":
    print(group_words(u"Testing English text"))
    print(group_words(u"我爱蟒蛇"))
    print(group_words(u"Testing English text我爱蟒蛇"))

['Testing', 'English', 'text']
['我', '爱', '蟒', '蛇']
['Testing', 'English', 'text', '我', '爱', '蟒', '蛇']

По какой-то причине я не могу адаптировать ответ Гленна Мейнарда к python3.