Как я могу извлечь все экземпляры шаблона регулярного выражения в кадре данных PySpark?

У меня есть столбец StringType() в кадре данных PySpark. Я хочу извлечь все экземпляры шаблона регулярного выражения из этой строки и поместить их в новый столбец ArrayType(StringType())

Предположим, что шаблон регулярного выражения [a-z]\*([0-9]\*)

Входная функция:

stringValue
+----------+
a1234bc123
av1tb12h18
abcd

Выходная функция:

stringValue    output
+-----------+-------------------+
a1234bc123     ['1234', '123']
av1tb12h18     ['1', '12', '18']
abcd           []

python regex apache-spark pyspark pyspark-dataframes
person Crow59    schedule 26.08.2019    source источник

Ответы (3)


arrow_upward
1
arrow_downward

Попробуйте использовать split и array_remove из functions в искре:

  1. создать тестовый DataFrame
from pyspark.sql import functions as F
df = spark.createDataFrame([("a1234bc123",), ("av1tb12h18",), ("abcd",)],["stringValue"])
df.show()

Исходный фрейм данных:

+-----------+
|stringValue|
+-----------+
| a1234bc123|
| av1tb12h18|
|       abcd|
+-----------+
  1. Используйте split для разделения строк только на числа
df = df.withColumn("mid", F.split('stringValue', r'[a-zA-Z]'))
df.show()

Выход:

+-----------+-----------------+
|stringValue|              mid|
+-----------+-----------------+
| a1234bc123|  [, 1234, , 123]|
| av1tb12h18|[, , 1, , 12, 18]|
|       abcd|       [, , , , ]|
+-----------+-----------------+
  1. Наконец, используйте array_remove для удаления нечисловых элементов.
df = df.withColumn("output", F.array_remove('mid', ''))
df.show()

Окончательный вывод:

+-----------+-----------------+-----------+
|stringValue|              mid|     output|
+-----------+-----------------+-----------+
| a1234bc123|  [, 1234, , 123]|[1234, 123]|
| av1tb12h18|[, , 1, , 12, 18]|[1, 12, 18]|
|       abcd|       [, , , , ]|         []|
+-----------+-----------------+-----------+
person niuer    schedule 26.08.2019

arrow_upward
2
arrow_downward

В Spark 3.1+ regexp_extract_all доступный.

regexp_extract_all(str, regexp[, idx]) – извлечение всех строк в str, которые соответствуют выражению regexp и соответствуют индексу группы регулярных выражений.

df = df.withColumn('output', F.expr("regexp_extract_all(stringValue, '[a-z]*([0-9]+)', 1)"))

df.show()
#+-----------+-----------+
#|stringValue|     output|
#+-----------+-----------+
#| a1234bc123|[1234, 123]|
#| av1tb12h18|[1, 12, 18]|
#|       abcd|         []|
#+-----------+-----------+
person ZygD    schedule 24.03.2021

arrow_upward
0
arrow_downward

вы можете использовать комбинацию regexp_replace и разделить API функционального модуля

import pyspark.sql.types as t
import pyspark.sql.functions as f

l1 = [('anystring',),('a1234bc123',),('av1tb12h18',)]
df = spark.createDataFrame(l1).toDF('col')
df.show()
+----------+
|       col|
+----------+
| anystring|
|a1234bc123|
|av1tb12h18|
+----------+

Теперь используйте замену соответствующего регулярного выражения, а затем разделите его на «,». Здесь $1 относится к замененному значению, поэтому оно будет пустым для сопоставления с регулярным выражением.

e.g replace('anystring')
$0 = anystring
$1 = ""

dfl1 = df.withColumn('temp', f.split(f.regexp_replace("col", "[a-z]*([0-9]*)", "$1,"), ","))

dfl1.show()
+----------+---------------+
|       col|           temp|
+----------+---------------+
| anystring|         [, , ]|
|a1234bc123|[1234, 123, , ]|
|av1tb12h18|[1, 12, 18, , ]|
+----------+---------------+

Искра ‹2.4

Используйте UDF для замены пустых значений массива

def func_drop_from_array(arr):
    return [x for x in arr if x != '']

drop_from_array = f.udf(func_drop_from_array, t.ArrayType(t.StringType()))

dfl1.withColumn('final', drop_from_array('temp')).show()
+----------+---------------+-----------+
|       col|           temp|      final|
+----------+---------------+-----------+
| anystring|         [, , ]|         []|
|a1234bc123|[1234, 123, , ]|[1234, 123]|
|av1tb12h18|[1, 12, 18, , ]|[1, 12, 18]|
+----------+---------------+-----------+

Искра >=2,4

Используйте array_remove

dfl1.withColumn('final', f.array_remove('temp','')).show()

+----------+---------------+-----------+
|       col|           temp|      final|
+----------+---------------+-----------+
| anystring|         [, , ]|         []|
|a1234bc123|[1234, 123, , ]|[1234, 123]|
|av1tb12h18|[1, 12, 18, , ]|[1, 12, 18]|
+----------+---------------+-----------+
person SMaZ    schedule 26.08.2019