Масштабное использование НЛП, чтобы лучше помочь людям найти подходящую работу — Часть 3: определение модели и обучение

Масштабное использование НЛП, чтобы помочь людям найти подходящую работу. Часть 3: определение модели и обучение

Это последняя из серии статей о том, как мы в Jobtome ежедневно классифицируем миллионы объявлений о вакансиях, чтобы обогатить наш список и помочь людям найти подходящую работу. Вы можете прочитать первую часть здесь и вторую часть здесь.

В предыдущем посте мы описали потребность в Jobtome в создании модели для классификации объявлений о вакансиях по категориям вакансий, т. е. возврата — с учетом названия должности в качестве входных данных — наиболее вероятной категории среди десятков классов. Мы также обсудили шаги по созданию высококачественного обучающего набора данных.

В этой статье подробно описана наша модель классификации — технически это многоклассовая классификация Short Text в среде обработки естественного языка — и некоторые варианты, которые мы сделали на этапе обучения.

Из-за нашего бизнеса некоторые строгие требования сильно повлияли на этап создания модели: необходимость молниеносных прогнозов, возможность обработки многоязычных входных данных и неточное (и, следовательно, расплывчатое) определение категорий должностей. Кроме того, нам также пришлось учитывать некоторые особенности входных обучающих данных, т. е. небольшой и зашумленный набор данных.

Небольшой набор данных для обучения
Наш набор данных для обучения охватывал лишь небольшой процент всех возможных вакансий, доступных на рынке. Следовательно, модель можно попросить предсказать название должности, состоящее из слов, которые никогда не встречались в процессе обучения. Более того, некоторые языки были недостаточно отобраны, а другие вообще отсутствовали. Представьте, что вы обучаете модель только предложениям о работе Разработчик программного обеспечения, прежде чем просить предсказать, кто такой Программист кода, или (что еще хуже) показываете модель только с учетом вакансий на английском языке и притворяетесь сделать хороший прогноз на работу Księgowy / Księgowa (бухгалтер на польском языке).

Зашумленный набор обучающих данных
У нас не было первоклассного помеченного набора данных. Мы настраиваем свою с нуля, используя множество источников данных, в том числе малонадежных. Несмотря на то, что мы применили процесс очистки для улучшения качества, у нас все еще был зашумленный обучающий набор данных, включая подмножество данных с неправильными метками.

Модель

Мы протестировали несколько моделей классификации текста, от классических алгоритмов машинного обучения до более продвинутых архитектур нейронных сетей. Однако все реализованные модели имели общую структуру:

• предварительная обработка —от ввода исходного текста до очищенного текста.
• встраивание —от очищенного текста до вектора чисел
• классификатор —от вектора к классу атрибуции

При создании обучающего набора данных мы разработали простую модель для классификации названий должностей на английском языке, не уделяя слишком много внимания точности и скорости. Следуя приведенной выше схеме, модель состояла из трех модулей. Первым был классический этап предварительной обработки текста с удалением стоп-слов и применением строчных букв, применяемый для ввода названий должностей с помощью стандартных библиотек Python, таких как spaCy и NLTK. Второй шаг преобразовал чистый текст во встраивание предложений, агрегируя (с суммированием) каждое встраивание слова из предварительно обученного Word2Vec, вызванного с помощью библиотеки Gensim. Наконец, центральной частью модуля классификации был классификатор случайного леса, обученный с использованием промежуточного обучающего набора данных и реализованный с помощью библиотеки scikit-learn. Эта простая модель была ориентирована на удаление непригодных данных из обучающего набора данных без особых усилий по настройке и оптимизации модели.

Напротив, окончательная модель должна была соответствовать всем вышеперечисленным требованиям. Мы решили реализовать все три шага с помощью фреймворка Keras из-за большого сообщества и огромного количества предварительно обученных моделей, доступных на TensorFlow Hub.
Вот более подробное объяснение каждого один шаг окончательной модели.

Предварительная обработка
Мы приняли этап предварительной обработки, состоящий из стандартных приемов: применение строчных букв к названиям должностей, пунктуация и удаление отдельных символов, а также удаление определенных шаблонов, таких как HTML-теги. Мы также отказались от некоторых распространенных шаблонов, учитывая их низкую информативность. Например, мы отбросили такие предложения, как Немедленный прием на работу, Требуется опыт работы, Неполный/полный рабочий день, а также такие маркеры, как ожидаемая зарплата. Мы также решили не удалять наиболее распространенные стоп-слова (союзы, предлоги и т. д.), потому что заметили, что этот шаг не улучшил производительность модели.
Мы написали одну пользовательскую функцию в Keras отвечает за применение всех шагов очистки и преобразовал его в лямбда-слой нашей модели.

# Input Layer
tf.keras.Input(shape=(), dtype="string")
# Lambda Layer
tf.keras.layers.Lambda(lambda title: preprocess(title))
# Sentence Embedding Layer
hub.KerasLayer(encoder_url, trainable=False)
# Classifier Layers
tf.keras.layers.Dense(256, activation="relu")
tf.keras.layers.Dropout(0.1)
tf.keras.layers.Dense(128, activation="relu")
tf.keras.layers.Dropout(0.1)
tf.keras.layers.Dense(64, activation="relu")
tf.keras.layers.Dropout(0.1)
 
# Softmax Output Layer (n classes = 32)
tf.keras.layers.Dense(32, activation="softmax")