- Автоматическое восстановление программы на основе проверки кода: как работают предварительно обученные модели трансформатора? (arXiv)
Автор : Ришов Павел, Md. Мохиб Хоссейн, Масум Хасан, Аниндья Икбал.
Аннотация: Последовательные модели использовались для преобразования ошибочных программ в правильные при обучении на достаточно большом наборе данных. Некоторые недавние исследования также продемонстрировали убедительные эмпирические доказательства того, что проверка кода (инструкция на естественном языке о предполагаемых изменениях в коде) может еще больше улучшить исправление программы. Большие языковые модели, обученные с помощью естественного языка (NL) и корпусов компьютерных программ, могут содержать неотъемлемые знания обоих. В этом исследовании мы изучаем, можно ли использовать это неотъемлемое знание кода и NL для улучшения автоматизированного исправления программ. Мы применили PLBART и CodeT5, две современные языковые модели, которые предварительно обучены как языку программирования (PL), так и естественному языку (NL), к двум таким наборам данных восстановления программ на основе естественного языка и обнаружили, что предварительно Обученные языковые модели, настроенные с помощью наборов данных, содержащих как обзор кода, так и последующие изменения кода, заметно превосходят каждую из предыдущих моделей. Мы заметили, что предварительно обученные модели улучшают ранее лучшие результаты на 9,91% в наборе данных Review4Repair и на 24,72% в наборе данных Tufano et al. Это говорит о том, что предварительно обученная последовательная модель лучше понимает естественный язык и может использовать его намного лучше. Мы провели исследование абляции, чтобы оценить вклад механизма предварительной подготовки и архитектуры модели. Мы обнаружили, что предварительное обучение было значительно более важным для повышения производительности, чем архитектура модели. До практического применения использования предварительно обученных моделей трансформаторов в контексте автоматизированного ремонта программ еще далеко. Тем не менее, наше исследование демонстрирует существенную ценность использования предварительно обученных моделей, прокладывая путь для будущих исследований, чтобы использовать больше из них.
2. BERT4ETH: предварительно обученный преобразователь для обнаружения мошенничества с Ethereum (arXiv)
Автор: Сихао Ху, Чжэнь Чжан, Бинцяо Луо, Шэнлян Лу, Биншэн Хэ, Лин Лю.
Аннотация: По мере распространения различных форм мошенничества в Ethereum крайне важно защититься от этих злонамеренных действий, чтобы защитить уязвимых пользователей от преследования. Хотя текущие исследования основаны исключительно на подходах к обнаружению мошенничества на основе графов, утверждается, что они могут не подходить для работы с повторяющимися, неравномерно распределенными и разнородными транзакциями Ethereum. Для решения этих проблем мы предлагаем BERT4ETH, универсальный предварительно обученный кодировщик Transformer, который служит экстрактором представлений учетных записей для обнаружения различных мошеннических действий в Ethereum. BERT4ETH обладает превосходными возможностями моделирования Transformer для захвата динамических последовательных шаблонов, присущих транзакциям Ethereum, и решает проблемы предварительной подготовки модели BERT для Ethereum с помощью трех практических и эффективных стратегий, а именно: уменьшение повторяемости, устранение перекосов и моделирование неоднородности. Наша эмпирическая оценка показывает, что BERT4ETH превосходит современные методы со значительными улучшениями с точки зрения обнаружения фишинговых учетных записей и задач деанонимизации. Код для BERT4ETH доступен по адресу: https://github.com/git-disl/BERT4ETH.
