Книги
Как жить. В каждый момент жизни выбирайте любое действие или угол, которые вас забавляют. Смеяться над жизнью — вот как надо жить. — И еще 26 способов приблизиться к жизни. Я очень рекомендую это короткое чтение.
Мы. В отношениях откажитесь от ты vs. я к нам
Экономика в одном уроке. Искусство экономики состоит в том, чтобы смотреть не только на непосредственные, но и на более отдаленные последствия любого действия или политики; она состоит в том, чтобы проследить последствия этой политики не только для одной группы, но и для всех групп. — Хотя со стороны автора мало усилий по уравновешиванию. Например. если целевая функция максимизации производительности смягчена с помощью термина регуляризации, такого как при ограничении неравенства доходов в любой период времени, возможно, некоторые из мер, направленных на сокращение общего производства в долгосрочной перспективе, могут иметь смысл.
Дифференциальная конфиденциальность + машинное обучение
Модели машинного обучения по умолчанию не сохраняют конфиденциальность. [Shokri2017] продемонстрировал, что при наличии [1 классификатора, 1 записи] мы можем построить хорошую модель, чтобы предсказать, была ли запись частью обучающих данных, даже с минимальными предположениями.
Настройка настройки DP. Цель DP теперь переформулирована так: «добавление/удаление пользователя из вашего набора данных не должно приводить к значительным изменениям в [весах моделей, прогнозах,…]
Обзор решения DP. Вы можете добавлять шум на различных этапах: [целевая функция, этап обучения, веса модели, прогноз] (см. [Ji2014]). Обратите внимание, что из-за свойства постобработки, если вы используете e-dp раньше (например, целевая функция), это подразумевает более позднее e-dp (например, время прогнозирования). Таким образом, на какой бы шаг ни нацеливался вектор атаки, цель состоит в том, чтобы обеспечить e-dp на любом этапе до этого. [Papernot2021] — очень удобный обзор. Мы поговорим о двух решениях, упомянутых в посте.
Решение 1. DP-SGD [Abadi2016]. Добавьте шум во время тренировки: обрежьте и зашумите SGD. Усиление подвыборкой + моменты бухгалтера для жёстче бюджета.
Решение 2: PATE [Papernot2016]. Первая попытка: добавить шум только во время прогнозирования поверх механизма выборки и агрегирования моделей с непересекающимся обучением. Но проблема: бюджет конфиденциальности на запрос. Вторая попытка: используйте первую попытку для создания набора данных фиксированного размера, а вторая модель имитирует первую модель. Больше никакой утечки бюджета конфиденциальности!
Какой из них использовать? DP-SGD применим к большему количеству задач, но предполагает, что SGD является базовым механизмом обучения. PATE не зависит от модели, но исходная статья применялась только к задаче классификации нескольких классов. [Бумага не2019]
Рекомендации
[Shokri2017] Атаки на определение принадлежности к моделям машинного обучения
[Ji2014] Дифференциальная конфиденциальность и машинное обучение: обзор и обзор
[Papernot2021] Как внедрить машинное обучение с дифференциальной конфиденциальностью
[Abadi2016] Глубокое обучение с дифференциальной конфиденциальностью
[Papernot2016] Полуконтролируемая передача знаний для глубокого обучения на основе данных частного обучения [видео] [блог]
[Papernot2019] Машинное обучение с дифференциальной конфиденциальностью в TensorFlow
