Была ли это проблема с моделью машинного обучения или что-то еще более важное?

В 2006 году Zillow представила Zestimate. Простая модель, предсказывающая цены на жилье на основе нескольких различных агрегированных источников данных. Кто-то скажет, что этот основной инструмент изменил жилую недвижимость в том виде, в каком мы ее знаем. Это дало как покупателям, так и продавцам большую прозрачность рынка и осязаемую основу для оценки предложений.

Перенесемся в 2017 год: Zillow хвалят за преобразование индустрии недвижимости. Они оцениваются в миллиарды долларов, наняли огромную команду по обработке данных и являются ведущим онлайн-рынком недвижимости. Они перешли от оценки 43 миллионов домов, когда Zestimate начал свою деятельность, до более чем 110 миллионов домов. Их оценки также улучшились, сократив процент средней абсолютной ошибки с 14% до 5% (Кригсман, 2017).

Как эта компания, начавшая революцию данных в сфере недвижимости и лидировавшая в 2017 году, допустила ошибку в науке о данных, которая стоила ей 500 миллионов долларов?

Новая надежда

В 2018 году Zillow был на высоте. Они доминировали на рынке недвижимости с предложением цифровых технологий. Их генеральному директору Ричу Бартону пришла в голову безумная идея. Мог ли он использовать оценки, которые они производили, чтобы покупать дома по цене ниже рыночной, ремонтировать их, а затем продавать с прибылью? В этом плане было много плюсов. Во-первых, покупка дома может быть сложной. Для продавца покупка напрямую через Zillow может быть почти такой же простой, как нажатие кнопки, особенно если они получают достойную цену за дом. Вы также можете избежать многих затрат на закрытие и дополнительных сборов со сторонним риелтором.

У них уже была система Zestimate для оценки цен на жилье. Могут ли они просто сделать еще один шаг и использовать это для реальных решений о покупке? Компания, похоже, так и думала. В том же году они запустили Zillow Offers. Эта платформа, по сути, будет делать мгновенные предложения по недвижимости. Эта практика известна теперь как iBuying. Они даже рассматривали это как основной источник доходов в будущем. Генеральный директор даже предсказал, что к 2025 году этот бизнес может приносить им 20 МИЛЛИАРДОВ долларов в год.

Флоп iBuying

Как вы можете себе представить, этот бизнес iBuying не сработал так, как они планировали. К октябрю 2021 года Zillow сообщила, что списала более 500 миллионов долларов убытков из-за домов, купленных по слишком высокой цене в третьем и четвертом кварталах года.

Только в третьем квартале они купили чуть менее 10 000 домов и смогли продать лишь около 3 000 из них. Эти продажи приносили средний убыток в размере 80 000 долларов на дом (Swartz, 2021).

Кажется, что этот бизнес с переворачиванием потерпел фиаско.

Но почему эта многообещающая новая возможность обернулась так плохо? Была ли это вина их ценного Zestimate или что-то совсем другое?

Самое ценное

Давайте немного поговорим о Zestimate. Какова была его первоначальная цель? Я думаю, что директор по аналитике Стэн Хамфрис хорошо сформулировал это в интервью, которое он дал в 2017 году:

С момента запуска Zestimate мы хотели, чтобы это стало отправной точкой для разговора о домашних ценностях. Это не конечная точка.

Это должно стать отправной точкой для разговора о ценности. Этот разговор, в конечном счете, должен включать другие средства оценки, включая профессионалов в области недвижимости, таких как агент, брокер или оценщик; люди, которые имеют экспертное представление о местных районах и видели внутреннюю часть дома и могут сравнить его с другими сопоставимыми домами. (Кригсман)

Кажется довольно очевидным, что бизнес iBuying использует алгоритм Zestimate совершенно иначе, чем он был разработан. В том же интервью Хамфрис описывает, что их Zestimate сбалансирован и что они настроили его таким образом, что ровно половина домов переоценена, а половина недооценена (Krigsman, 2017).

Это отлично подходит для того, чтобы потребители понимали цену своего дома, но совершенно не оптимально для того, чтобы пытаться предложить лучшее предложение по отдельному месту. Теоретически оптимальная модель покупки дома почти всегда должна занижать справедливую рыночную стоимость недвижимости.

Это не означает, что Zillow не настроил модель должным образом, чтобы удовлетворить свои потребности в iBuying. Я ожидаю, что они это сделали, но все же кажется, что они не вернулись к чертежной доске с четкими предположениями, с которых они начали. Делая мгновенные предложения, кажется, что они полностью упустили очень важные данные «профессионалов, оценщиков и сопоставимых домов».

Судя по сообщениям прессы об этом инциденте, генеральный директор Zillow явно перекладывает вину на модель машинного обучения и команду машинного обучения. Он говорит: «Мы не смогли точно спрогнозировать будущие цены на жилье в разное время в обоих направлениях намного больше, чем мы смоделировали, насколько это возможно» (Леви, 2021). Действительно ли проблема заключается в моделях или их недостаточной точности?

Настоящие проблемы

Хотя возможно, что модели «просто были недостаточно хороши», я думаю, что в игру вступают более серьезные силы. Во-первых, давайте посмотрим на самого Рича Бартона. Он очень успешный предприниматель. Помимо основания Zillow, он также основал Expedia и Glassdoor. Если мы посмотрим на то, как его предыдущие организации зарабатывали деньги, то это на быстрых коммерческих онлайн-транзакциях. Идеальная экосистема для использования машинного обучения и искусственного интеллекта.

Так начинал Zillow, но с платформой Zillow Offers они попытались развиваться. И эта эволюция имела очень специфические характеристики, которые не предвещали ничего хорошего для типов моделей, которые они использовали. Во-первых, обмен домами — это не быстрая интернет-транзакция. Наилучшие данные, которые я нашел, говорят о том, что в среднем переворот занимает около шести месяцев. Это значительно медленнее, чем любая транзакция, чем любая транзакция, которая ранее происходила на любой из этих платформ. К этому моменту перепродажа домов требует прямого труда от найма подрядчиков для ремонта купленных домов. Это еще одна переменная, которая может создать много сложностей для онлайн-бизнеса.

Наконец, переворачивание домов — это игра с небольшим объемом и высокими последствиями с неполными данными. Если вы посмотрите на любой из предыдущих бизнесов, могу поспорить, что транзакций на тысячи, а возможно, и на миллионы больше, чем в бизнесе по перепродаже домов. В этом случае меньше рисков для бизнеса и для потребителя. Для потребителя, каков реальный недостаток нажатия на неправильное объявление по сравнению с продажей дома, когда вы не должны были? В этих сценариях с большими объемами машинное обучение может процветать, часто полностью без присмотра.

В сценариях с меньшими объемами и более серьезными последствиями потребитель более склонен обращать внимание на детали и крайние случаи. Модели должны быть более детализированными и, вероятно, должны иметь дополнительный человеческий контроль.

Это особенно важно на рынке недвижимости. Во-первых, данные на основных сайтах часто неверны. Во-вторых, почти в каждом доме есть какая-то версия пограничного случая. Например, квартира может быть рядом с пожарной станцией, или ваш ранее беспрепятственный вид на океан может быть испорчен строящимся новым жилым комплексом. Существует бесконечное множество причин, по которым дом может быть продан по цене ниже рыночной, которые очень легко увидеть человеку, но очень трудно понять компьютеру из данных.

Сезон для всего: время строить и время разрушать

Поэтому они пытались применить машинное обучение к неправильному типу бизнес-модели. Большинство специалистов по данным скажут вам, что обычно это не приводит к потерям в сотни миллионов долларов. Предполагается, что специалисты по работе с данными должны тестировать вещи, многократно улучшать их и ограничивать риск ухудшения. Как же тогда этот проект привел к таким астрономическим потерям?

Наиболее очевидным выводом будет то, что пандемия как-то связана с этим. И в каком-то смысле это правильно. С другой стороны, во время пандемии мы столкнулись с одним из самых горячих рынков недвижимости в истории. Как Зиллоу оказался в этом проигравшим?

Похоже, проблема Zillow заключалась в том, что их модель не была рассчитана на быстрое движение рынка. И, честно говоря, я не думаю, что это плохо. Модели должны быть успешными в «большинстве случаев», и я думаю, что большинство случаев не включают глобальную пандемию. С другой стороны, реальная вина ложится на лиц, принимающих решения. Зачем вам продолжать использовать модель на невероятно нестабильном рынке, где ваша предсказательная сила снижается?

Ответ заключается в том, что Zillow гнался за квотой. У них был страх упустить рынок и возможности, поэтому они продолжали работать, даже несмотря на то, что эффективность их модели падала. В разгар пандемии они установили квоту в 5000 транзакций в месяц для бизнеса Zillow Offers (Williams, 2019).

Это полная противоположность тому, что сделал бы хороший специалист по науке о данных. Если вокруг вашей модели есть неопределенность, вы должны остановить ее запуск. Вот как вы устраняете риск в этом сценарии.

Этот толчок к транзакциям привел к довольно сумасшедшим результатам. Во-первых, давайте подумаем, как хорошая модель будет работать в этом сценарии. В хорошей модели вы почти всегда хотели бы, чтобы то, что предлагает Zillow, было бы меньше, чем реальная рыночная стоимость. В худшем случае вы не купите дома, потому что предложили слишком низкую цену. При использовании другой модели наихудший возможный результат будет заключаться в том, что вы купите все дома по цене, превышающей рыночную, и вам придется продавать их по более низкой цене. Если вы оптимизируете сделки, а не прибыль, вы попытаетесь продать дома по цене, которую возьмет покупатель, которая, вероятно, очень близка к рыночной стоимости или превышает ее.

В этот период вы начали видеть, как Zillow предлагает купить дома людей по цене выше рыночной, а затем продать их им обратно по цене ниже рыночной. Действительно сумасшедший. Я не говорю, что точной переменной результата для алгоритмов Zillow были транзакции, это почти определенно не так. С другой стороны, похоже, что он почти начал вести себя таким образом, исходя из того, насколько плохими были некоторые результаты.

Была ли это ошибка алгоритма? Было ли это плохим машинным обучением? По моему мнению, это была ошибка руководства и менеджмента, которая привела к появлению этих безудержных моделей. Это была плохая структура стимулов для алгоритмов, которые они использовали.

Заключение

Итак, что мы можем вынести из этой катастрофы? Является ли машинное обучение злом? Должны ли мы никогда не использовать его снова, потому что это приведет к банкротству?

Я надеюсь, что это не то, что вы забираете. Посмотрев на этот сценарий, я думаю, становится совершенно ясно, что машинное обучение — это просто инструмент, который мы можем использовать. Если мы не будем контролировать этот инструмент или создадим для него плохую систему стимулирования, он может убежать и создать масштабную катастрофу.

Я не думаю, что генеральный директор Zillow осознавал, насколько разительно отличаются проблемы, которые он ранее решал с помощью машинного обучения, от бизнеса по смене домов. Я также думаю, что страх упустить выгоду или, возможно, даже жадность привели к тому, что компания позволила модели выйти из-под контроля, вместо того чтобы смягчить ее и снизить риски.

Честно говоря, я думаю, что у Zillow мог бы быть чрезвычайно прибыльный бизнес по продаже домов, который включает машинное обучение. Хотя я просто не думаю, что мир или рынок готовы к бизнесу, который полностью автоматизирован так, как это придумал Zillow. Я думаю, что если бы они объединили свою модель Zestimate с профессиональным мнением, как это было задумано, они бы все равно сидели на прибыльной отрасли бизнеса, а не ампутировали ее.

Если вы хотите видеть больше подобного контента, не забудьте подписаться на меня на Medium и подписаться на мою рассылку, чтобы получать еженедельные обновления о моем создании контента и о дополнительных учебных ресурсах в области науки о данных!

Спасибо за чтение и удачи в вашем путешествии по науке о данных!

Ссылки

  1. Кригсман, М. (2017).Zillow: Машинное обучение и данные разрушают рынок недвижимости. ZDNet. https://www.zdnet.com/article/zillow-machine-learning-and-data-in-real-estate/
  2. Леви, А. (2021). Акции Zillow упали на 25 % до самого низкого уровня с июля 2020 года после того, как компания вышла из бизнеса по покупке жилья. Си-Эн-Би-Си. https://www.cnbc.com/2021/11/03/zillow-stock-plunges-24percent-after-company-exits-home-buying-business.html
  3. Нельсон, Т. (2021). Столкнувшись с финансовыми потерями, Zillow закрывает предложения Zillow по продаже жилья. Архитектурный дайджест. https://www.architecturaldigest.com/story/zillow-terminates-home-flipping-division-zillow-offers
  4. Равиндран, СК (2021). Бесценные уроки науки о данных, которые можно извлечь из краха перевернутого бизнеса Zillow. На пути к науке о данных. https://towardsdatascience.com/invaluable-data-science-lessons-to-learn-from-the-failure-of-zillows-flipping-business-25fdc218a62
  5. Рихтер, В. (2021). Zillow выходит из строя, потерял 1,4 миллиарда долларов из-за перепродажи домов с 2019 года, выручает, увольняет 25% персонала, акции падают дальше. Волчья улица. https://wolfstreet.com/2021/11/02/zillow-comes-unglued-lost-1-4-billion-on-flipping-houses-since-2019-bails-out-lays-off-25-of -посох-запас-погружается-дальше/
  6. Шварц, Дж. (2021). Zillow, чтобы навсегда прекратить продажу домов, поскольку он может потерять более 550 млн долларов, уволит четверть сотрудников. Обзор рынка. https://www.marketwatch.com/story/zillow-to-stop-flipping-homes-for-good-as-it-stands-to-lose-more-than-550-million-will-lay-off -четверть штаба-11635885027
  7. Таллман. Х. (2021). Как Zillow перевернулся с помощью искусственного интеллекта Инк. https://www.inc.com/howard-tullman/how-zillow-got-flipped.html
  8. Вашишта, В. (2021). Компания Zillow показала будущее машинного обучения. Наука о данных с высокой рентабельностью инвестиций. https://vinvashishta.substack.com/p/zillow-just-gave-us-a-look-at-machine
  9. Уильямс, Т. (2019). Zillow надеется приобретать 5000 домов в месяц в США и нанимает Шарлотту, чтобы не отставать от спроса. Аксиос Шарлотта. https://charlotte.axios.com/149215/zillow-charlotte/

Подпишитесь на DDIntel Здесь.

Присоединяйтесь к нашей сети здесь: https://datadriveninvestor.com/collaborate