Alibaba теперь может «предсказывать будущее» с помощью своего всемогущего движка потоковых вычислений (часть 2).

Его приложения выходят далеко за рамки вашего воображения.

Напомним, что Цзян и его команда разработали движок для обработки потоков больших данных в реальном времени под названием Blink, и он внес значительный вклад в объем транзакций в размере 120,7 млрд юаней во время фестиваля Double 11 в 2016 году. Но на этом азарт не закончился. (Вы можете вернуться к части 1 здесь)

5) Переход на следующий уровень

Наступающий 2017 год не может быть более захватывающим для Цзяна. Вскоре Alibaba Group осознала важность механизмов больших данных и решила скорректировать свою организационную структуру и максимально использовать возможности компании для разработки механизмов больших данных. Они назначили Чжоу Цзинжэня, бывшего главного научного сотрудника Ali Cloud, известного как «Дзен-мастер» в Alibaba, создать подразделение вычислительных платформ, чтобы объединить три лучшие команды разработчиков потоковых вычислений в компании. .

Три движка включали: JStorm от команды промежуточного программного обеспечения Али, Galaxy из облака Али и Blink от поисковой группы Alibaba.

Цзян и Ван, которые участвовали в официальной конференции Flink Forward в США, были весьма обеспокоены, узнав, что эксперт Чжоу Цзинжэнь отвечает за объединение трех команд. Они знали, что весьма вероятно, они продолжат только один из трех технических маршрутов после интеграции.

Цзян определенно считал, что его технологический путь с открытым исходным кодом имеет наилучшие перспективы. Тем не менее, честно говоря, структура Galaxy была столь же превосходной, и что самое важное, Galaxy была разработана командой Чжоу. Хотя Alibaba не одобряет технический маршрут из-за своих близких отношений, нельзя отрицать знакомство Чжоу с Галактикой.

В то время Цзян мало знал о своем новом лидере; таким образом, он абсолютно не мог предсказать, что произойдет.

«Я боялся потерять работу после возвращения», - вспоминал Цзян.

Когда Чжоу пришел к Цзяну после того, как он вернулся в Китай, сердце Цзяна почти забилось у него в горле. Затем Чжоу сказал: «Я планирую, чтобы вы возглавили объединенную команду, вы трое могли бы вместе обсудить будущий технический маршрут, что вы думаете?»

Это означает, что Цзян внезапно возьмет на себя командование большой командой из 80 человек (напомним, что первоначально у него было пятеро). Он расслабился, пока они не были вынуждены выбрать один технический путь, он был уверен, что убедит лидеров Galaxy и JStorm. Учитывая, что величие Blink заключено в конкретном плане, было разумно определить лучшую из них.

Цзян напомнил, что «переговоры» с двумя другими техническими руководителями длились целую неделю. Поскольку выбор технического маршрута повлияет на технологическое развитие Alibaba в ближайшее десятилетие или больше, никто не осмеливался торопить процесс принятия решений.

Ближе к концу была тесная связь между Blink и Galaxy, но сообщество открытого исходного кода Flink убедило сторонников Galaxy. Кроме того, Flink в то время был более известен, чем два года назад, и сформировал крупное сообщество. В Китае Tencent, Didi, Meituan и другие компании также уже начали создавать свой движок потоковых вычислений с помощью Flink.

Поскольку бесчисленные отечественные и зарубежные эксперты будут вносить свой вклад в код Flink в этом сообществе, архитектура, построенная на этой базе с открытым исходным кодом, будет расти намного быстрее. Таким образом, Blink официально стал козырем вычислительной машины Alibaba.

6) Blink и 168,2 миллиарда юаней

«Козырь» - это гораздо больше, чем просто славный титул.

На фестивале Double 11 в 2017 году Blink получила задание по поддержке потоковых вычислений для всей группы Alibaba, включая Alibaba, Ali Cloud и Cainiao.

Теоретически не должно быть слишком сложно адаптироваться к большему количеству систем, поскольку поисковая задача, выполненная Blink на фестивале Double 11 в 2016 году, заложила отличную основу. Единственное препятствие - то, что Blink пришлось взять на себя вычисление всех данных транзакций в режиме реального времени в фоновом режиме.

Вычисление транзакционных данных - это ядро ​​бизнеса Taobao Tmall. Это основная основа, поддерживающая оплату и распространение. Более того, многие другие вычисления полагаются исключительно на результаты данных транзакции.

Это как мука в пекарне, независимо от того, какой пирог вы делаете, мука абсолютно необходима (ну, если вы не хотите, чтобы она была без глютена). Если возникнут проблемы с поставкой муки, вся пекарня окажется в кризисе. Следовательно, независимо от того, насколько велик объем, вычисление транзакционных данных должно быть стабильным, быстрым и в режиме реального времени. В случае каких-либо ошибок потери будут сверх меры.

Количество транзакций в реальном времени, отображаемых на главном экране фестиваля Double 11 каждый год, также было рассчитано на основе статистики транзакций. Другими словами, если Blink выйдет из строя в тот день, это не только существенно повлияет на работу Taobao Tmall, но и приведет к немного замечательному результату: громкость, отображаемая на главном экране, останется на уровне «0». Каждый гражданин двадцать первого века знал, как быстро скандал может распространиться по земному шару через все виды средств массовой информации, особенно в Интернете.

Поскольку эту основную задачу в последние три года (2014–2016 гг.) Всегда выполняла именно Галактика, все автоматически склонялись к более безопасному решению. То есть подготовка Galaxy в качестве резервной копии для обеспечения плавного продвижения в случае поломки Blink.

Однако объем Double 11 в 2016 году составил 120,7 миллиарда юаней, согласно опыту, накопленному за многие годы, объем 2017 года может легко превысить 150 миллиардов юаней (и оказывается, что он достигает 168,2 миллиарда). Учитывая программную архитектуру Galaxy, она вряд ли устоит без большой оптимизации. В результате, «новичок Блинк» был доставлен на поле битвы с флагом «обязательно сработать, нельзя провалить», с двумя другими Блинк-линками в качестве резервных.

«Несмотря на то, что вероятность успеха близка к 100%, могут возникнуть неизвестные ситуации, если есть неизвестные дефекты в конструкции Blink или если аппаратное обеспечение двух резервных каналов сломается одновременно, оба могут привести к катастрофе», - вспоминал Цзян. .

За неделю до Double 11 Ван и члены команды уже оптимизировали движок Blink для идеальных условий. Затем, чтобы обезопасить себя на 200%, Цзян послал инженера предложить благовония в храм Тяньчжу Факси (один из самых известных буддийских храмов в Ханчжоу).

Веселье началось ровно в полночь 11 ноября 2017 года. Согласно плану, у Blink будет 5 секунд, чтобы вычислить общую сумму торговли в течение первых пяти секунд, а затем отобразить объем транзакций с этого момента в реальном времени.

Эти пять секунд были почти самым продолжительным периодом в жизни Цзяна.

Через три секунды данные о транзакциях в реальном времени отобразились на мониторе перед Цзяном, а через две секунды торговая статистика в реальном времени отобразилась на большом экране. Он расплакался, усилия коллектива за эти годы окупились.

7) Всемогущий Блинк

После двух лет тестирования Double 11 никто никогда не сомневался в возможностях Blink. Это один из самых надежных вычислительных механизмов Alibaba, который применялся для всех сценариев, связанных с потоковыми вычислениями, и даже начал предоставлять внешние услуги. Наиболее широко используются следующие сцены:

1. Статистический анализ в реальном времени.

В индустрии электронной коммерции, особенно во время торговых мероприятий, ситуация может быть крайне непредсказуемой. Каждая статистика запасов и отчет о транзакциях в любую секунду могут выявить поведение клиентов. Анализ таких данных в режиме реального времени может помочь скорректировать стратегию продвижения в любой момент.

2. Машинное обучение онлайн.

Поведение пользователя часто демонстрирует его характеры и предпочтения. Система сможет рекомендовать пользователям наиболее подходящие продукты, анализируя их поведение при просмотре.

В случае, если пользователь просматривал элемент только в течение очень короткого промежутка времени, машина должна будет изучить поведение пользователя в режиме реального времени, чтобы обеспечить отображение наиболее привлекательных продуктов.

3. Контроль финансовых рисков в реальном времени.

Анализ поведения учетной записи в реальном времени позволяет оценить любые опасные транзакции и заблокировать их до того, как они произойдут. Каждое успешное предотвращение мошеннической транзакции - это выкуп реальных денег.

4. Граничные вычисления IoT (пограничные вычисления для Интернета вещей)

На фабриках вычисление данных с производственных линий в реальном времени может снизить вероятность повреждения производственных линий и улучшить долю квалифицированной продукции.

Созданный человеком пророк

Вернемся к сценарию с самого начала: мэйнфрейм города, созданный Ali Cloud, может использовать Blink для прогнозирования пробок на дорогах и открытия жизненных путей для машин скорой помощи в мгновение ока.

По словам главного научного сотрудника Ali Cloud, доктора Мин Ванли, городской мэйнфрейм был также развернут в Куала-Лумпуре, Малайзия, в 2018 году и успешно сократил время прибытия машин скорой помощи на 48,9%.

Напомним, что с помощью Blink потоковые вычисления могут определять состояние производственных линий в реальном времени. Blink и промышленный мэйнфрейм помогли крупнейшему в мире предприятию по производству фотоэлектрических элементов, Xiexin photovoltaic, увеличить количество квалифицированных продуктов на 1%. Это экономия сотен миллионов юаней от ненужных отходов каждый год.

20 декабря 2018 года Alibaba впервые представила Китаю конференцию Flink Forward Conference. Чтобы выразить благодарность сообществу за их помощь, Чжоу объявил на конференции, что Alibaba в будущем будет открывать исходный код движка потоковых вычислений Blink. С января 2019 года каждый может получить доступ к кодам движка, поддерживающим Фестиваль онлайн-покупок Double 11, городской мэйнфрейм, промышленный Интернет вещей и т. Д.

В том же году Ван официально занял должность Цзяна и стал новым руководителем отдела потоковых вычислений. Цзян, с другой стороны, решил продолжить свою «идеальную мечту» о разработке системы хранения данных с движком потоковых вычислений. Другими словами, это будет интерактивная система запросов, чтобы движок мог решать более распространенные вычислительные задачи. Если это все еще звучит немного запутанно, самая классическая система такого типа - это, по сути, наш мозг.

Наш мозг на протяжении всей жизни получает всевозможную информацию, которая вместе формирует базу данных, помогающую нам делать прогнозы будущих событий. Всякий раз, когда поступает новая информация, мы корректируем наши прогнозы на основе этой подробной информации. Такая корректировка, несомненно, также осуществляется в режиме реального времени.

Наши предки случайно коснулись лесного пожара, и с этого момента они научились быть осторожными с огнем. Мы открыли гравитацию, теорию относительности и квантовую механику, основанную на триллионах обратных связей. Это обновления в реальном времени бесчисленных предсказаний бесчисленного количества людей, составляющих нашу историю и цивилизацию.

Единственная разница в том, что все предыдущие предсказания будущего были в наших головах. Кроме того, теперь у нас есть возможность использовать вычислительную мощность для создания механизма предсказания вне тела, созданного человеком пророка. За пророком мы видим тех технических героев, которые улыбаются нам. Их вклад позволил человечеству подготовиться и вооружиться для предсказуемого будущего.

Написано Ши Чжун и предоставлено вам Genoslab