Разрешите представить инструмент тестирования моделей мобильного машинного обучения с кодовым названием Tiffin от ConcurLabs. Основная цель Tiffin - ускорить выпуск новой функции на рынок и значительно повысить удовлетворенность клиентов мобильными приложениями с помощью встроенных моделей машинного обучения (ML). Tiffin также стремится упростить взаимодействие между командой разработчиков модели машинного обучения и группой развертывания модели. Кроме того, Tiffin позволяет оценить производительность функций на основе машинного обучения, прежде чем предоставлять их клиентам. У Tiffin есть хорошо документированный API, который обеспечивает простую интеграцию с существующими конвейерами обучения машинного обучения.
Отказ от ответственности: Tiffin от ConcurLabs является исследовательским прототипом. Пожалуйста, свяжитесь с ConcurLabs для получения дополнительной информации.
Зачем нам нужен Тиффин: история разработки
Model providers: Hi, we have a brand-new model capable of running on a mobile device. It has way better accuracy than the previous one. Model deployers: Awesome, we will test it once we prepare everything for the run. -> 14+ days later, during which the “model deployers” prepare the binaries and evaluate the model Model deployers: The model has better results than the old one, but it is slower by about 10%-20% on our test device. Do you have any suggestions on how to improve the performance? Model providers: We can compare to the old model and see where the difference is. Can you provide us with the old model to check why it is so different from the previous model? -> 14+ days later, during which the teams optimize the new model together Model providers: Here is the latest model. It has a similar performance on the server as the old one and way better accuracy than the old one. Model deployers: Thanks, we tested it with a few mobile devices, and it seems to be as fast as the previous one. We are going to deploy it.
Самая серьезная проблема в вышеприведенной истории - это требование поставки на рынок новых функций. К счастью, благодаря Tiffin можно упростить, распараллелить, оптимизировать и автоматизировать существующий процесс. Внутренние тесты, проведенные ConcurLabs, показали, что Tiffin может сократить первоначальное время вывода продукта на рынок как минимум на 50%.
Tiffin API предоставляет простой способ интеграции обучения существующей / новой модели машинного обучения для планирования автоматизированных тестов. Тесты Tiffin полностью автоматизированы и используют большие настраиваемые пулы устройств, обеспечивая сбор множества результатов. (дополнительная информация: Как запускать приложения iOS в AWS Device Farm)
Результаты тестов можно наблюдать и, при необходимости, исследовать в Tiffin Dashboard. И Tiffin Dashboard, и Tiffin API предоставляют простой способ получить лучшую, тщательно протестированную модель.
Разработчики моделей Tiffin доступны для команд, занимающихся развертыванием моделей, что еще больше упрощает развертывание, поскольку нет необходимости заново изобретать код запуска снова и снова. (дополнительная информация: Минимизация времени вывода машинного обучения в мобильных приложениях / приложениях Интернета вещей)
Каждая функция Tiffin сокращает время вывода продукта на рынок, но настоящая ценность Tiffin заключается в сочетании этих функций. Сочетание тщательно протестированной модели с бегунами моделей Tiffin с моделью, прошедшей тестирование Tiffin, дает чистое решение plug and play. Решение plug & play, которое позволяет «производителям моделей» экспериментировать столько, сколько им нужно, и дает «разработчикам моделей» время для точной настройки UI / UX и предсказуемости управления проектами. , а также удобство для клиентов безупречно работающих функций.
Вторая проблема заключается в том, что у группы поставщиков моделей есть совершенно новая модель, но у них нет никаких показателей или инструментов, которые бы предупредили их заранее, если их новая модель будет работать медленнее, чем их предыдущая. К счастью, Tiffin позволяет легко сравнивать производительность одной модели в нескольких тестовых наборах и различных мобильных устройствах и версиях ОС.
Tiffin также позволяет нам быстро сравнивать производительность различных версий модели в рамках одного набора тестов.
И это даже позволяет вам детализировать, какое оборудование логического вывода для данной модели и набора тестов является наиболее оптимальным.
Третья проблема заключается в том, что команда поставщика модели просит старую модель. Tiffin предоставляет способ загрузить модель, набор тестов и результаты тестов для любых представленных тестов. Также имеется исчерпывающая информация о самой модели, которая еще больше упрощает использование модели.
Зачем нам нужен Тиффин: история удовлетворенности клиентов
-> 1+ days later, after releasing the model to a general audience Project manager: Our significant customer who runs on the following set of devices complains about our app’s poor performance. How can we fix it? Model deployers: Those devices mentioned by the customer are not among those that we use for performance testing. We need to rerun the test and notify the model provider team. -> 14+ days later, after discussions between model provider and model deployer teams Model providers: Here is a new model. Model deployers: We tested customer’s devices, and it works great again. We will find out whether the new version can be released immediately or with the next release. -> 1+ days later, as the app might need to go through Apple’s/Google’s verification process Customer: Finally, I can reasonably use the new feature.
Вы можете столкнуться с новым / существующим клиентом с пулом устройств, который отличается от существующих пользователей. Тем не менее, благодаря Tiffin, вы можете легко изменить текущий пул устройств и повторно запустить существующие задания на новых устройствах, чтобы повторить настройку клиента. Повторный запуск может помочь определить, доступна ли для данного клиента лучшая установка оборудования для логического вывода, и помочь группе поставщиков модели оптимизировать следующую версию модели.
Возможность изменения пула устройств по запросу дает вам мощный инструмент для планирования выпуска новой функции на основе модели. Например, вы можете отложить выпуск до тех пор, пока результаты производительности модели не будут соответствовать ожидаемому критерию или пока пул устройств клиента не запустит модель эффективно. Тиффин дает вам уникальную возможность собирать, наблюдать и настраивать модель с самых ранних этапов.
Зачем нам нужен Тиффин: история тестирования прототипов
Customer: We are using your app and so we would like to ask your company to fine tune your app for our new mobile phone that is not yet avaialable on the market. Project manager: Yes, that should not be a problem. Please could you ship us the device for testing? Customer: Yes, that is possible but we will need to first sign NDA so that the information about new device does not leak out. -> 1+ days later Project manager: Here is the signed NDA. Customer: We are shipping the device to you. -> 1+ days later if the fastest mail delivery chosen Model deployers: We have a new device to test out for comparison of the results.
Транспортные устройства, которые в настоящее время находятся в разработке, могут быть проблемными из-за возможности их потери (example1, example2, example3) во время транспортировки или даже позже во время тестирования. К счастью, с Tiffin нет необходимости отправлять устройство. Клиент Tiffin Benchmark доступен для одобренной группы людей прямо в App Store и Google Play. Это позволяет клиентам установить Tiffin на свое новое устройство и протестировать его без необходимости доставлять свое устройство за пределы своего здания. Он разработан с учетом требований конфиденциальности и безопасности, поэтому любые данные, загруженные на Tiffin, доступны только членам определенной группы.
Инструмент тестирования мобильного машинного обучения с кодовым названием Tiffin от ConcurLabs позволяет упростить и ускорить процесс развертывания модели машинного обучения, а также повысить удовлетворенность клиентов. У Tiffin есть хорошо документированный API, который обеспечивает простую интеграцию с конвейерами машинного обучения. API обеспечивает доступ к подробным результатам по мере необходимости и может использоваться в качестве службы поставщика проверенных моделей. Tiffin хранит модели и их описания, поэтому вы можете повторно запустить данный тест при появлении на рынке новых мобильных устройств. Конфигурация Tiffin позволяет выпускать новые функции для более широкой аудитории и гарантирует, что модели машинного обучения соответствуют ожидаемым критериям производительности. Тиффин готова для вас. Вопрос в том, готовы ли вы к Тиффин?
Отказ от ответственности: Tiffin от ConcurLabs является исследовательским прототипом. Пожалуйста, свяжитесь с ConcurLabs для получения дополнительной информации.
