Взгляд венчурного капитала Астейши Майерс на машинное обучение, облачную инфраструктуру, инструменты для разработчиков, открытый исходный код и безопасность. Зарегистрируйтесь здесь.

🚀 Товары

Dagster 1.0 и Dagster Cloud GA

После трех лет разработки Элементл выпустила Dagster 1.0 и Dagster Cloud. Dagster — это решение для оркестровки данных, ориентированное в первую очередь на опыт разработчиков. Dagster Cloud — это размещенная служба для Dagster с полностью бессерверными или гибридными развертываниями, собственным ветвлением и готовыми CI/CD. Dagster позволяет командам централизовать свои метаданные в одном инструменте со встроенными возможностями наблюдения, диагностики, каталогизации и происхождения, чтобы помочь выявить любые проблемы и возможности повышения производительности.

Почему это важно? Современный стек данных — самая большая тенденция в данных за последние три года. Оркестровка данных является ключевым компонентом, поскольку позволяет специалистам по данным программно создавать, планировать и отслеживать конвейеры данных. Было много споров о плюсах и минусах Airflow, самого популярного решения для оркестрации данных. Появились более новые альтернативы, такие как Dagster и Prefect, чтобы исправить его проблемы.

Аффинно

Affine — это совместная база знаний нового поколения с открытым исходным кодом, альтернативная Notion и Miro. Он включает в себя редактирование и совместное использование в реальном времени, а также использует подход, ориентированный на конфиденциальность, поскольку все данные пользователей хранятся локально. За последние две недели Affine набрал около 6,6 тыс. звезд на GitHub.

Почему это важно? Исторически проекты с открытым исходным кодом были сосредоточены на уровне инфраструктуры. Мы все чаще видим альтернативы приложениям SaaS с открытым исходным кодом, такие как Affine. Чаще всего решения прикладного уровня с открытым исходным кодом ориентированы на технических пользователей. Другие альтернативы с открытым исходным кодом включают Cal.com (Calendly), NocoDB (Airtable), Mattermost (Slack) и другие. Посмотрите еще несколько проектов здесь.

Астро 1.0

Astro — это веб-фреймворк для создания быстрых контент-ориентированных веб-сайтов. Он включает рендеринг на стороне сервера, оптимизацию изображений, поддержку Markdown, сборки рендеринга на стороне сервера (SSR) и Vite 3.0. Astro использует островную архитектуру, которая отображает HTML-страницы на сервере и вставляет заполнители вокруг высокодинамичных областей. Такой подход допускает частичную гидратацию.

Почему это важно? Astro вписывается в более широкую тенденцию JAMstack, которая отделяет уровень веб-интерфейса от данных и бизнес-логики. Vercel и Netlify вписываются в эту тему и на данный момент являются одними из самых быстрорастущих компаний по разработке инструментов. В отличие от альтернатив, которые используют подход все или ничего к гидратации на стороне клиента, Astro позволяет разработчикам выбирать разделы, которые будут интерактивными.

📰 Контент

«Введение в потоковую передачу данных для специалистов по обработке и анализу данных», написанный идейным вдохновителем машинного обучения Чипом Хьюеном, подчеркивает, что по мере того, как машинное обучение движется в сторону реального времени, технология потоковой передачи становится все более популярной. важно для специалистов по данным. Она обсуждает, как потоковая передача полезна для машинного обучения, включая 1) онлайн-прогнозирование (по сравнению с пакетным прогнозированием), 2) мониторинг в реальном времени (по сравнению с пакетным мониторингом) и 3) непрерывное обучение (по сравнению с ручным переобучением).

Почему это важно?Инфраструктура переходит от пакетной обработки к потоковой. Эту тенденцию лучше всего иллюстрирует Confluent, бизнес, стоящий за Kafka, распределенной платформой потоковой передачи событий, которая получила широкое распространение. Теперь охват потоковой передачи выходит за рамки рабочих нагрузок данных и ML.

"Расширенное машинное завершение кода повышает продуктивность разработчиков» – это блог Google, в котором обсуждается их новый инструмент разработки. Google создал комбинированное машинное обучение и семантический движок на основе правил, чтобы обучить систему на основе преобразователя выполнять автодополнение кода во внутренней кодовой базе Google. Google посмотрел, как 10 000 сотрудников Google использовали эту возможность в течение трех месяцев. Они увидели сокращение времени итерации кода на 6% (переключение между сборками и тестами) и сокращение переключения контекста на 7% (выход из IDE). В настоящее время 3 % нового кода (измеряемого в символах) генерируется за счет принятия предложений по завершению машинного обучения.

Почему это важно?Существует множество примеров моделей-трансформеров, используемых для завершения кода, от Google до GitHub Copilot и Amazon CodeWhisperer. Это говорит о более широкой тенденции к тому, что большие языковые модели становятся все более заметными. Будет интересно посмотреть, как машинное обучение применяется к другим аспектам рабочего процесса разработчика, включая тестирование, проверку кода, рефакторинг и т. д.

«Эксперты по API — почему платформа API важна» — это беседа между Роопаком Венкатакришнаном, техническим директором Bolt, и командой Speakeasy. Венкатакришан определяет платформу API и то, как проектировать архитектуру API. Платформы API важны для превращения разработки API в повторяемую задачу для внутренних разработчиков. Повторяемость имеет решающее значение для предоставления согласованного опыта внешним разработчикам. Платформа API должна обрабатывать все операции API (каждый аспект создания API, кроме бизнес-логики).

Почему это важно?С переходом на микросервисы API заняли центральное место. Надлежащее создание, тестирование и мониторинг API может быть сложной задачей, поэтому команды создают платформы API, чтобы улучшить опыт разработчиков. Создание платформ API часто возглавляет инженерия платформ, дисциплина проектирования и создания цепочек инструментов и рабочих процессов, которые обеспечивают возможности самообслуживания для организаций по разработке программного обеспечения в эпоху облачных вычислений. Разработка платформ возникла из движения DevOps и становится все более распространенной ролью.

💼 Вакансии

⭐️Speakeasy — Основатель UX-лида

⭐️Hex — Облачный инженер

⭐️Claypot — Инженер-основатель (инфра)