Точные, доступные и совместимые климатические данные имеют решающее значение для решения нашего глобального климатического кризиса. Вот как OS-Climate использует Data Mesh, чтобы упростить поиск, использование, совместное использование и управление климатическими данными.
OS-Climate решает проблему климата и данных ESG
OS-Climate (OS-C) применяет возможности Open Source, чтобы помочь организациям эффективно использовать данные ESG. Используя эти данные — в сочетании с аналитическими инструментами с открытым исходным кодом — предприятия, финансовые учреждения, правительство и гражданское общество могут обеспечить прозрачность и понимание в областях физического риска и устойчивости, анализа перехода и согласования портфеля с целями Net Zero и адаптации. Видение OS-C состоит в том, чтобы резко увеличить глобальные потоки капитала для смягчения последствий изменения климата и обеспечения устойчивости.
Миссия OS-C — помочь организациям определить, работают ли они, инвестируют или сотрудничают с компаниями, которые соответствуют целям Парижского соглашения и ценностям ESG. И для этого OS-C создает техническую основу инструментов с открытым исходным кодом для организации и предоставления данных о климате и ESG.
Но на этом пути есть фундаментальное и коварное препятствие: достоверные данные ESG о климате чрезвычайно сложно найти, использовать, делиться ими и управлять ими.
Чтобы преодолеть это препятствие, OS-C находится на пути к принятию принципов «сетки данных» с целью упростить поиск, потребление, совместное использование и управление данными ESG и климатическими данными.
В этой статье описывается путешествие по сетке данных OS-C.
Достоверные климатические данные трудно найти, использовать, делиться ими и управлять ими
ESG и климатические данные являются основополагающим фактором для OS-C. Но эти данные меняются буквально каждое мгновение, каждый день, каждый год:
- Объем данных ESG и климатических данных стремительно растет, поскольку инфраструктура приспособлена для сбора данных о выбросах, а все больше и больше компаний предпочитают публиковать свои данные о выбросах.
- Изменчивость ESG и климатических данных растет в геометрической прогрессии по мере того, как становятся доступными более разнообразные данные.
- Ценность ESG и климатических данных резко возрастает, поскольку регулирующие органы, а также инвесторы требуют доступа к этим данным.
И эта ситуация осложняется фундаментальной проблемой: ESG и климатические данные трудно найти, использовать, делиться ими и управлять ими. ESG и климатические данные:
- Распределены буквально по тысячам источников данных, что затрудняет их поиск.
- Неструктурирован, что затрудняет понимание и потребление.
- Непоследовательно, что затрудняет обмен, сравнение и агрегирование.
Цель OS-C — преодолеть эти препятствия и сделать ESG и климатические данные легкими для поиска, использования, обмена и управления. Для достижения этой цели OS-C:
- Создание экосистемы продуктов данных, также известной как сетка данных, которая упрощает поиск, понимание и доверие ESG и Climate.
- Создание федеративной модели источников и управления, соответствующей принципам Data Mesh, которая сочетает общедоступные данные или «открытые» данные, которые могут использоваться кем угодно, а также частные данные, которые налагают индивидуальные контракты между производителями и потребителями климатических данных.
- Разработка платформы данных «самообслуживания», соответствующей принципам Data Mesh, для разблокировки данных ESG и Climate.
OS-Climate: создание экосистемы продуктов ESG/климатических данных
В настоящее время Data Mesh становится современным подходом к решению крупномасштабных проблем с данными для крупных предприятий. Но принципы, которые делают Data Mesh столь ценным для предприятий, также делают его идеальным подходом к решению проблем с данными, которые решают OS-C и его партнеры по экосистеме.
Но что такое сетка данных? Прежде всего, это основополагающая книга Сетка данных, предоставление ценности, основанной на данных, в масштабе Жамака Дехгани. И есть ряд замечательных статей, доступных здесь (шаблоны), здесь (архитектура), здесь (принципы) и здесь (извлеченные уроки), которые предоставят более подробную техническую информацию о Data Mesh.
Для наших целей мы определим Data Mesh как экосистему взаимодействующих «продуктов данных». Продукт данных — это, упрощенно говоря, способ обращения с данными как с продуктом. Каждый продукт данных:
- Имеет четкую границу,
- Участвует в экосистеме производителей и потребителей,
- Использует платформу, чтобы упростить поиск, использование, совместное использование и управление данными,
- Публикует метаданные, обеспечивающие самообслуживание и обнаружение, а также
- Придерживается четкого набора стандартов управления, уважая местную автономию.
Наши причины для применения принципов сетки данных основаны на следующем обосновании.
Во-первых, применение принципов Data Mesh упростит поиск, использование, совместное использование и управление продуктами ESG и климатическими данными:
- Data Mesh определяет домены данных — общепризнанные границы и места для надежных ESG и климатических данных — что обеспечивает важный первый шаг в поиске данных в нашем сильно распределенном и разнообразном ландшафте ESG и климатических данных.
- Сетка данных определяет владельцев доменов данных, что позволяет отдельным лицам или группам предлагать способы сделать данные пригодными для использования.
- Сетка данных реализует модель «самообслуживания», в которой доступ к областям данных осуществляется через стандартные и согласованные механизмы (например, через API или другие распространенные/открытые методы), упрощая обмен данными внутри и между организациями.
- Data Mesh предлагает «федеративную» модель управления, которая дает владельцам данных локальную автономию для наиболее эффективного соблюдения региональных потребностей и различных нормативных требований, а также облегчает федеративное управление и надежность данных.
Во-вторых, применяя эти принципы, OS-C может создать экосистему продуктов данных (также известную как Data Mesh), в которой каждый продукт климатических данных является обнаруживаемым, адресуемым, интероперабельным, самоописываемым, надежным и безопасным.
Экосистема продуктов ESG и климатических данных OS-Climate будет реализовывать возможности Data Mesh с использованием компонентов с открытым исходным кодом, в том числе:
- Каталог данных, который позволяет легко находить данные.
- Общие службы связи, упрощающие доступ к данным.
- Распределенные «продукты данных», которые имеют четкие границы и владельцев для обеспечения быстрого принятия решений, и,
- API в каждом продукте данных, которые упрощают доступ к данным и обмен данными.
Благодаря этим возможностям сетки данных информационные продукты упростят поиск, потребление, совместное использование и управление данными ESG и климата, что приведет к лучшему и более быстрому пониманию, сокращению времени выхода на рынок для доступности данных ESG и климата, снижению затрат. и накладные расходы на обеспечение наличия и доступности данных ESG и Climate.
OS-Climate: создание федеративной модели сорсинга
В соответствии с принципами федеративного управления Data Mesh OS-C создает модель «федеративного источника», которая сочетает общедоступные или «открытые» данные, которые могут использоваться кем угодно, а также частные данные, которые налагают специальные контракты между производителями климатических данных. и потребителей.
Федеративная модель источников OS-C будет стремиться к созданию общих данных, где мы устанавливаем приоритетные лицензии для ограниченного использования, тем самым упрощая потребление и обмен данными ESG и Climate. Мы предвидим возможность климатические данные как услуга, которая по умолчанию открыта, но с четкими лицензиями на доступ и использование закрытых данных. Этот подход основан на практике, установленной IB1 (Ледокол 1).
OS-Climate: создание самообслуживаемой ESG и климатической платформы
OS-C создает платформу «самообслуживания», которая упростит поиск, использование и обмен данными ESG и Climate.
OS-Climate предусматривает экосистему продуктов с открытым исходным кодом, предлагающих возможности «от модели до микросервиса», охватывающие множество ключевых групп, включая руководителей бизнеса, специалистов по данным, разработчиков и операционный персонал. Популярные инструменты с открытым исходным кодом интегрированы в цепочку создания ценности ESG и климатических данных OS-C, включая Spark, Kafka, Jupyter, Trino и Prometheus, и это лишь некоторые из них.
И цель OS-C состоит в том, чтобы сделать каждый элемент цепочки создания стоимости структурированным как «самообслуживание», предоставляя локальную автономию и контроль глобальным группам ESG и климатических данных.
Для поддержки этих возможностей OS-C инвестирует в «Фабрику продуктов данных ESG/климата» с повторяемыми шаблонами и процессами, которые упростят создание, защиту, развертывание и управление продуктами данных.
Важно отметить, что OS-Climate разрабатывает эти информационные продукты как общественное благо, и эти продукты не предназначены для конкуренции с информационными продуктами коммерческих поставщиков данных, а скорее для поддержки коммерческих инноваций коммерческих поставщиков, например, членов OS-Climate. S&P Global и Группа Лондонской фондовой биржи
Заключительные мысли
Изменение климата — это кризис, который затрагивает каждого человека на этой замечательной планете Земля. OS-Climate предпринимает несколько шагов, чтобы облегчить участие организаций, правительств и неправительственных организаций в преодолении этого кризиса.
OS-Climate — это сообщество практики и действий. Они приветствуют большой или малый вклад инженеров по данным, специалистов по данным, инженеров-программистов, аналитиков, профильных экспертов, руководителей продуктов и менеджеров проектов. Присоединяйтесь к нам, чтобы создавать, развивать и развивать OS-Climate для достижения лучших результатов в области климата! Свяжитесь с OS-Climate или нажмите здесь, чтобы узнать больше.
***
Об ОС-Климат
OS-Climate (OS-C) — это некоммерческая неконкурентная организация, перед которой стоит смелая задача — использовать инструменты с открытым исходным кодом для объединения ESG и климатических данных, необходимых для решения проблемы изменения климата, одной из самых серьезных проблем нашего времени.
Видение OS-C состоит в том, чтобы объединить наилучшие доступные данные, моделирование, вычисления и науку о данных во всем мире — в соответствии с лучшими исследованиями во всех соответствующих областях науки и научно обоснованных методологиях — в улучшенную ИИ физико-экономическую модель, которая функционирует как операционная система, позволяющая использовать мощные приложения для интегрированного инвестирования в климат в мире, где будущее будет сильно отличаться от прошлого.
Цель OS-C состоит в том, чтобы быстро ускорить смещение глобальных инвестиций от относительно интенсивных по выбросам парниковых газов и уязвимых к изменению климата компаний, технологий и инфраструктуры к смягчению последствий, устойчивости и адаптации, которые являются финансово устойчивыми и высокоэффективными, особенно в развивающихся странах. а также для разработки более эффективной политики, которая эффективно вовлекает рынки капитала в решение проблемы изменения климата.
Платформа OS-C ускорит разработку инструментов прогнозного анализа на основе сценариев для управления рисками, связанными с климатом, и инвестиционных продуктов для финансирования климатических решений во всех регионах, секторах и классах активов. Сообщество практики и действий с открытым исходным кодом OS-C, использующее высокоразвитые инструменты лицензирования, структурированного сотрудничества и управления сообществом Linux Foundation, будет служить сообществу заинтересованных сторон и позволит координировать усилия по приоритетным данным и потребностям моделирования, сосредоточив общие ресурсы. на выполнение этих приоритетов и ускорение принятия.
OS-C спонсируется международным сообществом участников, охватывающим банки, управляющих активами и поставщиков технологий. OS-C использует технологию с открытым исходным кодом для разработки данных и инструментов, необходимых для достижения климатических целей Парижского соглашения. Более подробную информацию об OS-Climate и ее миссии, видении и дорожной карте можно найти здесь.
Дополнительные ресурсы OS-Climate перечислены ниже:
- Открытие данных, связанных с климатом, с помощью открытого исходного кода и архитектуры сетки данных (Винсент Калдейра / Эрик Эрландсон, ODSC West, 17 ноября 2021 г.)
- Поощрение финансирования мер по борьбе с изменением климата с помощью платформы климатических данных с открытым исходным кодом (Винсент Калдейра / Эрик Эрландсон, Red Hat Summit 2022)
***
Эрик Брода – архитектор OS-Climate и президент Broda Group Software – специализированной консалтинговой фирмы, которая помогает компаниям ускорить процесс создания сетки данных.
Все изображения в этом документе, если не указано иное, были созданы Эриком Брода (автором этой статьи) или использованы с его разрешения. Значки, используемые в изображениях, являются стандартными значками PowerPoint и не защищены авторскими правами.
Мнения, выраженные в этой статье, являются исключительно моими и не обязательно отражают точку зрения моих клиентов.