Как сделать Snowflake серверной базой данных приложения для быстрого поиска

Чтобы сэкономить на хранении, мы планируем перейти с Aurora / Mysql на Snowflake для одного из вариантов использования, в котором мы храним информацию, относящуюся к аудиту. Мы храним всю информацию аудита в Aurora, чтобы дать нам задержку в миллисекундах, когда мы объединяем эту Aurora в приложение.

У нас есть огромное количество информации аудита, размер которой составляет 12 ТБ, есть также текстовый столбец, и он растет. Теперь, чтобы сэкономить деньги и иметь в виду будущий рост, мы изучаем другой вариант, когда мы можем сэкономить деньги и производительность также будет соответствовать. пока мы проводим исследования, чтобы узнать о Snowflake, и мы делаем POC по этому поводу, но я наблюдаю, что поиск по идентификатору по первичному ключу не дает нам производительности, такой же, как Aurora Mysql.

Мне нужен совет экспертов, как сделать Snowflake в качестве серверной части нашего приложения, где я могу выполнять вставку / обновление / удаление и отображать запись непосредственно из базы данных Snowflake.


person Atharv Thakur    schedule 13.10.2020    source источник
comment
Сценарии использования Snowflake больше ориентированы на производительность, а не на хранение. Хотя стоимость хранения дешевле.   -  person PIG    schedule 13.10.2020
comment
Первичный ключ не применяется в Snowflake, какой размер хранилища вы используете? Вы создали индекс кластеризации для столбца ID.   -  person PIG    schedule 13.10.2020


Ответы (1)


Не делай этого.

Я прочитал из требований в вопросе, что вы ищете серверную часть, которая будет:

  • Получить строки по идентификатору в миллисекундах.
  • Будьте бэкэндом для приложения, которое постоянно обновляет и удаляет.

Это не сильные стороны Snowflake и не то, за что люди ее любят.

Узнайте больше о сильных сторонах Snowflake и рабочих нагрузках, для которых вы бы его использовали, на https://www.snowflake.com/cloud-data-platform/.

person Felipe Hoffa    schedule 13.10.2020