3 записи с тегом "DataStreams"

Я уже полтора года пишу в этот standalone блог. До этого я писал на Medium. И вот там была классная фича, сделать которую тут у меня все не доходили руки. Это форма подписки на email. Я хотел сделать так, чтобы читатели могли подписаться на новые статьи и получать на почту уведомления. Но я не хотел использовать Mailchimp или подобные сервисы. Я хотел сделать все, используя Yandex Cloud. И вот наконец-то я это сделал. В этой статье я расскажу, как я это сделал.

Кстати, справа вы видите именно эту форму подписки. Если вы хотите подписаться на новые статьи, введите свой email и нажмите кнопку "Подписаться". А теперь давайте разберемся, как это работает.

Паттерн Outbox решает проблему двойной записи, которая возникает в распределенных системах, когда одна операция включает в себя как операцию записи в базу данных, так и отправку сообщения или уведомления.

Двойная запись происходит, когда приложение пишет в две разные системы, например, когда микросервису нужно сохранить данные в базе данных и отправить сообщение для уведомления других систем.

Ошибка в одной из этих операций может привести к не консистентным данным.

Изначально, во время preview, Yandex Cloud Logging предоставлял возможность хранения логов в течение 3 дней. С выходом сервиса в general availability в ноябре 2023 срок хранения логов в Cloud Logging был увеличен до 31 дней по умолчанию. Но так как это квота, вы можете запросить увеличение срока хранения.

Однако вопрос как организовать долгосрочное хранение логов остается. Для этого нам понадобится создать Data Stream, лог группу, которая будет в него писать, а так же Data Transfer, которы сможет перекладывать данные в какое-то долгосрочное хранилище. В этом примере я буду использовать Yandex Cloud Object Storage (аналог AWS S3). Это самый дешевый из возможных вариантов, при этом обеспечивающий не только хранение, но и с выходом Yandex Query и возможность анализа хранимых логов.