Как наблюдать за осьминогами — S3-server observability

Тезисы

Observability — одно из списка базовых свойств современной информационной системы. Когда мы проектировали аудит нашего S3 хранилища мы прошли много стадий — от записей в access-логах до стабильного масштабируемого хранилища на базе Clickhouse, которое сейчас решает большое количеств наших задач. И это не только очевидные вопросы: кто, что, где и когда, и как. Сейчас мы пришли к тому, что наш аудит стал фундаментом для решения задачи охлаждения-сжатия данных, спасал нас от проблем, стал фундаментом для сложной аналитики использования и планирования развития хранилища. Этим опытом — от логов до многофункционоального инструмента я и хочу поделиться.

Рассказ рассчитан на бэкенд-разработчиков и инженеров эксплуатации, имеющих некоторый опыт работы с объектными хранилищами или просто на тех, кто занимается и интересуется проектированием аудита для своих систем.

Аудитория

Backend-developer, devops-engineer, team-lead, engineers.

Уровень сложности

Any level.