CUSTIS

Статья «Масштабируемое хранилище журналов»

Статья «Масштабируемое хранилище журналов»

27 марта 2015   |  «Открытые системы»

В журнале «Открытые системы» была опубликована статья Дмитрия Морозова, ведущего специалиста по проектированию ИТ-инфраструктурных решений, посвященная проблеме обработки больших данных и ее решению.

Каковы предпосылки возникновения данной проблемы? Каким образом можно разгрузить оперативные базы данных, не нарушая работу уже существующих учетных систем? В чем заключаются основные преимущества Hadoop-хранилищ по сравнению с операционными БД? Об этом — в материале «Масштабируемое хранилище журналов» на сайте и в бумажной версии издания.

Дмитрий Морозов: «ИТ-системы крупных компаний зачастую представляют собой конгломерат автоматизированных решений от разных разработчиков, работающих каждое в своей логике. Такие системы используют высоконагруженные базы данных (по нашему опыту, большая часть из них — Oracle), а значительная часть информации представляет собой так называемые «журналы» — однажды записанные данные, которые в дальнейшем используются только для чтения (например, журналы транзакций, различные логи) и большую часть жизненного цикла хранятся, не подвергаясь изменениям.

В такой ситуации логичным выглядит перенос журналов в отдельное хранилище. Это позволит решить целый комплекс задач: уменьшить стоимость хранения данных, обеспечив при этом доступ к ним из существующих приложений и сохранив привычный способ работы для пользователей, упростить задачи администрирования оперативных БД и, самое главное, получить возможность в будущем использовать журналы при анализе больших данных.

Решение по переносу журналов в хранилище на основе Hadoop значительно сокращает стоимость хранения данных. В то же время для пользователей ничего не меняется — существующие интерфейс и функционал автоматизированных систем полностью сохраняются. Но самое главное, информация, которая раньше считалась обузой, теперь сможет применяться при анализе больших данных в интересах бизнеса».