Требования к объектному хранению данных для искусственного интеллекта и машинного обучения

Ежедневно компании создают все большее количество данных, испытывая сложности с поиском места для эффективного их хранения. По прогнозам IDC, объем данных дойдет до отметки 44 Зб, при этом 80% из них будут храниться за пределами базы данных. При таких темпах роста потребуется более гибкий и масштабируемый подход к защите и хранению информации.

Объектное хранение представлено как архитектура, в которой данными управляют как объектами. Объекты содержат непосредственно данные и уникальный идентификатор. Из компаний, которые используют объектное хранение можно отметить Digital Ocean, NetApp, Hitachi Data Systems, IBM/Cisco, Dell EMC Virtustream, Cloudian и др. Сооснователь и CEO фирмы Cloudian Майкл Тсо поделился информацией по поводу эффективности систем объектного хранения для работы с большими данными (включая искусственный интеллект и машинное обучение), что уже становится чем-то повседневным.

Отметим восемь требований к хранению массивов данных и опишем, почему приложения искусственного интеллекта и машинного обучения требуют именно такого функционала, который присутствует в системах для объектного хранения.

Масштабируемость. Модульная система предоставляет возможность в любое время добавить необходимые ресурсы для хранения. Поэтому можно наращивать их по мере роста требований.

Экономичность. Объектное хранение формируется на низкозатратной платформе, обладает низкими издержками управления и возможностью экономить ресурсы благодаря сжатию данных. В результате мы можем получить до 70% экономии средств по сравнению с традиционными корпоративными дисковыми системами.

Программно-определяемые опции хранения. При развертывании и масштабировании появляется свобода выбора аппаратуры и программно-определяемых способов хранения.

Гибридная архитектура. Объектное хранение использует гибридную архитектуру с HDD-дисками для данных пользователей и дисками для метаданных, требующих быстродействия. Это позволяет быстро масштабироваться и повысить производительность, при этом оптимизировав затраты.

Параллельная архитектура. Объектное хранение помогает организовать систему кластеров с параллельным доступом и отсутствием общих ресурсов, чтобы избежания заторов.

Долговечность данных. Реализуется путем организации объектного хранения со встроенной избыточностью и возможностью определять уровень защищенности для каждого типа данных.

Локальность данных. Значительная часть данных, помимо размещения в облаке, остается на хранении в дата-центре. Основные из причин такого хранения, это: соблюдение законодательства, избежание дополнительных затрат и производительность. Многие облачные провайдеры предоставляют экономично выгодные решения и масштабируемость облаков в локальном варианте.

Облачная интеграция. В этом случае объектное хранение должно быть облачно-интегрированным, чтобы была возможность доступа к облачным и локальным данным в пределах одного пространства имен. Также доступ к облачным данным должен быть и через облачные приложения.

У искусственного интеллекта и машинного обучения большой потенциал и для полной его реализации необходимо построить инфраструктуру, которая будет поддерживать инновации. Поэтому решения для объектного хранения должны обеспечить оптимальные затраты, гибкость и масштабируемость всей инфраструктуры для достижения этой цели.