Платформа PowerScale | Общие сведения о стратегиях работы с кэш-памятью и метаданными L3

Общие сведения о кэш-памяти L3:

Кэш третьего уровня: Кэш L3 — это кэш вторичного уровня, который находится на твердотельных накопителях, дополняя основной кэш памяти (L1 и L2). Он работает как кэш вытеснения, сохраняя часто используемые данные и метаданные для уменьшения задержки чтения. Кэш-память третьего уровня наиболее полезна для рабочих процессов, связанных с произвольным доступом к файлам. Он может работать только в режиме метаданных для узлов хранения архивных серий. Включение кэша L3 в пуле узлов с существующими данными на SSD требует, чтобы накопители переносили эти данные на жесткие диски, прежде чем SSD можно будет использовать для кэширования. Отключение кэша третьего уровня, как правило, выполняется быстрее.

Рабочие процессы, использующие кэш третьего уровня: 

• • Кэш третьего уровня полезен для рабочих процессов со следующими характеристиками:
  • Произвольный доступ к файлам: Для рабочих нагрузок, связанных с частым чтением различных, непоследовательных частей файлов, может наблюдаться значительное сокращение задержки при использовании кэш-памяти L3.
  • Высокий коэффициент чтения и записи: Поскольку кэш L3 в первую очередь ускоряет чтение, рабочий процесс с доминирующим компонентом чтения выигрывает больше всего.
  • Кэширование часто используемых «горячих» данных: Кэш третьего уровня автоматически идентифицирует и сохраняет часто используемые данные, повышая производительность при повторном доступе.
  • Потоковая передача и параллельный доступ к файлам (в некоторой степени): В то время как произвольный доступ дает наибольшее преимущество, рабочие процессы с потоковой передачей и параллельным доступом также могут получить некоторое повышение производительности за счет кэш-памяти L3.

Когда следует выбирать кэш третьего уровня:

• • Когда основным узким местом производительности является задержка произвольного чтения как для данных, так и для метаданных.
  • Увеличение эффективной емкости памяти узлов без затрат на увеличение объема ОЗУ.
  • Для рабочих нагрузок, которые демонстрируют значительный объем операций повторного чтения данных и метаданных, которые недавно были удалены из L2.
  • Для узлов архивного класса, где производительность метаданных при обходе файловой системы имеет решающее значение.
  • Если требуется более простое повышение производительности чтения по принципу «установил и забыл» без значительных затрат на настройку.
    Когда следует выбирать ускорение метаданных:
  • Когда операции с метаданными (поиск, доступ, изменения) являются основным узким местом производительности.
  • Для рабочих нагрузок с большим количеством операций чтения метаданных (ускорение чтения метаданных) или операций чтения и записи (ускорение чтения и записи метаданных).
  • В таких сценариях, как интерпретация сейсмических данных, где быстрый доступ к метаданным имеет первостепенное значение, даже если базовые данные находятся в более медленном хранилище.
  • Если требуется детальный контроль над местом хранения метаданных.
  • При распространении преимуществ чтения метаданных на узлы без локальных твердотельных накопителей необходимо (использование GNA с ускорением чтения метаданных на других узлах).
  • Рабочие нагрузки, такие как домашние каталоги, рабочие процессы с интенсивным перечислением файлов и операции, требующие многочисленных сравнений, часто демонстрируют высокую активность чтения метаданных. В таких случаях прямое ускорение доступа к метаданным может привести к значительному повышению производительности

Общие сведения о стратегиях работы с метаданными:

Стратегия работы с метаданными: Вместо кэширования данных твердотельные накопители можно настроить в первую очередь для хранения и ускорения операций с метаданными. Эта стратегия может быть полезна для рабочих нагрузок с большим объемом доступа к метаданным, таких как большое количество небольших файлов, частый поиск каталогов и задачи подсистемы заданий с интенсивным использованием метаданных. OneFS поддерживает различные стратегии твердотельного накопителя метаданных, включая чтение и запись метаданных.

Чтение метаданных: Твердотельные накопители в основном используются для ускорения операций чтения метаданных.

Запись метаданных: Твердотельные накопители используются для ускорения операций записи метаданных. 

• Преимущества стратегии работы с метаданными перед кэш-памятью третьего уровня:
• Ускорение работы с метаданными обеспечивает более целенаправленный и детальный контроль над тем, как SSD используются для повышения производительности метаданных для определенных наборов данных и рабочих процессов. С другой стороны, кэш L3 — это более общий уровень кэширования, который подходит для более широкого спектра рабочих нагрузок, особенно тех, которые имеют повторяющийся произвольный доступ для чтения как к данным, так и к метаданным. Несмотря на то, что кэш третьего уровня превосходно справляется с повышением производительности чтения часто используемых данных, специальная стратегия работы с метаданными может дать ряд преимуществ: 
  • Повышение производительности метаданных: Для рабочих нагрузок, в которых операции с метаданными являются узким местом (например, открытие, закрытие, переименование, вывод списка большого количества файлов), выделение твердотельных накопителей для метаданных может значительно сократить задержку и повысить общую пропускную способность.
  • Улучшенная производительность модуля заданий. Некоторые задачи подсистемы заданий OneFS интенсивно используют метаданные. Ускорение доступа к метаданным может ускорить выполнение этих заданий.
  • Предсказуемая производительность для рабочих нагрузок с большим объемом метаданных: В средах с последовательным шаблоном высокой активности метаданных выделенная стратегия работы с метаданными может обеспечить более предсказуемое и устойчивое повышение производительности по сравнению с кэшем на основе вытеснения.
  • Некоторые приложения и рабочие процессы создают непропорционально большое количество операций с метаданными по сравнению с фактическими операциями чтения и записи данных. В качестве примеров можно привести архивирование файлов, управление мультимедийными ресурсами, автоматизацию проектирования электроники (EDA), среды разработки программного обеспечения с частыми компиляциями и конвейеры геномики, которые включают в себя множество небольших доступа к файлам и их анализа. В таких случаях задержка, связанная с доступом к метаданным и манипулированием ими, может стать существенным узким местом производительности
  • Операции, связанные с перемещением по сложным структурам каталогов или перечислением содержимого многих каталогов, в значительной степени зависят от производительности метаданных. Ускорение метаданных гарантирует, что система сможет быстро получить доступ к информации об индексных дескрипторах и записям каталога, значительно ускоряя эти операции по сравнению с использованием даже кэша L3, который мог бы удалить эту информацию из-за ограничений емкости или менее частого доступа
  • Резервное копирование, репликация и миграция. Эти задачи управления данными часто включают в себя обширное сканирование и обработку метаданных. Ускорение доступа к метаданным за счет ускорения может значительно сократить время, необходимое для выполнения этих заданий, свести к минимуму нарушение основных рабочих нагрузок и повысить эффективность эксплуатации.
  • Поиск и индексирование: Когда пользователям или автоматизированным процессам необходимо искать определенные файлы на основе атрибутов их метаданных (например, имени, размера, даты изменения), ускоренный доступ к метаданным позволяет ускорить выполнение запросов. Это актуально для таких решений, как MetadataIQ, которое индексирует метаданные файловой системы для эффективного выполнения запросов и обнаружения данных в нескольких кластерах
• Когда следует выбирать метаданные: 
  • Интенсивный просмотр каталогов, операции поиска файлов или данных, индексирование.
  • Операции с файлами, такие как открытие, закрытие, удаление, создание каталогов (mkdir).
  • Операции поиска, получения и доступа.
  • Домашние каталоги, особенно те, которые содержат много объектов.
  • Рабочие процессы, связанные с интенсивным перечислением или сравнением.
  • Интерпретация сейсмических данных, где актуальность метаданных имеет решающее значение.
  • Ускорение метаданных может привести к значительному повышению производительности этих типов действий, увеличению пропускной способности и уменьшению задержки

Сводка. Когда лучше выбрать

• • Выберите стратегию ускорения метаданных (чтение метаданных или чтение/запись метаданных), если рабочая нагрузка в значительной степени смещена в сторону операций, которые предоставляют доступ к метаданным файла или изменяют их (просмотр, поиск, индексирование, создание, удаление, изменение атрибутов).
  • Выберите Ускорение чтения метаданных , если рабочая нагрузка в основном связана с интенсивным чтением метаданных и требуется меньше емкости твердотельного накопителя.
  • Если ваша рабочая нагрузка включает в себя значительный объем операций записи метаданных, требует более быстрого удаления моментальных снимков или если для рабочих нагрузок HPC с небольшими файлами, таких как EDA, используются преимущества встроенных небольших файлов на флэш-диске. Убедитесь, что у вас достаточно места на твердотельном накопителе.
  • Рассмотрите GNA , если у вас смешанный кластер (узлы с твердотельными накопителями и без них) и вам необходимо ускорить чтение метаданных для данных, расположенных на узлах, отличных от твердотельных накопителей, в кластере. Это актуально для распределенных рабочих нагрузок с интенсивным использованием метаданных.
    • Глобальное ускорение пространства имен (GNA): GNA — это более старый механизм (предназначенный для замены кэшем L3, когда на всех узлах есть твердотельные накопители), который позволяет пулам узлов без твердотельных накопителей использовать твердотельные накопители в других частях кластера, сохраняя дополнительные зеркала метаданных на этих твердотельных накопителях. Это ускоряет операции чтения метаданных для данных, хранящихся в пулах только с жесткими дисками. Кэш L3 и GNA могут сосуществовать в одном кластере, но обычно работают в разных пулах узлов.
  • Рассмотрите возможность использования кэша L3 , если ваша рабочая нагрузка включает в себя значительное количество произвольных операций чтения, преимущества расширенного кэширования для большого рабочего набора или потребность в улучшении производительности модуля заданий, при условии, что ваши узлы оснащены твердотельными накопителями.

Инструменты и команды:

• Мониторинг производительности: Используйте такие инструменты, как InsightIQ, CloudIQ и MetadataIQ, для мониторинга работоспособности кластера, метрик производительности и прогнозирования использования. InsightIQ может отслеживать тенденции производительности, выявлять закономерности и выполнять анализ файлов. Это также поможет оценить, когда кластер достигнет максимальной емкости. CloudIQ предоставляет аналитические данные о производительности кластеров. MetadataIQ упрощает индексирование данных и запросы между кластерами, а также может использоваться для управления жизненным циклом данных и понимания распределения данных.
• Утилита isi_cache_stats может помочь определить размер рабочего набора данных, что актуально для определения размера SSD для кэша L2 и L3. Общее правило предполагает, что емкость L2 + емкость L3 должна быть >= 150% от размера рабочего набора.
• MetadataIQ (OneFS 9.10+). Разверните и настройте MetadataIQ для индексации и создания глобального каталога метаданных в кластерах. Используйте панель управления Kibana для визуализации распределения данных, количества файлов и атрибутов метаданных. Это помогает понять состав данных и то, как растут метаданные. Периодические операции синхронизации поддерживают базу данных метаданных в актуальном состоянии
• InsightIQ предоставляет отчеты о емкости кластера, включая общую, выделенную и использованную емкость, что позволяет прогнозировать потребности в хранилище на основе исторических тенденций. Он может отслеживать производительность рабочих нагрузок, задержку, количество операций ввода-вывода в секунду и пропускную способность, что позволяет обнаруживать потенциальные узкие места по мере роста объема данных. Отчеты InsightIQ File System Analytics могут отображать количество файлов и распределение по размерам, что дает представление о масштабе и составе данных, которые напрямую связаны с ростом количества LIN.