Высокопроизводительные вычисления все больше завоёвывают мир. Они оптимизируются под задачи, видоизменяются и становятся своим неповторимым миром. Мы рассмотрим несколько решений, принадлежащих этому миру.
Основное применение суперкомпьютеров - в расчетах математических моделей различных конструкций, явлений, процессов и т.п. Определение необходимости проведения таких расчетов не наша прерогатива. Зато мы можем помочь в определении архитектуры и состава необходимого суперкомпьютера для ваших целей.
Решения могут быть как для простых инженерных расчетов, так и для фундаментальных научных исследований с использованием сеток размерностью в сотни миллионов ячеек.
Наши решения проверены в работе в университетах, предприятиях и ведущих отраслевых и академических научных институтах.
Решения на базе высокопроизводительных SMP систем семейства x86/x64
Базовым решением является сервер с количеством процеcсорных ядер от 64 штук и объёмом оперативной памяти от 128 GB. Сетевые интерфейсы могут быть предложены разные: 1 Gigabit Ethernet, 10 Gigabit Ethernet, Infiniband QDR или FDR. Базовым является интерфейс 10 Gigabit Ethernet в следствии своей универсальности и пропускной способности. Такие решения крайне востребованы при расчётах больших моделей в фундаментальных исследованиях.
Решения на базе кластеров, вычислительные узлы которых общаются между собой посредством MPI
Данное решение является общеупотребимым. Но даже стандартные решения периодически не показывают ожидаемые результаты. Происходит это исключительно вследствие непонимания исполнителями требований решаемых задач и не эффективной оптимизации суперкомпьютера под эти задачи.
Конфигурации вычислительных узлов варьируются от двух сокетных до восьми сокетных, построенных на базе процессоров семейства x86/x64 Intel Xeon или AMD Opteron. Размер оперативной памяти от 1 GB до 16 GB на одно физическое ядро. Интерконнект базово предлагается Infiniband, но для определённого класса задач использование 10 Gigabit Ethernet дает более высокую эффективность.
Масштабирование этого решения позволяет создавать суперкомпьютеры с пиковой производительностью до нескольких PFlops.
Ускорители
Для увеличения производительности вычислительных узлов применяются различного рода ускорители. Существует несколько типов ускорителей. Основными являются ускорители на базе потоковых процессоров и на базе перепрограммируемых логических вентилях.
Типичным представителем потоковых ускорителей являются AMD FireStream, nVidia Fermi, Intel Xeon Phi. Выполнены данные ускорители обычно в виде платы расширения с интерфейсом PCI-e. Производительность указанных выше ускорителей на сегодняшний день составляет около 1 TFlops на операциях с двойной точностью.
Сети
Любой суперкомпьютер имеет несколько сетей. Маленький может обойтись и двумя-тремя. Большие обычно используют до три-пять сетей. Наиболее используемые сети - Infiniband и Ethernet. Так же для определённых суперкомпьютеров применяются специализированные сети с организацией 2D-тор, 3D-тор, … nD-тор. Все перечисленные сети обладают полной пропускной способностью при любых нагрузках и имеют минимальные значения задержки при передаче данных.
СХД
Любой суперкомпьютер обладает своей собственной СХД. Редко когда одна большая СХД обслуживает несколько суперкомпьютеров. Но такое то же возможно. Отличительной особенностью СХД для суперкомпьютеров является высокая производительность ввода-вывода, низкая задержка, возможность предоставлять параллельный доступ к одному файлу большому количеству узлов (в больших суперкомпьютерах до десятков тысяч узлов), надёжность, отказоустойчивость и т.д.
Бывает, что для небольших суперкомпьютеров достаточно и обыкновенной СХД без параллельной файловой системы. Поэтому выбор любой СХД основывается, прежде всего, от потребностей стоящей задачи.
СХД с параллельной файловой системой
В 2010 году был принят стандарт широко распространённого протокола NFS – NFS v.4.1. Отличительной особенностью данной версии от предыдущих является глава, посвящённая параллельному доступу и описывает pNFS. В этой главе описаны три способа доступа к данным – файловый, блочный и объектный. На данный момент доступна только одна реализация – файловая. Блочная ожидается в следующем году. А объектная - не ранее 2014 года.
Но это не ограничивает возможность применения закрытых технологий. Так широко известны следующие файловые системы: GPFS, Lustre, OneFS, PanFS, StorNext, ExaData. Каждая такая файловая система обладает уникальными возможностями и бывает незаменима для определенного круга задач. Например, для медийной обработки наиболее подходят ExaData и StorNext. Для работы с суперкомпьютерами GPFS, Lustre и PanFS. Однако стоит отметить, что PanFS работает только на СХД компании Panasas и поэтому использовать её можно только в связке с указанным оборудованием.
Другим отличительным критерием может быть место расположения файловой системы. OneFS и PanFS установлены в самих СХД. GPFS, Lustre, StorNext, ExaData устанавливаются на выделенные сервера. Предлагаем обратить внимание на следующие параллельные файловые системы:
NFS v.4.1
Network File System (NFS) — протокол сетевого доступа к файловым системам. NFS абстрагирована от типов файловых систем как сервера, так и клиента, существует множество реализаций NFS-серверов и клиентов для различных операционных систем и аппаратных архитектур. Составной частью NFS v.4.1. является pNFS — Parallel NFS, механизм параллельного доступа NFS-клиента к данным множества распределенных NFS-серверов. Наличие такого механизма в стандарте сетевой файловой системы поможет строить распределённые «облачные» («cloud») хранилища и информационные системы.
GPFS
Параллельная файловая система GPFS разработана и развивается компанией IBM. IBM General Parallel File System (GPFS) - это высокопроизводительная файловая система с коллективным доступом к дискам, обеспечивающая быстрый доступ ко всем узлам гомогенного или гетерогенного кластера серверов IBM UNIX под управлением операционной системы AIX 5L или Linux.
Lustre
Lustre — это распределенная файловая система массового параллелизма, используемая обычно для крупномасштабных кластерных вычислений. Название Lustre является контаминацией, образованной словами Linux и cluster. Реализованный под лицензией GNU GPL, проект предоставляет высокопроизводительную файловую систему для кластеров с десятками тысяч узлов сети и петабайтными хранилищами информации.
Архитектура СХД с параллельной файловой системой
Базовым решением является наличие систем хранения данных с блочным доступом и подключенных к ним группы серверов, на которых исполняется код параллельной файловой системы. Эта группа в свою очередь делится на файловые сервера и сервера метаданных. Файловые сервера непосредственно размещают данные на доступное им дисковое пространство и обеспечивают быстрый доступ к ним. В то же время серверам, которые потребляют эти данные, неизвестно у какого файлового сервера эти данные брать. Поэтому первичный запрос идёт серверу метаданных и он уже указывает с какого файлового сервера какую часть запрашиваемого файла надо будет взять.
Другим решением является решение компании NetApp. DataONTAP Cluster Mode функционирует на каждом контроллере СХД и образует из этих контроллеров единую одноранговую равноправную систему хранения данных. Запрос, пришедший к любому контроллеру, обрабатывается этим контроллером и он запрашивает недостающие данные у своих соседей. Таким образом, нет необходимости устанавливать выделенные сервера метаданных.
