Обратная связь
Инженерный анализ — это больше, чем программное обеспечение®

ПРОГРАММНО-АППАРАТНЫЕ КОМПЛЕКСЫ

Создание программно-аппаратных комплексов под задачи ANSYS, их последующая настройка и сопровождение - это сложный многостадийный процесс, требующий высокой квалификации инженеров, ИТ-специалистов, программистов и других сотрудников компании. Значительная стоимость профессионального "железа" требует высокой технической и инженерной дисциплины при работе с ним и строгое соблюдение всех требований и рекомендаций, игнорирование которых может привести к выходу из строя дорогостоящих компонентов и финансовым издержкам компании.

 

Компания КАДФЕМ Украина на постоянной основе занимается разработкой архитектуры, внедрением и поддержкой высокопроизводительных систем для выполнения инженерных расчетов. За один год специалисты компании участвуют в нескольких десятках подобных проектов, что позволяет накапливать во многом уникальный опыт, которым мы готовы делиться с нашими заказчиками.

Любые договоры на работы, связанные с аппаратно-программными комплексами, включающими в себя один или несколько нижеперечисленных пунктов, должны проходить проверку квалифицированными техническими специалистами:

  • кластер/ЦОД
  • системы удаленной визуализации
  • окружение виртуальных рабочих столов (VDI, Virtual Desktop Infrastructure)
  • расчетные серверы
  • расчетные серверы с более чем 48-ю ядрами

 

Расчетные продукты ANSYS стабильно работают только на серверах и рабочих станциях стандартной архитектуры Intel-AMD x86-64 и только на сертифицированных профессиональных компонентах следующих брендов:

 

 

 

Подробнее...

 

 

 

Подробнее...

Подробнее...

 

На комплектующих других производителей стабильная работа ПО ANSYS не гарантируется.

 

 

Порядок подбора комплектующих рабочих станций и серверов

Существует четкая последовательность создания конфигурации рабочих станций, серверов или узлов кластера для выполнения расчетов. Шаги, описываемые далее, следует выполнять строго по порядку:

  1. Использовать центральные процессоры на основе архитектуры, выпущенной не позднее чем за 1 год до момента закупки. Желательно использовать самую новую процессорную архитектуру. Это позволит раскрыть все возможности актуальной версии ПО.
  2. Из процессоров выбранной архитектуры отобрать модели с максимальной тактовой частотой – тактовая частота гарантирует более быструю работу ПО. При этом надо помнить, какое лицензионное покрытие вы имеете (сколько ядер на расчет можно задействовать). Возможно, оптимальным решением будет не самый высокочастотный процессор, а следующий за ним.
  3. После окончательного выбора, сбалансированного по процессорам решения (тактовая частота/количество ядер), обеспечьте их необходимым количеством оперативной памяти. В среднем рекомендуется использовать 4 – 8 Гб памяти на ядро. Рекомендуется набрать объем памяти как можно меньшим количеством модулей. При этом надо помнить о количестве каналов работы с памятью в процессоре – все они должны быть задействованы. Так, например, не рекомендуется оснащать процессор с 4-х канальным контроллером памяти 2-мя или 3-мя планками оперативной памяти. Такая конфигурация не сможет использовать всю вычислительную мощность процессора.
  4. Оптимизация дисковой подсистемы. Рекомендуется использовать твердотельные накопители. Больше всего они влияют на задачи механики, затем идут задачи электромагнетизма и радиофизики, и меньше всего к дисковой подсистеме чувствительна гидродинамика. Важно, чтобы на быстром дисковом массиве располагалась в первую очередь рабочая папка, а не директории, содержащие код решателя и операционной системы. В некоторых (редких) случаях для задач механики можно делать виртуальные диски из оперативной памяти (RAM Disk) – тогда необходимо оснастить компьютер двойным или тройным объемом оперативной памяти.
  5. Только после оптимизации конфигурации системы по центральному процессору, оперативной памяти и дисковой подсистеме следует переходить к выбору математических сопроцессоров NVIDIA и Intel. В случае NVIDIA необходимо выбирать решения с максимальной производительностью в операциях с двойной точностью и с максимальным объемом памяти.
  6. В качестве графического процессора для вывода графики рекомендуется использовать профессиональные решения NVIDIA и AMD. Это существенно увеличит скорость работы графической подсистемы, сеточных генераторов и программных продуктов на основе геометрического ядра SpaceClaim.

 

 

Архитектура центральных процессоров

ПО ANSYS и ANSYS Electromagnetics Suite работает только на серверах стандартной архитектуры Intel-AMD x86-64.

Для повышения эффективности работы решателей и снижения неоправданного расхода лицензий на программное обеспечение ANSYS и ANSYS Electromagnetics Suite, на всех вычислительных серверах необходимо отключать технологии виртуальной многопоточности Intel Hyper-Threading (HT), AMD Clustered Multi-Thread (CMT) и их аналоги. Данные технологии показывают прирост производительности расчетов не более 2%, но приводят к 2-х кратному перерасходу HPC лицензий.

Технологии динамического разгона ядер центральных процессоров Intel Turbo Boost и AMD Turbo Core наоборот положительно влияют на общую производительность системы – их рекомендуется всегда оставлять включенными.

 

 

Оперативная память

При выполнении расчетов в любом программном обеспечении рекомендуется использовать оперативную память с коррекцией ошибок. Использование памяти без коррекции ошибок может приводить к нестабильной работе решателей и/или возникновению численных погрешностей в результатах расчетов. Необходимо следить за соответствием количества установленных в сервер модулей памяти и количеством контроллеров памяти, встроенных в процессор, для получения максимальной производительности подсистемы памяти.

 

 

Использование сопроцессоров для ускорения расчетов

Некоторые решатели, входящие в состав ANSYS и ANSYS Electromagnetics Suite способны перекладывать часть вычислительных алгоритмов на графические ускорители общего назначения (General-purpose computing for graphics processing units, GPGPU) компании NVIDIA. Кроме того, существует ограниченная поддержка графических ускорителей компании AMD. Вычислительные системы, оснащенные подобными сопроцессорами, относятся к классу гибридных вычислительных систем.

Детальный список проверенных на совместимость решений доступен по ссылке в разделе "Ресурсы", документ ANSYS 2019 R2 - Поддержка GPU.pdf

 

 

Применение профессиональных GPU

В актуальной версии ANSYS 2019 R2 возможно задействовать графические процессоры NVIDIA для ускорения расчетов следующих программных продуктов при работе решателей с общей и распределённой памятью, на серверах и кластерах, по несколько графических процессоров на сервер или узел:

  • ANSYS Mechaincal/APDL

  • ANSYS Fluent

  • ANSYS Polyflow

  • ANSYS EMIT

  • ANSYS HFSS

  • ANSYS ICEPAK

  • ANSYS Maxwell

  • ANSYS Savant

  • ANSYS Discovery Live

 

Для ускорения расчетов поддерживаются следующие графические карты:

 

Максимальное ускорение расчетов обеспечивают только GPGPU, обладающие высокой производительностью в вычислениях двойной точности.

В случае использования вычислительных узлов с GPU, для ускорения расчетов необходимо предусмотреть возможность учета количества доступных GPU как одного из ресурсов вычислительного узла при планировании очереди задач.

Для корректной работы функции требуется использование драйверов версии 346.59 или новее. Под Windows необходимо использовать режим работы драйверов Tesla Compute Cluster (TCC).

Список рекомендуемых GPU приведен в документе ANSYS 2019 R2 - Поддержка GPU.pdf

Полный список сертифицированных серверов с решениями Nvidia TESLA.

 

 

Использование непрофессиональных GPGPU от NVIDIA

Несмотря на то, что большинство решателей требует использования профессионального оборудования NVIDIA Tesla и Quadro, в портфолио ANSYS Electromagnetics Suite есть два решателя, способных использовать и непрофессиональные решение NVIDIA GeForce – это ANSYS Savant и ANSYS EMIT. Их работоспособность протестирована со следующими GPU NVIDIA GeForce: GTX 670, 680, 750Ti, 770, 780, Titan, 960, 970, 980.

Начиная с версии 19.1 существует возможность заставить решатели ANSYS Mechanical использовать непрофессиональные GPU NVIDIA. Для этого необходимо задать переменную окружения ANSGPU_OVERRIDE=1. Пользователи, задающие эту переменную, получают шанс задействовать непрофессиональные решения NVIDIA для своих расчетов. Однако, это является не поддерживаемым сценарием, может приводить к падению расчетов, а вместо ускорения расчет может замедлиться.

Непрофессиональные графические карты для ускорения расчетом могут быть использованы в ANSYS Discovery Live.

 

 

Поддерживаемые GPU для вывода графики

Программное обеспечение ANSYS и ANSYS Electromagnetics Suite рассчитано на работу с графическими картами с поддержкой OpenGL 4.5. ANSYS протестирован на совместимость только со следующими сериями GPU:

  • AMD FirePro
  • AMD FirePro W
  • AMD Radeon Pro
  • NVIDIA GeForce
  • NVIDIA Quadro
  • NVIDIA Quadro FX
  • NVIDIA Quadro K
  • NVIDIA Quadro M
  • NVIDIA Quadro P
  • NVIDIA Quadro GP

 

Детальный список проверенных на совместимость решений доступен по ссылке в разделе "Ресурсы", документ ANSYS 2019 R2 - Вывод графики.pdf

Использование встроенных графических карт (например, Intel HD, Matrox и других) не рекомендуется из-за низкой производительности последних.

 

 

Интерконнект

Решатели ANSYS и ANSYS Electromagnetics Suite при работе на системах с распределённой памятью используют для своей работы библиотеки Message Passing Interface (MPI). Подробная информация о поддержке MPI приведена в разделе «9 Поддерживаемые реализации MPI и их ограничения». Библиотеки MPI требуют для эффективной работы решателей наличия в составе системы быстродействующей сети, называемой интерконнектом. Быстродействие решателей напрямую зависит от пропускной способности (bandwidth) интерконнекта и времени его отклика (latency). Для работы MPI не требуется наличия IP адресации в сети интерконнекта, однако оно может потребоваться для иных целей (например, доступа к общей директории).

Требуется использование интерконнекта во всех узлах кластера, задействованных для выполнения расчетов в ANSYS и ANSYS Electromagnetics Suite, а также на управляющих узлах кластера. В противном случае, становится невозможным запуск задач на расчет с использованием системы управления кластером, а в некоторых случаях теряется полная работоспособность решателей ANSYS.

 

Mellanox Infiniband

Рекомендуемым интерконнектом для построения HPC систем является Mellanox Infiniband. Данный тип интерконнекта не только гарантирует максимальные показатели быстродействия, но обеспечивает полностью аппаратное функционирование сети. Таким образом, даже интенсивный обмен данными по сети интерконнект не вызывает паразитной загрузки процессоров вычислительных серверов.

Программное обеспечение всех контроллеров Infiniband и драйверов, устанавливаемых в операционные системы, должно быть протестировано на отсутствие конфликтов из-за несовместимости версий. Микропрограммы контроллеров Infiniband и установленные драйверы для операционных систем должны быть совместимы.

Программное обеспечение ANSYS и ANSYS Electromagnetics Suite неработоспособно на «безкоммутаторных кластерах» с интерконнектом Infiniband, содержащих более 2-х узлов (последовательное соединение нескольких узлов по цепочке с использованием нескольких портов IB). Для кластеров, состоящих из 3-х и более узлов, необходимо использовать коммутаторы.

 

Intel Omni-Path

Начиная с версии ANSYS 18.0 реализована поддержка интерконнекта Intel Omni-Path, схожего по быстродействию с Mellanox Infiniband. Для корректной работы необходимо наличие драйверов OFED версии не старее 10.2.

 

10 GigE

Стандартная 10 Гигабитная сеть Ethernet может быть использована только для построения небольших (до 4-х узлов) кластеров, и только для CFD расчетов. Во всех других случаях (механические или электромагнитные решатели, работающие более чем на 1-ом узле; гидродинамические решатели, работающие более чем на 4-х узлах) использование этого интерконнекта приводит к существенному (в несколько раз) падению производительности.

 

 

Поддерживаемые реализации MPI и их ограничения

ANSYS поддерживает ряд реализаций MPI для работы решателей с распределённой памятью. Для разных продуктов возможно отличие в списке поддерживаемых реализаций MPI. Полный список поддерживаемых MPI по продуктам доступен по ссылке в разделе «Документация ANSYS» данного документа.

Необходимые реализации Intel MPI и IBM Spectrum MPI (ранее известный как IBM Platform MPI) поставляются в составе дистрибутивов программных продуктов ANSYS. MS MPI бесплатно поставляется Microsoft в составе HPC Cluster Pack.

Обратите внимание, что IBM Spectrum MPI, поставляемый в составе дистрибутива ANSYS, не поддерживает запуск задач, более чем на 4096 ядер. Для запуска задач на большее число ядер необходимо приобретение дополнительных лицензий от IBM. Intel MPI, идущий в составе дистрибутива, подобных ограничений не имеет.

 

 

Операционные системы серверов

Программное обеспечение ANSYS и ANSYS Electromagnetics Suite протестировано для работы на основных коммерчески поддерживаемых дистрибутивах операционных систем. Планы развития поддержки операционных систем можно найти по ссылке в разделе «Ресурсы», документ ANSYS 2019 R2 - Операционные системы.pdf

Не все программные продукты ANSYS и ANSYS Electromagnetics Suite доступны как на Linux, так и на Windows. Некоторые из них могут быть доступны в урезанной версии (без графического интерфейса) или вообще отсутствовать для одной из платформ.

Для наиболее полного охвата возможностей ПО ANSYS и ANSYS Electromagnetics Suite рекомендуется использовать на рабочих местах инженеров операционные системы Windows.

 

Дистрибутивы Windows

 

Подробнее...

 

 

Подробнее...

 

Подробнее...

Подробнее...

Подробнее...

 

 

Дистрибутивы LINUX

ПО ANSYS и ANSYS Electromagnetics Suite поддерживает только коммерческие дистрибутивы LINUX:

 
Подробнее... Подробнее...


Использование неподдерживаемых дистрибутивов Linux, бесплатных и открытых клонов коммерческих дистрибутивов (Fedora, openSUSE, Scientific Linux, Oracle LINUX), дистрибутивов Linux на основе Debian и Ubuntu может привести к невозможности функционирования программного обеспечения ANSYS и ANSYS Electromagnetics Suite и потере технической поддержки.

 

Свободно распространяемый дистрибутив LINUX

ПО ANSYS и ANSYS Electromagnetics Suite также поддерживает только один свободно распространяемый дистрибутив LINUX - CentOS версий 7.3-8.0. Эта сборка Linux, основанная на коммерческом Red Hat Enterprise Linux компании Red Hat и совместима с ним. Разработчики CentOS используют данный исходный код для создания окончательного продукта, очень близкого к Red Hat Enterprise Linux и доступного для загрузки.

Подробнее...

 

 

Типовая конфигурация узлов кластера

При проектировании кластеров под ПО ANSYS стоит учитывать, что головной узел, являющийся управляющим узлом, как правило, участвует в выполнении расчетов. Данный узел должен оснащаться всеми интерконнектами наравне с вычислительными узлами – он является первым вычислителем в списке ресурсов планировщика очереди задач.

Кластеры, используемые для гидродинамических расчетов и расчетов быстропротекающих процессов, могут быть построены из одинаковых узлов. Объем оперативной памяти расчетного узла определяется как ~4 Гб на ядро процессора.

Кластеры, используемые для механических расчетов, рекомендуется проектировать так, чтобы головной узел/узел постановки задачи на расчет имел в 2-3 раза больше оперативной памяти, чем остальные узлы кластера. Объем оперативной памяти расчетного узла определяется как ~4 − 8 Гб на ядро процессора. Кроме того, рекомендуется оснастить все узлы кластера локальными быстродействующими дисками для хранения промежуточных файлов расчет. 

Во всех случаях конфигурация всех узлов, на которых должен выполняться расчет, должна быть гомогенна; а именно, во всех серверах должно совпадать количество CPU, GPGPU, их модели. Допускается различие по объемам оперативной памяти и дисковой подсистемы.

 

 

Работа с удаленными ресурсами и виртуализация

Программное обеспечение ANSYS и ANSYS Electromagnetics Suite поддерживает работу на удаленных виртуальных и физических серверах и рабочих станциях.

При такой работе важно обеспечить производительную доставку сложной инженерной графики с удаленных рабочих столов. Не все стандартные средства терминального доступа удовлетворяют этим запросам. Кроме того, важно следить, что бы на удаленном сервере приложений была соответствующая аппаратная часть, способная отображать и передавать инженерную графику.

Детальный список проверенных на совместимость решений доступен по ссылке в разделе «Документация ANSYS» данного документа.

Описываемые в данном разделе системы доставки графики и виртуализации прошли тестирование, выполненное компанией ANSYS, Inc. для программных продуктов: SpaceClaim Direct Modeler (ANSYS SCDM), DesignModeler, DesignXplorer, ICEM CFD, HFSS, Maxwell, Q3D, SIwave, AIM, System Coupling, Autodyn, CFX, CFD-Post, Fluent, Icepak, Mechanical, Meshing, Mechanical APDL, Explicit STR, Polyflow, Fluent-Meshing, TurboGrid, EKM.

Техническая поддержка не распространяется на ошибки, возникающие только при работе с использованием систем удаленной визуализации и не воспроизводящиеся на физических серверах с аналогичными характеристиками.

Использование неподдерживаемых систем удаленной визуализации или систем виртуализации может привести к частичной или полной неработоспособности программного обеспечения ANSYS и ANSYS Electromagnetics Suite. Если вы хотите использовать неподдерживаемую конфигурацию дополнительно проконсультируйтесь со специалистами ООО «КАДФЕМ Украина».

 

 

Специалисты ООО «КАДФЕМ Украина» на постоянной основе занимаются разработкой архитектуры, внедрением и поддержкой высокопроизводительных систем для выполнения инженерных расчетов. За один год специалисты компании участвуют в нескольких десятках подобных проектов, что позволяет накапливать во многом уникальный опыт, которым мы готовы делиться с нашими заказчиками.

Любые договоры на работы, связанные с аппаратно-программными комплексами, включающими в себя один или несколько нижеперечисленных пунктов, должны проходить проверку квалифицированными техническими специалистами:

  • кластер/ЦОД,
  • системы удаленной визуализации,
  • окружение виртуальных рабочих столов (VDI, Virtual Desktop Infrastructure),
  • сервер стоимостью более 1 миллиона гривен,
  • сервер более чем с 48-ю ядрами центральных процессоров

 

 

Для получения более подробной информации по созданию расчетных серверов и кластеров, смотрите здесь.

ANSYS 2020 R1 - Расчетные возможности

ANSYS 2020 R1 - Обновления и изменения

ANSYS 2020 R1 - Технические требования

 

ANSYS 2019 R3 - Расчетные возможности

ANSYS 2019 R3 - Обновления и изменения

ANSYS 2019 R3 - Технические требования

 

ANSYS 2019 R2 - Расчетные возможности

ANSYS 2019 R2 - Обновления и изменения

ANSYS 2019 R2 - Технические требования

 

ANSYS 2019 R2 - Поддержка GPU

ANSYS 2019 R2 - Вывод графики

ANSYS 2019 R2 - Операционные системы

ANSYS 2019 R2 - Поддержка CAD-пакетов

 

ANSYS 2019 R1 - Расчетные возможности

ANSYS 2019 R1 - Обновления и изменения

ANSYS 2019 R1 - Технические требования

 

ANSYS 19.2 - Расчетные возможности

ANSYS 19.2 - Обновления и изменения

ANSYS 19.1 - Обновления и изменения
ANSYS 19 - Расчетные возможности
ANSYS 19 - Обновления и изменения
ANSYS 19 - Технические требования

 

Брошюра - ANSYS HFSS

Брошюра - Электромагнетизм
Брошюра - Механика сплошной среды
Брошюра - Гидродинамика
Брошюра - Комплексные решения
Брошюра - Инженерный консалтинг

 

Видеоуроки

Вебинары

CADFEM Blog

Каталог учебных курсов 2019

Брошюра "Технические требования к программно-аппаратным комплексам"

 

Скачать