Суперкомпьютеры в Украине.

[T1000]

 Вот решил поднять такую тему. Давайте поговорим о суперкомпьтерах в украине: где размещены, какая мощь, зачем используются. Интересно знать , есть ли у Украины возможность "побить " по этому параметру Россию-).
Также интересно узнать, стоит ли в таких машинах использовать в качестве дополнительных вычислительных блоков видеокарты Nvidia с технологией CUDA. Ведь видеокарты сегодня работают быстрее чем самые мощные настольные или серверные процессоры.

[PenSpinner]

Ведь видеокарты сегодня работают быстрее чем самые мощные настольные или серверные процессоры.

звідки такі дані? 

[Edd.Dragon]

Ведь видеокарты сегодня работают быстрее чем самые мощные настольные или серверные процессоры.

Судя по этой фразе ты о вычислении на GPU слышал только из новостей телеканала ОБС (одна баба сказала).

[T1000]

Когда-то на одном из ресурсов читал про китайский суперPC, в котором в качестве вычеслительных блоков использовались видеокарты Geforce 9800 Gt. Машина при этом показывала нехилую производительность и стоила дешевле, чемкомпьютеры на 4х ядерниках.

[Edd.Dragon]

Когда-то на одном из ресурсов читал про китайский суперPC, в котором в качестве вычеслительных блоков использовались видеокарты Geforce 9800 Gt. Машина при этом показывала нехилую производительность и стоила дешевле, чемкомпьютеры на 4х ядерниках.

Все верно. Потому что выполняла соответсвующие задачи. В которых мало логики, но много простых и линейных вычислений над матрицами. Таковыми является в частности и рендеринг изображений. В GPU почти все отдано под высислительные блоки, эффективно работающие с матрицами, одновременно суммирующие и перемножающие сотни элементов матрицы. Минимум кеша, простой и куцеватый блок логики. В CPU при сходном размере кристалла и сходном кол-ве транзисторов много кеша, сложные логические блоки для ветвящегося кода и гораздо меньше вычислительных блоков. В итоге если за единицу времени GPU может умножить на константу 800 элементов матрицы, а CPU - 80, то это вовсе не означает, что в задачах, на которые рассчитан CPU будет такая же картина. Наоборот, GPU многого попросту не сможет сделать без CPU, а в большом количестве задач из GPU получится неэффективный помощник мало отличающийся от аналогичного CPU.

Потому
- без CPU никак не обойтись, т.к. в любой задаче логика ложится на CPU, а GPU используется как рабочая лошадка;
- сложные задачи следует сначала разделить на части больше подходящие для GPU и больше подходящие для CPU - после чего оценить количество работы, подходящее под эффективное выполнение на GPU и решить, какой процент GPU-чипов от общего количества будет целесообразно использовать в вычислительной системе под эту задачу.

Однозначно задачи рендеринга в киностудиях или дизайнерских конторах с мощными проектами выгодно выполнять на GPU-станциях.
Расчеты Folding@Home как показала практика, тоже неплохо ускоряются при наличии подходящего GPU. Но эффективность его использования уже ниже.
Прочие научные вычисления - нужно анализировать конкретную задачу. Операции над матрицами - самое то.


Добавлено: Tue Dec  1 21:21:03 2009

и стоила дешевле, чемкомпьютеры на 4х ядерниках.

Логично, если бизнес-процессоры из-за своей нишевости стоят тысячи баксов, а CUDA работает на обычной потребительской видухе, которых в один комп с соответствующей материнкой можно 4 воткнуть, что уже в подходящей для них задаче будет небольшим суперкомпом.

За разработку специфических решений с десятками или сотнями чипов nVidia (или партнеры) врядли поскромничает в цене, но конечно в соответсвующих задачах стоимость единицы производительности будет ниже (по выше описанным архитектурным особенностям GPU).

[aNGeL]

Знаю один суперкомпьютер в КПИ есть, правда чем он нафарширован мне не известно

[T1000]

А что если поступить как америкосы? Они для супер ПК обьединили в сеть 2200 консолей Playstation 3 и получили нужную мощь.

[βεερ_βooρ]

Знаю один суперкомпьютер в КПИ есть, правда чем он нафарширован мне не известно

Система 1:

   1. Вузли:
         1. 44 з двома чотирьох ядерними процесорами Intel Xeon E5440 @ 2.83ГГц та 8 Гб оперативної пам'яті у кожному
         2. 68 з двома двох ядерними процесорами Intel Xeon 5160 @ 3.00ГГц та 4 Гб оперативної пам'яті у кожному
   2. Мережа обміну даними: InfiniBand
   3. Дисковий простір: 6 Тб на базі розподіленої файлової системи LustreFS
   4. Продуктивність: пікова 7 ТФлопс, linpack 5.7 ТФлопс
   5. ОС: CentOS release 5.2
   6. MPI: openmpi 1.2.8
   7. Локальний менеджер ресурсів: Torque 2.3.6
   8. Компілятори C++: intel 10.1, gcc 4.1.2
   9. Прикладне ПЗ: GROMACS 4.0.2, fftw 3.2, GAMESS
  10. Протокол доступу: SSH

Система 2:

   1. Вузли: 16 з двома чотирьохядерними процессорами Intel Xeon E5345 @ 2.33 ГГц, 8 Гб оперативної пам'яті та диском ємністю 500 Гб у кожному
   2. Мережа обміну даними: InfiniBand
   3. ОС: MS Windows Server 2008 HPC Edition
   4. MPI: MS MPI 2.0.1551
   5. Локальний менеджер ресурсів: HPC Job Manager
   6. Протокол доступу: RDP

Материнські плати вузлів підтримують інтерфейс IPMI для віддаленого керування.

Система зберігання данних включає наступні складові:

    * 6Тб + 6,5 Тб простору на базі системи зберігання FalconStor
    * 20 Тб простору у стрічковому архіві

Минимум кеша, простой и куцеватый блок логики.

Что и является ахиллесовой пятой. Скажем перемножать большие матрицы GPU будет не меньше секунды, так как CPU должен подготовить шейдер, скопировать информацию в память и т.д. Ну а так же в программах для GPU не может присутствовать рекурсия.

[Edd.Dragon]

Что и является ахиллесовой пятой. Скажем перемножать большие матрицы GPU будет не меньше секунды, так как CPU должен подготовить шейдер, скопировать информацию в память и т.д.

Точно так же, как если взять два компа со слабым P3-P4 и мощным 4-ггц 4-ядерником, и снова надо чето посчитать, что на 4-ядернике выполнится раз в 10-20 быстрее, но перегонка данных по сети туд-обратно съест это преймущество. Выходит, что в распределенных сетевых вычислениях аналогичного рода ахиллесова пята?

Слишком громко названо. Обычная и привычная ситуация, когда следует соизмерять время подготовки данных и получения взад результатов с временем их обработки. GPU в данном случае примерно тоже что и более мощный чем моя тачка сервер в моей сети.


Добавлено: 02 Грудень 2009, 15:06:43

Ну а так же в программах для GPU не может присутствовать рекурсия.

И далеко не единственное чего он не может. GPU - это обычный плуг, но некоторые считают, что им и асфальт можно снимать )))

[T1000]

Что обрабатывают такие ПК в Украине? Просчёт погоды?-)

[βεερ_βooρ]

Просчёт погоды?-)

Вычислительные кластеры СКІТ в кибцентре. Они же обслуживают Институт Космических Иследований,  внутрение нужды Института Глушкова, и т.д.

Кластер КПИ в основном простаивает занимается моделированием в области квантовой химии, материалознавства, биоинформатики и ФВЭ.

Чем занимается кластер Шевченко не знаю

[axiz]

Расскажу по тем вопросам, по которым в курсе.

Список украинских кластеров есть на сайте мониторинга грида:
http://grid.bitp.kiev.ua/index.php?option=com_wrapper&view=wrapper&Itemid=102&lang=ru

Кластер СКИТ Института кибернетики:
http://icybcluster.org.ua
Обеспечивет ресурсами институты Академии наук и другие организации.
В составе несколько кластеров с разной архитектурой, есть даже такая экзотика, как кластер на процессорах Intel Itanium.
Задачи считаются разные: квантовая химия (GAMESS,Abinit,nwchem), молекулярная динамика (gromacs), сейсморазведка, и много еще всякого.
В принципе, и другие украинские кластера считают подобные задачи.
Есть небольшой CUDA-кластер на 8 ускорителей.
Ресурсы даются бесплатно, так что для тех, кто работает в государственных организациях, есть большие шансы получить доступ.
Есть подвижки по поводу рендеринга, на СКИТе поставили Indigo, пока правда еще не пробовал.

Есть в Украине и конторы, которые пытаются что-то разрабатывать для суперкомпьютеров, такое, как нормальный интерфейс пользователя:
http://www.melkon.com.ua/ru/cluster-management-system/
Этот интерфейс используется на СКИТе и еще нескольких других кластерах.

Есть Суперкомпьтерный центр в Харькове, там три кластера:
https://grid.isma.kharkov.ua/ (нужно принять кривой сертификат)
http://cluster.ilt.kharkov.ua
и в IRE, но у них похоже нет сайта.
Задачи считают свои и гридовские.

[βεερ_βooρ]

есть даже такая экзотика, как кластер на процессорах Intel Itanium.

А они тот монстр еще используют, кроме как если другие кластеры загружены? А тот я как не был в кибцентре он простаивал.

[axiz]

А они тот монстр еще используют, кроме как если другие кластеры загружены? А тот я как не был в кибцентре он простаивал.

Не, не используют. Слишком дорого и хлопотно, капризная железка.