?

Log in

No account? Create an account

Previous Entry Share Next Entry
Постобработка результатов анализа смежной жадной стратегии завершена!
evatutin
Завершена постобработка данных экспериментов, можно приступать к подробному анализу. Полученные "сырые" данные (.dat-файлы) были разложены по папкам (по методам), что заняло около 30 часов. Код постобработчика был доработан для случая N методов (до этого использовался частный случай для N=2). Стратегия постобработки заключалась в построении минимальной карты по принципу

min_map = min(ab, min(p, b))

для каждого из экспериментов, что потребовало чтения 4 x 26.2 ГБ = 104.8 ГБ (~ 500 000 файлов по ~ 250 КБ) и записи 26.2 ГБ минимальной карты для каждой операции min данных эксперимента 1 и, соответственно, чтения 4 x 32 ГБ = 128 ГБ и записи 32 ГБ данных эксперимента 2, на что ушло 25 ч x 2 = 50 ч для эксперимента 1 и 26.5 ч для эксперимента 2. Далее путем сопоставления карт различных методов (p, b, ab) с соответствующей минимальной картой получены средние значения и вероятности, представленные в графическом виде здесь. Для каждой операции сопоставления текущей карты с минимальной потребовалось 20 ч х 3 = 60 ч для эксперимента 1 и 7.5 ч х 3 = 22.5 ч для эксперимента 2. Итоговое время постобработки по видимому лимитируется скоростью случайного чтения с HDD и временем выполнения операций с NTFS (FindFileFirst()/FindFileNext()/ReadFile()/WriteFile()). Оно зависит в первую очередь от числа файлов, а не от интегрального объема читаемых и записываемых данных.

Ну и немного статистики:


  • исследование смежной жадной стратегии синтеза разбиений стартовало 22 января 2013 года и успешно завершено 27 марта 2013 года (64 дня);
  • за время вычислений было получено 99 222 877 - 64 911 216 = 34 311 661 cs;
  • объем вычислений (машинное время на Core 2 Duo 1,86 ГГц) — 34 311 661 cs / 40 cs/час = 857 791 часов = 35 741 суток = 97 лет;
  • объем вычислений во флопах (приблизительно) — 34 311 661 cs * 0,863 = 29 610 петафлоп = 29,6 экзафлоп;
  • объем вычислений в гигагерце-годах (приблизительно) — 29 610 PFLOP / 172,8 = 171 354 ГГц-дней = 469 ГГц-лет;
  • средняя производительность — 2—2,5 TFLOPS (3 TFLOPS во время челленджа);
  • общее число добровольцев — 1 395 (из них 217 (15,5%) из России);
  • общее число машин — 975;
  • общее число стран — 69;
  • статистика по странам (объем вычислений) — 38,9% — Россия, 19,1% — США, 11,7% — Германия, 4,2% — Польша, 3,4% — Австралия, 3,1% — Чехия, 2,6% — Украина, 17% — остальные;
  • статистика по пользователям с кредитом от 1000 cs — 169 (12%) — Россия, 140 (10%) — США, 111 (8%) — Германия, 37 (3%) — Польша, 30 (2%) — Чехия, 20 (1%) — Австралия, 15 (1%) — Украина;
  • личный вклад — 4,1% (кафедра + личные машины), 0,15% (домашняя машина);
  • объем "сырых" экспериментальных данных (включая часть данных прошлой серии экспериментов) — 174 ГБ;
  • объем карт после постобработки — 73 МБ;
  • вычислительное время финальной постобработки — 120,5 ч (эксперимент 1) + 52.5 ч (эксперимент 2) = 173 ч = 7,2 сут;
  • достигнутое ускорение — 558 раз (по сравнению с домашней машиной (Core 2 Duo E6300, 2 ядра, 1,86 ГГц) в режиме 24/7), 2 346 раз (по сравнению с домашней машиной, работающей по 8 часов в сутки 5 дней в неделю);
  • время, необходимое для расчета только на моих машинах без помощи кранчеров — 1 571 сут = 4,3 года.


Крейсерская скорость проекта выросла более чем в 2 раза, за что спасибо всем, принявшим участие в проекте! Осталось обработать полученные карты и опубликовать результаты.

  • 1
почему-то в "гигагерце-годах" считаются 51634 ПФлопа, а в предыдущей строке их 29610. Поправьте, пожалуйста.

Спасибо за заметку, исправил, должно быть так: 29 610 PFLOP / 172,8 = 171 354 ГГц-дней = 469 ГГц-лет.

Melter163

(Anonymous)
объем вычислений во флопах (приблизительно) — 34 311 661 cs * 0,863=29 610 963 Получается Гигафлопс.
А чтобы 34 311 661 cs * 0,863=29 610 петафлоп, надо тогда
((34 311 661 cs * 0,863)/1000)= 29 610 петафлоп. Разве не так?

34 311 661 cs * 0,863 = 29 610 963,443 терафлоп = 29 610 петафлоп = 29,6 экзафлоп

Часть выкладок я просто не писал

  • 1