 |
Глава 3. Примеры концептуальных моделей и методик оценивания систем
|
|
|
|
3.1. СПОСОБЫ ИЗМЕРЕНИЯ КОМПЬЮТЕРНЫХ СИСТЕМ
Теоретические положения системного анализа определенное время рассматривались только как некая философия инженера и поэтому при решении задач создания искусственных систем иногда не учитывались. Однако развитие техники привело к тому, что без системного анализа, одним из результатов которого являются концептуальные модели, исследование функционирования систем становится невозможным.
Первоначально компьютер отождествлялся с центральным процессором, основной и понятной характеристикой которого было быстродействие, измеряемое числом команд в единицу времени. Поэтому традиционные методики оценки (benchmarks) отражают только возможности центрального процессора. В осно-це такой оценки лежит понятие производительности. При этом выделяют так называемое «чистое» процессорное время - период работы собственно процессора при выполнении внутренних операций и время ответа, включающее выполнение операций ввода-вывода, работу ОС и т.д.
Есть два показателя производительности процессоров по «чистому» времени:
1) показатель производительности процессоров на операциях с данными целочисленного типа (integer) MIPS (Million Instruction Per Second - миллион машинных команд в секунду) - отношение числа команд в программе к времени ее выполнения;
2) показатель производительности процессоров на операциях с данными вещественного типа (float point) MFLOPS (миллион арифметических операций над числами с плавающей точкой в секунду).
С понятием MIPS связывалась ранее и другая метрика, основанная на производительности вычислительной системы DEC VAX 11/780. Еще одно определение MIPS используется пользователями и производителями техники IBM, когда за норму выбирается одна из моделей RS/6000. При этом 1 MIPS IBM =1.6 MIPS DEC.
|
|
|
При всей кажущейся простоте критерия оценки (чем больше MIPS (MFLOPS), тем быстрее выполняется программа) его использование затруднено вследствие нескольких причин:
Процессоры разной архитектуры (особенно RISC) имеют различный набор команд. Так, совмещенная операция умножения и сложения векторов в процессоре POWER 2 существенно сокращает число операций. Кроме того, можно выделить «быстрые» (например, сложение, вычитание) и «медленные» (например, деление) операции, а в результате рейтинг MFLOPS для разных программ окажется разным.
Применение математических сопроцессоров и оптимизирующих компиляторов увеличивает производительность системы, однако рейтинг MIPS может уменьшиться, так как время выполнения команд для операций над данными с плавающей точкой значительно больше и за единицу времени может быть выполнено меньшее число команд, нежели при выполнении соответствующих этим командам подпрограмм.
Научные приложения в основном связаны с интенсивными вычислениями над вещественными числами с плавающей точкой, коммерческие и офисные - с целочисленной арифметикой и обработкой транзакций баз данных. Графические приложения критичны и к вычислительным мощностям, и к параметрам графической подсистемы.
Еще более сложные проблемы появляются при необходимости оценок многопроцессорных систем, в частности SMP (Symmetric Multiprocessing - симметричная мультипроцессорная обработка) и МРР (Massively Parallel Processing - обработка с массовым параллелизмом). В целом показатели MFLOPS и MIPS зависят от архитектуры процессора и типа выполняемой программы. Такое положение привело к разработке и использованию рада тестов, ориентированных на оценку вычислительных систем с учетом специфики их предполагаемого использования. Поэтому оценка процессоров с разной архитектурой основана на создании тестовой смеси из типовых операторов, влияющих на их производительность.
|
|
|
3.2. ТЕСТЫ DHRYSTONE, LINPACK И «ЛИВЕРМОРСКИЕ ЦИКЛЫ»
Для работы с показателями MIPS и MFLOPS чаще всего используются системы тестов Dhrystone, LINPACK и «Ливерморские циклы».
Тестовая смесь Dhrystone состоит из 100 команд: 53 - операторы присвоения, 32 - управления и 15 - вызова функций. Результатом работы этого теста является число Dhrystone в секунду. При этом на системе DEC VAX 11/780 результат составлял 1757 Dhrystone, и поэтому считалось, что 1 DEC MIPS равен 1757 t)hrystone. Сейчас Dhrystone практически не применяется.
Тесты LINPACK и «Ливерморские циклы» появились в середине 60-х гг.
«Ливерморские циклы» состоят из фрагментов программ для решения численных задач на языке Фортран, имеющих реальное хождение в Ливерморской национальной лаборатории им. Лоуренса в США. В этих фрагментах используются различные вычислительные алгоритмы: сеточные, последовательные, волновые, что существенно относительно соответствия вычислительных и аппаратных структур. Соответствие этих структур друг другу должно обеспечить максимальную эффективность вычислений. При проведении тестовых испытаний может использоваться либо набор из 14 циклов (малый набор), либо набор из 24 циклов (большой набор). При использовании векторных и параллельных машин важным фактором, определяющим эффективность работы для конкретного приложения, является коэффициент векторизуемости алгоритма. На «Ливерморских циклах» этот коэффициент составляет от 0 до 100 %, что подтверждает возможность их применения для широкого круга вычислительных систем.
LINPACK включает набор программ на Фортране, предназначенных для решения систем линейных алгебраических уравнений. Важность этого тестового набора, так же как и «Ливерморских циклов», определяется практической значимостью и применимостью этих алгоритмов для решения реальных задач. В основе используемых в LINPACK алгоритмов лежит метод декомпозиции: исходная матрица представляется в виде произведения двух матриц стандартной структуры, к которому собственно и применяется алгоритм нахождения решения. Важная особенность системы LINPACK - ее структурированность. В частности, выделяется базовый уровень системы, обеспечивающий реализацию элементарных операций над векторами, куда входят подпрограммы умножения векторов на скаляр и сложения векторов, а также скалярного произведения векторов. Этот уровень называется BLAS (Basic Linear Algebra Subprograms). Все операции выполняются над вещественными числами двойной точности, а результат измерения выражается в MFLOPS.
|
|
|
В настоящее время используются два уровня теста: LINPACK DP - для исходной матрицы размером 100x100 и LINPACK ТРР - для матрицы размером 1000x1000. Для многих современных вычислительных систем первый уровень этого теста может дать заведомо превосходящие возможности системы результаты за счет того, что исходная матрица размером 100x100 может быть целиком размещена в кэш-памяти. Использование теста LINPACK ТРР пока снимает эту проблему, однако даже и этот тест для систем с массовым параллелизмом не может быть использован. Для таких систем рекомендуется тест LINPACK HPC (Highly Parallel Computing), который позволяет полностью загрузить вычислительные ресурсы МРР-системы, увеличивая размеры матрицы. При этом следует иметь в виду, что для параллельных систем (SMP и МРР) применяются специальные варианты этого теста, обеспечивающие распараллеливание вычислений.
3.3. МЕТОДИКА SPEC
Ведущие производители компьютерных систем в 1988 г. создали некоммерческую корпорацию SPEC (Strandard Performance Evaluation Corporation), призванную дать объективную оценку производительности вычислительных систем. Корпорация SPEC является разработчиком тестов, проводит тестирование и публикует результаты в специальном бюллетене «The SPEC Newsletter», который размещается на WWW-сервере www.SPEC.com. Оценки, публикуемые комитетом SPEC, являются официальными, признаваемыми всеми разработчиками тестов.
Основным набором в SPEC был тест SPECint89 для оценки процессора на операциях с данными целочисленного типа и SPECfp89 для оценки при работе с данными вещественного типа. Появление в начале 90-х гг. нового поколения RISC-процессоров (PowerPC, PA-7200, MIPS, Rxxxx) сделало невозможным использование этого набора из-за резкого уменьшения времени выполнения и влияния на производительность оптимизирующих компиляторов.
|
|
|
Тестовый набор был преобразован в смеси SPECint92 и SPECfp92, учитывающие эффективность работы с памятью. Производительность тестируемой системы измерялась в условных единицах относительно базовой DEC VAX 11/780.
Комплексный показатель качества по методике SPEC определяется как среднегеометрическое времени выполнения программ, входящих в тестовую смесь.
При этом использовалось среднее значение для всех тестов, образуемых SPECint92 и SPECfp92. С разработкой нового поколения оптимизирующих компиляторов для RISC-процессоров консорциум SPEC в 1994 г. внес новые поправки-требования к используемым компиляторам. Тесты получили название SPECbase_int92 и SPECbase_fp92 и применялись для оценки работы в однозадачном режиме.
Известно, что некоторые однопроцессорные системы способны выполнить одну задачу быстрее многопроцессорных, однако этот факт не дает полной картины интегрального поведения системы в целом, так как многопроцессорные комплексы могут выполнять больше заданий в единицу времени, поэтому в режиме многозадачности оценка производительности основана не на вычислении времени выполнения тестовой смеси, а на пропускной способности системы, измеряемой количеством заданий, выполненных за единицу времени.
Если один процессор за минуту выполняет одну работу, а система из четырех процессоров делает это за две, то многопроцессорная система работает в два раза медленнее, но имеет загрузку в два раза больше, чем однопроцессорная. Загрузка находится в прямой зависимости от размера кэш-памяти, скорости шины, емкости оперативной памяти.
Набор тестовых программ для оценки пропускной способности SPECrate полностью аналогичен наборам SPECint92 и SPECftp92 - это те же программы, но размноженные на несколько одновременно запускаемых копий. Результирующее значение по методике SPECrate вычисляется по формуле:
SPECrate = число_копий * ref_const * cpu_const / общее_время.
Число одновременно выполняемых задач может выбираться произвольным образом. Очевидное решение - число, равное количеству процессоров, однако для каждой конкретной архитектуры возможны свои особенности. Величины ref_const и cpu_const для каждого теста являются постоянными коэффициентами. Общее время - время завершения последней из всех запущенных работ.
В методике используется принцип однородной загрузки (тестовая смесь SPECint92 и SPECftp92), а в качестве конечного результата выступает среднее значение по всем тестам. При работе в мультипрограммной системе может варьироваться количество запускаемых копий, а время фиксироваться по завершении выполнения последней копии. Оценки по данной методике называются SPECrate_int92 и SPECrate_ftp92.
|
|
|
С октября 1995 г. для оценки производительности процессоров, оперативной памяти и компиляторов был объявлен новый тестовый комплект, включающий SPECint95 для операций с данными целочисленного типа и SPECftp95 - для операций с данными вещественного типа. Эти тестовые наборы предъявляют следующие ограничения и требования: достаточно большой размер кода и данных, чтобы он гарантированно не размещался целиком в кэш-памяти; увеличения времени выполнения тестов с секунд до минут; реалистичность используемых фрагментов программ; применение усовершенствованного способа измерения времени; реализация более удобных инструментальных средств; стандартизация требований к компиляторам и методов вызова.
Оценка систем проводится после пересчета результатов измерений по итоговому рейтингу - ранжировке систем относительно производительности базового процессора в соответствии с комплексным показателем. Подчеркивается, что задача комплексной оценки вычислительной системы в целом, включая периферийное оборудование, графическую подсистему, сетевое оборудование, ввод-вывод данных, остается за рамками тестов SPECint95 и SPECftp95.
В табл. 3.1 приведены результаты тестирования некоторых процессоров.
Таблица 3.1 Результаты тестирования микропроцессоров
| Микропроцессор | Разрядность | Частота, МГц | SPECint95 | SPECftp95 |
| Alpha 21 164 PentiumPro UltraSPARC Alpha 21 164 MIPS R10000 WaSPARC-II POWER2 Super | 64 32 64 64 64 64 32 | 12.4 9.3 6.5 8.5 5.5 | 17 7.4 |
Кроме собственно тестового набора комитетом SPEC разработан и инструментарий, использование которого является обязательным:
ü средства оценки, основанные на вычислении среднего времени из серии запусков, исключающие внесение какого-либо дополнительного пользовательского кода или использование произвольной выборки из серии запусков тестовых программ. В отчете присутствует «базовое» время (References time) – время выполнения теста на эталонной машине, в качестве которой используется SPARCstation 10/40 в конфигурации с кэш-памятью второго уровня. В отчет включается также относительное время выполнения тестов по сравнению со временем отработки тестов на эталонной машине; эта оценка является основной для данного набора;
ü автоматическое формирование отчета, в котором должно присутствовать полное описание конфигурации тестируемой системы, операционной системы и ключей запуска компилятора.
Оценка производительности проводится по двум частным показателям:
ü скорости выполнения теста с оптимизированным (SPECint_95 и SPECftp_95) и неоптимизированным (SPECint_base_95 и SPECftp_base_95) режимами компиляции;
ü пропускной способности системы для многопроцессорных архитектур и/или для многозадачного режима работы в оптимизированном (SPECint_rate95 и SPECftp_rate95) и неоптимизированном (SPECint_rate_base95 и SPECftp_rate_basefp95) режимах работы.
Смесь SPECint_95 включает 8, a SPECftp_95 - 10 программ. Перечень программ, время их выполнения на эталонной машине, прикладная область и характеризующие ее спецификации показаны в табл. 3.2. Набор целочисленных программ написан на языке Си, а для работы с плавающей арифметикой - на Фортране.
Как видно из табл. 3.2, в тестовый набор включены программы, используемые в различных прикладных областях. Это допускает проведение не только комплексного сравнения по итоговому рейтингу, но и узкоориентированного - по конкретной программе, в случае если предполагаемое использование вычислительной системы соответствует выбранной предметной области.
В комплект официальной поставки тестового набора входят исходные тексты программ тестового набора, инструментальные средства для компиляции, запуска, сравнения результатов и формирования отчета, описание правил запуска тестов и формирования отчета. В отчете указывается время прогона на тестируемой системе, относительное время по каждой программе и их файловой системе, используемые флаги и ключи.
| Таблица 3.2 Описание тестовых смесей по методике SPEC | ||||
| Программа | Базовое время, с | Область приложения | Спецификация задачи | |
| Тест SPECint_95 | ||||
| 099.go | Искусственный интеллект | Игра Go - игра сама против себя | ||
| 124.m88ksim | Моделирование | Моделирование чипа Motorola 88100 | ||
| 126.gcc | Программирование | Компиляция программы на Си и компиляция в оптимизированный код для процессоров SPARC | ||
| 129.compress | Сжатие данных | Сжатие текстового файла размером 16 Мбайт | ||
| 130.li | Интерпретация языков | Lisp-интерпретатор | ||
| 132.ijpeg | Обработка изображений | Сжатие изображений графических объектов (JPEG) с различными параметрами | ||
| 134.perl | Shell - интерпретатор | Манипулирование текстовыми строками | ||
| 147.vortex | Базы данных | Построение и манипулирование таблицами | ||
| Тест SPECftр_95 | ||||
| 101.tomcatv | Гидродинамика, геометрические операции | Генерация двухмерной координатной сетки преобразования вокруг произвольной области | ||
| 102.swim | Предсказание погоды | Моделирование водной поверхности методом конечных элементов (вещественная арифметика с одинарной точностью) | ||
| 103.su2cor | Квантовая физика | Вычисление массы элементарных частиц с использованием метода Монте-Карло | ||
| 104.hydro2d | Астрофизика | Расчет межгалактических газов по уравнению Новье-Стокса | ||
| 107.mgrid | Электромагнетизм | Расчет трехмерного поля потенциалов | ||
| 1 10.applu | Гидродинамика | Решение системы уравнений с частными производными | ||
| 125.turb3d | Моделирование | Моделирование турбулентностей в кубическом объеме | ||
| 141.apsi | Предсказание погоды | Вычисление статистики температур, воздушных потоков и уровней загрязнения | ||
| 145.fpppp | Квантовая химия | Отработка порождения потока электронов | ||
| 146.wave | Электромагнетизм | Решение уравнения Максвелла | ||
Оценки SPEC важны для анализа систем, основное назначение которых быть вычислителем вообще, без детального уточнения конкретной специфики. Тестовые наборы дают сравнение по работе с целыми и с вещественными числами.
Консорциум SPEC разработал кроме этих еще несколько тестов, среди которых SDM (тест рабочей нагрузки при использовании UNIX) и SFS (тест рабочей нагрузки файлового сервера). В тесте SDM моделируется многопользовательская среда UNIX и оцениваются как работа ОС, так и производительность процессора и операции ввода-вывода. Тест SFS включает в себя один пакет 097.LADDIS, в рамках которого генерируются типовые сетевые запросы к NFS-серверу. Отчет по этому тесту содержит описание полной конфигурации и время ответа на запросы через NFS.
3.4. ТЕСТ ICOMP 2.0 ДЛЯ ОЦЕНКИ ЭФФЕКТИВНОСТИ МИКРОПРОЦЕССОРОВ INTEL
Корпорация Intel разработала тест iСОМР, ранжирующий по эффективности микропроцессоры различных семейств Intel-подобной архитектуры.
Тест iСОМР ориентирован только на выбор микропроцессоров для ПЭВМ. Тест не может служить интегральным показателем качества любых типов микропроцессоров, ПЭВМ или рабочих станций в целом, так как на общую эффективность влияют различия в аппаратных средствах и конфигурации программного обеспечения.
Со временем тест iCOMP был модифицирован и назван iCOMP 2.O. В нем отражены основные тенденции в формировании требований к оценке микропроцессоров: учет современных профилей прикладных программ, определяемых как соотношение времени выполнения регистровых операций ЦПУ, обмена с памятью и ввода-вывода; переход на 32-разрядные операционные системы и прикладные программы, включая Windows 95, NT, OS/2 и UNIX; быстрое увеличение объема мультимедийных, сетевых средств и средств обработки трехмерной графики.
Уникальные для основных прикладных программ смеси операций, определяющие их профили, показаны на рис. 3.1.
Оценка процессоров производится по взвешенному времени выполнения тестовой смеси, нормированному по эффективности базового процессора, в соответствии с формулой
где ВМi – время выполнения i-го теста;
Pi – вес i-го теста;
Base_BMi – эффективность базового процессора на i-м тесте.
Из приведенной формулы следует, что индекс iCOMP 2.0 вычисляется как мультипликативная свертка времени работы процессора на каждом из эталонных тестов смеси.
Состав тестовой смеси выбран так, чтобы охватить различные категории прикладных программ и объемы загрузки процессора. Перечень категорий прикладных программ, состав тестовой смеси (BMi) и веса тестов (Pi), используемые для расчета индекса 1СОМР 2.0 (табл. 3.3), определены исходя из анализа рыночного спроса программ различного типа.
Таблица 3.3 Категории программ и веса тестов iCOMP 2.0
| Категория программ | Состав тестовой смеси (BMi) | Вес тестов (Pi),% |
| Инженерные программы типа Autocad | Norton SI32 | |
| Программы типа Microsoft Office | CPUmark32 | |
| Программы, оперирующие данными целого типа | SPECint_base95 | |
| Программы, оперирующие данными с плавающей точкой | SPECfp_base95 | |
| Программы мультимедиа | Intel Media Benchmark |
За базовый процессор принят Pentium-120МГц, имеющий оценку, равную 100 ед.
Эффективность базового процессора (Base_BMi), определенная по различным тестам, представлена ниже.
Перечень микропроцессоров, отранжированных по индексу iCOMP 2.0, приведен ниже.
| Тест | Base_BMi |
| CPUmark32 | |
| NortonSI32 | 32.4 |
| SPECint_base95 | 3.55 |
| SPECfp_base95 | 2.19 |
| Intel Media Benchmark | 99.87 |
Оценки, основанные на iCOMP 2.0, не могут сравниваться с оценками, основанными на iCOMP, так как они получены из различного набора эталонных тестов с различными весами и нормированы на различный базовый процессор.
В тесте iCOMP за базовый процессор принят процессор Intel486SX, 25МГц.
| Процессор, МГц | Индекс iCOMP 2.0 | Процессор, МГц | Индекс iCOMP 2.0 |
| Pentium Pro, 200/МГц | Pentium 133/МГц | ||
| Pentium Pro, 180/МГц | Pentium 120/МГц | ||
| Pentium Pro, 150/МГц | Pentium 100/МГц | ||
| Pentium 200/МГц | Pentium 90/МГц | ||
| Pentium 166/МГц | Pentium 75/МГц | ||
| Pentium 150/МГц |
3.5. МЕТОДИКА AIM
Сравнение и оценка производительности вычислительных систем применительно к конкретному приложению и планируемому использованию проводятся по методикам независимой компании AIM Technology, основанной в 1981 г.
Предлагаемые AIM Technology методики и тестовые смеси ориентированы на получение интегральных оценок по всем компонентам UNIX-систем в многопользовательском и многозадачном режимах.
Разработанные методики позволяют получить более комплексную оценку тестируемой архитектуры, чем тесты SPEC и iCOMP 2.O. Результаты тестовых испытаний систем можно получить на сервере www.ideas.com.au/bench/aim/aim.htm.
В методике AIM при проверке учитываются следующие критерии:
* пиковая производительность (AIM Performance Rating) максимальная производительность в режиме наиболее оптимального использования центрального процессора, процессора работы с вещественными числами и кэш-памяти;
* максимальная нагрузка (Maximum User Load) - максимально возможное число заданий при работе наибольшего числа пользователей, которое может выполнить система за минуту. Данный показатель используется при выборе серверов;
* обработка утилит Unix (Utilities Indexed или Milestone) оценка возможностей по выполнению 40 утилит ОС Unix. Данный показатель используется при выборе инструментального компьютера, предназначенного для интенсивной работы с утилитами типа grep или make;
* пропускная способность (Throughput Graph) – показатель производительности (число работ в минуту) в зависимости от степени загрузки системы;
* цена (Price) - стоимость тестируемой компьютерной системы.
Производительность при выполнении Unix-утилит идентифицирует системы, наиболее эффективно выполняющие утилиты ОС Unix за одну минуту. Основным набором оценки собственно компьютерной системы, без вывода на терминалы, учета производительности при работе с X Window и в составе сети, является AIM System Benchmark (Suite III). Набор состоит из шести так называемых моделей: обмены с оперативной памятью (20 %), работа с вещественными числами двойной и одинарной точности (10 %), операции работы с целыми числами (20 %), обмены данными между процессорами (10 %), вызовы функций на языке Си с 0, 1, 2 и 15 параметрами (20 %), ввод-вывод на диск (20 %). Ниже приведены результаты сравнения компьютерных систем, полученные фирмой AIM.
| Модель | Эффективность, усл. оп/с |
| Silicon Graphics Indigo R4000 (32 Мб) | |
| Silicon Graphics Indigo R4000 (96 Мб) | |
| Motorola Series 900 Model M921 | |
| Wyse Series 7000i Model 760MP (2 CPU) | |
| Sun Sparcserver 10 Model 40 | |
| DECsystem 5000 Model 50 | |
| Zenith Data Systems Z-Server EX P60E 1000A |
Полный отчет по компьютерной системе включает данные тестирования по набору тестов AIM Subsystem Benchmark (Suite -III). Проверка по данному набору производится при работе компьютера в однозадачном режиме и включает следующие оценки производительности:
при работе с диском. Измеряется в килобайтах в секунду для двух вариантов: при использовании кэширования и без него. Оценка применяется при выборе систем для работы с базами данных, файловых серверов и рабочих мест разработчика программного обеспечения;
при выполнении операций над вещественными числами. Измеряется в тысячах операций в секунду отдельно для сложения, умножения и деления, с двойной и одинарной точностью. Оценка используется при выборе систем для работы в научных и физических приложениях;
при работе с целыми числами. Измеряется в тысячах операций в секунду отдельно для сложения, умножения и деления чисел в длинном (long) и коротком (short int) форматах. Оценка используется при выборе систем для работы в финансовых приложениях;
для операций чтения/записи в память. Измеряется в килобайтах в секунду отдельно при чтении и записи целых чисел в длинном и коротком форматах, а также символов. Оценка используется при выборе компьютеров для работы с издательскими системами и в финансовых приложениях;
для операций копирования в памяти. Измеряется в килобайтах в секунду при пересылке целых чисел в длинном и коротком форматах, а также символов;
для операций в памяти над массивами ссылок. Измеряется в тысячах ссылок в секунду для целых чисел в длинном и коротком форматах;
при вызове системных функций. Измеряется количеством обращений в секунду к таким функциям Unix, как create/close, fork,signal и unmask;
при вызове функций в прикладной задаче. Измеряется количеством вызовов в секунду для функций без аргументов, функций с одним, двумя и пятнадцатью параметрами типа int.
Компания AIM Technology разработала также специальные наборы тестовых смесей, характеризующие использование вычислительной системы в следующих прикладных областях: General Workstation Mix - среда разработки программного обеспечения; Mechanical CAD Mix - среда автоматизации проектирования в машиностроении (с использованием трехмерной графики); GIS Mix - среда геоинформационных приложений; General Business -среда стандартных офисных приложений (электронные таблицы, почта, тестовые процессоры); Shared/Multiuser Mix - многопользовательская среда; Computer Server Mix - среда центрального сервера для большого объема вычислений; File Server Mix - среда файлового сервера; RBMS Mix - среда обработки транзакций реляционной базы данных.
3.6. МЕТОДИКА ОЦЕНКИ СКОРОСТИ ОБРАБОТКИ ТРАНЗАКЦИЙ
Коммерческие приложения требуют эффективной работы с внешней памятью в распределенной сети при обработке транзакций.
До недавнего времени все производители рабочих станций и разработчики систем управления базами данных (СУБД) предлагали свои собственные способы оценки. В 1988 г. пять ведущих фирм, среди которых были IBM, Control Data и Hewllett-Packard, организовали Совет по проведению оценки скорости выполнения транзакций ТРС (Transaction Processing Performance Council), положивший конец «войне транзакций» и установивший единые правила измерения и оформления отчетов по их результатам.
Методики тестирования ТРС основаны на том, что эффективность систем, предназначенных для решения задач оперативной аналитической обработки данных - OLTP (On-line Transaction Processing), в том числе для работы с базами данных, характеризуется числом транзакций, выполняемых в единицу времени.
Любая компания и фирма может стать членом ТРС, а результаты тестовых испытаний общедоступны на WWW-сервере www.ideas.com.au/bench/spec/spec.htm.
Понятие «транзакция» традиционно связывается с реляционными базами данных, однако применительно к OLTP имеет более общий смысл. Под транзакцией понимается последовательность операций ввода-вывода, во время проведения которых база данных остается неизменной. Практически транзакция представляет собой атомарную неделимую операцию, все изменения в результате выполнения которой становятся видны сразу после ее выполнения или отсутствуют до тех пор, пока операция не завершится.
В настоящее время из комплекса ТРС приняты в качестве общепризнанного стандарта три оценки (А, В и С).
Оценка ТРС-А характеризует быстродействие выполнения транзакций в режиме on-line для банковского кассира. При выполнении данного теста специально эмулируется операционная обстановка банка (терминалы и линии коммуникаций), а в качестве транзакции выбирается обычная операция по обновлению счета клиента. Скорость работы в локальном окружении (без передачи транзакции во внешнюю сеть) измеряется в tsp-A-local. Быстродействие при работе с внешними межбанковскими сетями оценивается в tsp-A-wide. В отчет о проведенном испытании по данной методике входит стоимость компьютера вместе с необходимым программным обеспечением и дополнительным оборудованием, необходимым для обеспечения работы банка в течение 90 дней. Стоимость вычислительной системы включает также пятилетнее сопровождение. При делении общей стоимости комплекса на полученное значение tsp получают цену одной транзакции (типа wide или local).
Оценка ТРС-В представляет собой усеченный вариант ТРС-А (без эмуляции терминалов и линий связи), ориентированный на проверку возможностей только СУБД в условиях ее интенсивной эксплуатации. Единицами измерения являются tsp-B и стоимость одной транзакции.
Тест ТРС-С появился из проекта корпорации МСТ (Microelectronics and Computer Technology). Программа проверки включает моделирование различных видов деловой деятельности (операции со счетами в банке, инвентаризация и т.п.). Размер транзакций в ТРС-С изменяется от очень простых и коротких до очень сложных и длинных операций, которые, как в реальной практике бизнеса, требуют сложных проводок и многоступенчатых пересылок. Единицами измерения являются tmp -число транзакций в минуту и стоимость одной транзакции.
Показатели по оценке ТРС могут зависеть не только от возможностей аппаратуры, но и от используемой базы данных (БД). Обычно применяются три СУБД: Oracle, Informix и Sybase.
Комитетом ТРС объявлены также тесты TPC-D и ТРС-Е. Тест TPC-D ориентирован на системы принятия решений DSS (Decision Support System). Эти системы характеризуются работой с более сложными запросами, возможностью моделирования хода выполнения транзакций для анализа возникающих ситуаций и т.д. В нем используются 17 аналитических запросов, характерных для расчета цен и скидок, общего анализа и прогнозирования рынка и управления поставками. Тест ТРС-Е также служит для оценки пригодности вычислительных систем для задач DSS.
Тест ТРС-А стал базовым для создания всей серии ТРС, но он не мог охватить всего многообразия требований приложений OLTP. Поэтому в 1995 г. он был изъят из употребления. ТРС-В также утратил актуальность в том же году. В связи с появлением эталонных тестов ТСН-Н и TPC-R тест ТРС-Д был изъят из применения в 1999 г.
3.7. МЕТОДИКА ОЦЕНКИ ГРАФИЧЕСКИХ ВОЗМОЖНОСТЕЙ
Приведенные выше методики предназначены для тестирования наиболее распространенных типовых вычислительных систем и приложений. Однако массовое внедрение различного рода графических приложений (САПР, геоинформационные системы, мультимедиа и виртуальная реальность, архитектурное проектирование) потребовало разработки своих, специфических методик оценки.
Для оценок графических систем в настоящее время доступны несколько тестов, разработанных комитетом Graphics Performance Characterization (GPC), функционирующим под управлением Национальной графической компьютерной ассоциации (NCGA - National Computer Graphics Association), которая, в свою очередь, взаимодействует со SPEC. Комитет GPC предложил три системы тестов, на основе которых производится тестирование графических систем. Первой тестовой системой является Picture-Level Benchmark (PLB), фактически измеряющая скорость визуализации. Результаты тестирования, доступные на сервере //sunsite.unc.edu/gpc/gpc.html или www.ideas.com.au/bench/ gpc, приводятся для стандартной (PLBlit) и оптимизированной (PLBopt) конфигурации.
Кроме теста PLB комитет GPC публикует результаты измерений по методике Xmark93, используемой для оценки эффективности работы Х-сервера. Следует отметить, что фирмами-разработчиками чаще всего используется тест Xmark93, позволяющий оценивать не только аппаратуру, но и эффективность реализации Х-сервера и степень его оптимизации под конкретное графическое оборудование. Результаты измерений на основе данного теста обычно доступны на WWW-серверах фирм-производителей.
Далеко не полный список различных систем тестирования состоит из более чем 40 названий и включает такие тесты, как Ханойские пирамидки, EureBen, SYSmark, CPUmark32 (тест, специально разработанный для оценки систем на базе процессора Intel). Приведенные методики и системы тестирования являются наиболее распространенными и, что самое главное, признанными большинством фирм-производителей.
3.8. МЕТОДИКА ОЦЕНКИ ПРОИЗВОДИТЕЛЬНОСТИ СУПЕРКОМПЬЮТЕРОВ
На рынке компьютерных технологий сейчас широко представлены и активно продолжают разрабатываться различные суперпроизводительные микропроцессоры: Alpha, MIPS, PowerPC/ POWER2, НР7200/8000, Pentium Pro, превосходящие на различных тестах многие вычислительные системы, построенные на процессорах предыдущего поколения. Однако, несмотря на впечатляющие успехи микропроцессорных технологий, разработчики уделяют большое внимание SMP, МРР и кластерным архитектурным решениям. Решение наиболее «емких» вычислительных задач, например численного аэродинамического моделирования, связывается именно с суперкомпьютерными архитектурами, обеспечивающими максимальную степень параллелизма. Так, например, NASA Armes Research Center определяет необходимость тысячекратного увеличения требуемых вычислительных мощностей.
Кроме крупнейших исследовательских центров, таких, как Cornell University, NASA, Air Force High Performance Computing Center, системы массового параллелизма используются для анализа и прогнозирования в бизнесе, что имеет целый рад особенностей, связанных с вычислительными методами, ОС, мониторами параллельной обработки транзакций, библиотеками параллельных вычислений и т.п. Ведущие производители поставляют на рынок коммерческих приложений вычислительные системы IBM SP2, SNI RM1000, CRAY T916 Intel/Paragon и др.
Широко используемые системы Benchmark SPEC, TPC и UNPACK, применяемые для традиционных архитектур, неприемлемы для МРР-архитектур. Например, тесты SPEC дают возможность определить лишь производительность самих процессоров, тесты ТРС и UNPACK хотя и учитывают текущую конфигурацию вычислительной системы в целом и пригодны для оценки задач OLTP и DSS, все же не достаточны для многопроцессорных архитектур. К тому же объемы используемых в этих тестах данных (даже для теста UNPACK TPP - матрица размером 1000x1000) не позволяют полностью загрузить вычислительные ресурсы для получения реальных оценок. Для решения этой задачи специалистами из исследовательского центра NASA Ames Research Center были сформулированы основополагающие требования, которым должны удовлетворять тестовые методики оценки производительности суперкомпьютерных многопроцессорных систем, особенно МРР:
ü системы с массовым параллелизмом часто требуют новых алгоритмических и программных решений, а их конкретные реализации могут существенно зависеть от архитектуры компьютера и, как следствие, отличаться друг от друга;
ü тестовые смеси должны носить общий характер и не следовать какой-либо конкретной архитектуре, что исключает использование архитектурно-зависимого кода, например message passingcode;
ü корректность результатов должна быть легко проверяема, т.е. должны быть точно описаны входные и выходные данные и природа вычислений;
ü используемая память и вычислительные ресурсы должны быть масштабируемыми для повышения производительности;
ü тесты и спецификации используемых тестов должны быть доступны и подтверждаться повторной реализацией.
Существует подход, удовлетворяющий этим требованиям, при котором выбор конкретных структур данных, алгоритмов распределения процессоров и выделения памяти оставляется на усмотрение разработчика и решается в конкретной реализации тестов. Но система тестирования должна соответствовать некоторым правилам:
ü все
|
|
|
