О методике сравнения программных продуктов

О методике сравнения программных продуктов

Ю.Г. Маслов,
коммерческий директор ООО "КРИПТО-ПРО"

Мало кто из читателей не вставал перед проблемой выбора. Есть два или больше программных продуктов, одинаковых по функциональности, реализующих одни и те же алгоритмы нужных процессов, и требуется выбрать один из них. Особенно это актуально при оценке предложений в открытых конкурсах.

Традиционным подходом к сравнению программных продуктов является оценка продуктов по цене предложения. Не менее традиционна и субъективная оценка лица, принимающего решения исходя из известности бренда или по принципу "этот продукт мне нравится". В обоих подходах имеется существенный недостаток: они не приведут к оптимальному выбору и, следовательно, спровоцируют неоптимальное расходование денежных средств.

Рассмотрим иной подход сравнительного анализа продуктов, основанный на оценке каждого продукта, выставляемого на конкурс. Суть данного подхода - выполнение аддитивной сверки продуктов по заранее согласованным критериям оценки с коэффициентами значимости каждого критерия.

Приведем методику сравнения заявленных продуктов.

Шаг 1. Комиссия экспертов формирует таблицу критериев оценки, являющихся самыми важными для потребителя.

Таблица критериев оценки должна быть достаточно полной, чтобы отразить наиболее существенные характеристики выбираемого продукта. В то же время таблица не должна быть излишне перегруженной, чтобы значимые критерии не были маскированы несущественным "шумом". Оптимальное количество критериев - около 20.

Шаг 2. Та же комиссия для каждого критерия определяет методику оценки выполнения критерия таким образом, чтобы "обезразмерить" исходные показатели. Данная процедура обычно называется шкалированием. Для этого результат оценки переводится в один из двух вариантов: равен 0 в случае невыполнения критерия и равен 1 в случае, если критерий оценки выполнен.

Как правило, методика оценки строится на экспертной оценке сведений, представленных участником конкурса. Например, критерий считается выполненным, если имеется специализированный форум по продукту на сайте участника конкурса. Если критерий может иметь количественную оценку, то экспертами вырабатывается некое пороговое значение, превышение которого считается выполнением критерия. Например, критерий считается выполненным, если имеется 3 или более сфер хозяйственной деятельности, где используется продукт.

Шаг 3. Для каждого критерия эксперты выставляют коэффициенты значимости критерия для оценки продукта. Коэффициенты распределяются на отрезке от 0 до 1.

Самым успешным методом для формирования весовых коэффициентов является определение весовых коэффициентов с помощью средних экспертных значений. Каждый эксперт в комиссии расставляет в таблице критериев свои значения коэффициентов значимости критерия. Результирующий (итоговый) коэффициент для каждого критерия получается как среднеарифметическая величина от значений, определенных экспертами для этого критерия.

Шаг 4. Производится расчет аддитивной суммы интегральной оценки для каждого сравниваемого продукта по следующей формуле:

где

O_зп - интегральная оценка заявленного продукта;

п - количество критериев сравнения заявленных продуктов согласно таблице критериев;

Z_i - значение выполнения критерия (1 - выполнен, 0 - не выполнен);

K_i - коэффициент значимости критерия сравнения (от 0 до 1).

Шаг 5. Значения интегральных оценок для каждого сравниваемого продукта ранжируются по убыванию.

Таким образом, получается таблица оценки продуктов, которая используется для принятия решения при выборе продукта.