 |
Оценка оптимизации задачника нейросетью с позиций теории информации
|
|
|
|
Разницу между первоначальным (заданным психологом) и требуемым нейросети для успешного решения задачи объемом опросника можно оценить с позиций теории информации [95].
Начальное количество информации, содержащейся в тесте можно оценить исходя из того, что вопросы первого и третьего тестов бинарны (варианты ответов «Да» и «Нет», вероятность наступления каждого из них - 0.5), а ответы на вопросы второго - могут с равной вероятностью соответствовать наступлению одного из трех событий, которые будем считать равновероятными (варианты ответов «А», «Б» и «В», p=0.333). Тогда, исходя из формулы Шеннона
и учитывая, что количество вопросов в первом субтесте - 29, во втором - 25 и в третьем - 36 можем вычислить суммарное количество информации, содержащееся в ответах на вопрос теста:
.
После исключения половины вопросов из-за их малой значимости для нейронной сети в оптимизированном опроснике осталось 16 вопросов первого субтеста, 9 - второго и 20 - третьего. Количество информации, оставшееся после оптимизации:
,
то есть количество информации при оптимизации сократилось несколько более чем вдвое.
Эксперименты по предсказанию парных взаимоотношений
В этой серии экспериментов предполагалось установить, способны ли нейросети воспроизвести взаимоотношения пары испытуемых.
Обучающие выборки имели следующую структуру: № - номер примера, ID_From - номер оценивающего, ID_From - имя оценивающего, ID_To - номер оцениваемого, Name_To - имя оценивающего, w1_1_From - w3_36_From - ответы на вопросы опросника А.Г. Копытова, данные оценивающим, w1_1_To - w3_36_To - ответы на вопросы опросника А.Г. Копытова, данные оцениваемым, Ocen - данная оценка.
В задачник включались строки, соответствующие всем клеткам социометрической матрицы кроме диагональных, отвечающих за самооценку испытуемых.
|
|
|
Был сформирован задачник по группе 5-го курса. В него вошли 132 примера, по которым было произведено обучение соответствующего числа сетей по методике скользящего контроля.
В силу большой трудоемкости задачи обучения по выбооркам такого объема и размерности (обучение одной сети занимает около 40 мин.) обучения консилиумов не проводилось.
Результат скользящего контроля следующий: средняя относительная ошибка предсказания парных взаимоотношений в группе составила 33,1%.
Затем было вычислено среднее расстояние 
между случайными оценками 
и 
, вычисляемое, как и в п.3.4, по формуле
,
где N - количество примеров обучающей выборки.
Данная величина составила 6.612 (или, относительно шкалы измерения признака, 66.12%), то есть отличие предсказания сети от случайного почти двукратное.
Таким образом, можно говорить, что нейронные сети могут предсказывать не только усредненный статус члена группы, но и взаимоотношения между двумя произвольно взятыми личностями.
Выводы главы 3
Нейронная сеть способна на основе только психологических свойств исследуемых, без привлечения фактов социальной истории исследуемых личностей, интуитивно порождать прогноз результатов социометрического эксперимента на базе, со средней ошибкой 23-30%.
Данный прогноз общезначим для всех исследуемых с равным социальным статусом и устойчив относительно состава группы.
Аппарат нейронных сетей позволяет оптимизировать психодиагностические тестовые методики по объему точнее, чем это доступно даже опытному психологу.
Глава 4. Полутораслойный предиктор с произвольными преобразователями
Постановка проблемы
Функция F на R задана набором своих значений в случайных точках пространства 
. Построим ее аппроксимацию при помощи комбинаций 
- функций из набора 
, гладких и непрерывно дифференцируемых. Тогда
|
|
|
- ошибка аппроксимации F функцией 
;
- ошибка предыдущего шага аппроксимации
Аппроксимация может вестись не только подбором коэффициентов, но и выбором на каждом шаге функций 
из 
. Таким образом может быть получено разложение функции F в сходящийся ряд вида:
Решение задачи аппроксимации может быть получено путем минимизации функционала качества, соответствующего квадрату отклонения:
,
Задача состоит в приближении функции F, заданной исходной выборкой точек, при помощи нейросети-предиктора с неизвестным заранее количеством нейронов и видом функции, используемой в преобразователе каждого из нейронов.
Решение может быть представлено как итерационный процесс, состоящий из следующих шагов:
- Подключение нового нейрона;
- Оптимизация ошибки предсказания значений в заданных точек для текущего нейрона путем подбора функции преобразователя, ее параметров и весов синапсов;
Если заданная точность достигнута, то процесс можно остановить, в противном случае - процесс повторяется сначала, причем параметры уже обученных нейронов фиксируются, так что каждый новый нейрон обучается вычислять погрешность, оставшуюся от предыдущих.
Количество итераций процесса исчерпания ошибки может быть также ограничено из условия превышения нижней оценки константы Липшица для конструируемой нейронной сети над верхней оценкой выборочной константы Липшица.
Аналитическое решение
Пусть 
- приближаемое очередным слоем значение. Тогда 
- само значение приближаемой функции в точках экспериментальной выборки, а 
и последующие - погрешности вычисления на соответствующем шаге.
Обучение ведется оптимизацией параметров сети каким либо из градиентных методов по всему задачнику.
Тогда при обучении k-го нейрона
,
соответственно H (функция ошибки) для всего задачника будет иметь вид
,
то есть в качестве критерия близости аппроксимируемой и аппроксимирующей функций выбрана сумма квадрата ошибки по всей обучающей выборке.
Для обучения каждого очередного нейрона используются частные производные функции 
по весам синапсов первого слоя 
:
|
|
|
,
параметру нейрона 
и весу синапса второго (выходного) слоя 
соответствующему данному нейрону
,
где 
- число примеров обучающей выборки.
Однако, если вычисление функции H связано с затратами процессорного времени порядка TH, то вычисление ее градиента традиционным способом потребует времени порядка
TgradH=nTH,
где n - число переменных функции H. Учитывая, что в задачах, для которых традиционно применяются нейросети, величина n может достигать нескольких тысяч, аналитическое решение для вычисления градиента функции ошибки следует признать неприемлемым.
Однако при описании решающей функции F в виде сети автоматов вычисление градиента функции ошибки H может быть представлено как функционирование системы, двойственной исходной. При таком подходе
,
где C - константа, не зависящая от размерности n и в большинстве случаев примерно равная 3.
Таким образом, мы приходим к записи решения исходной задачи в идеологии нейронных сетей.
|
|
|
