 |
Стратегия обучения нейронных сетей
|
|
|
|
Наряду с алгоритмом обучения не менее важным является стратегия обучения сети.
Одним из подходов является последовательное обучение сети на серии примеров (Х i, Hi) i = 1, 2, …, m, составляющих обучающую выборку. При этом сеть обучают правильно реагировать сначала на первый образ Х 1, затем на второй Х 2 и т.д. Однако, в данной стратегии возникает опасность утраты сетью ранее приобретенных навыков при обучении каждому следующему примеру, то есть сеть может «забыть» ранее предъявленные примеры. Чтобы этого не происходило, надо сеть обучать сразу всем примерам обучающей выборки.
Х 1 ={ Х 11,…, Х 1 N } можно обучать 100 ц 1
Х 2 = { Х 21,…, Х 2 N } 100 ц 2 100 ц
……………………
Х m = { Х m 1,…, Х mN } 100 ц 3
Так как решение задачи обучения сопряжено с большими сложностями, альтернативой является минимизация целевой функции вида:
,
где l i – параметры, определяющие требования к качеству обучения нейронной сети по каждому из примеров, такие, что λ1 + λ2 + … + λ m = 1.
Практическая часть.
Сформируем обучающее множество:
P_o=cat (1, Mt, Mf);
P_o=P_o';
Зададим структуру нейронной сети для задачи обнаружения:
net = newff (minmax(P_o), [npr 2], {'logsig', 'logsig'}, 'trainlm', 'learngdm');
net.trainParam.epochs = 100;% заданное количество циклов обучения
net.trainParam.show = 5;% количество циклов для показа промежуточных результатов;
net.trainParam.min_grad = 0;% целевое значение градиента
net.trainParam.max_fail = 5;% максимально допустимая кратность превышения ошибки проверочной выборки по сравнению с достигнутым минимальным значением;
net.trainParam.searchFcn = 'srchcha';% имя используемого одномерного алгоритма оптимизации
net.trainParam.goal = 0;% целевая ошибка обучения
Функция newff предназначена для создания «классической» многослойной нейронной сети с обучением по методу обратного распространения ошибки. Данная функция содержит несколько аргументов. Первый аргумент функции – это матрица минимальных и максимальных значений обучающего множества Р_о, которая определяется с помощью выражения minmax (P_o).
|
|
|
Вторые аргументы функции, задаются в квадратных скобках и определяют количество и размер слоев. Выражение [npr 2] означает, что нейронная сеть имеет 2 слоя. В первом слое – npr=10 нейронов, а во втором – 2. Количество нейронов в первом слое определяется размерностью входной матрицы признаков. В зависимости от количества признаков в первом слое может быть: 5, 7, 12 нейронов. Размерность второго слоя (выходной слой) определяется решаемой задачей. В задачах обнаружения полезного сигнала на фоне микросейсма, классификации по первому и второму классам, на выходе нейронной сети задается 2 нейрона.
Третьи аргументы функции определяют вид функции активации в каждом слое. Выражение {'logsig', 'logsig'} означает, что в каждом слое используется сигмоидально-логистическая функция активации 
, область значений которой – (0, 1).
Четвертый аргумент задает вид функции обучения нейронной сети. В примере задана функция обучения, использующая алгоритм оптимизации Левенберга-Марквардта – 'trainlm'.
Первые половина векторов матрицы Т инициализируются значениями {1, 0}, а последующие – {0, 1}.
net=newff (minmax(P_o), [10 2], {'logsig', 'logsig'}, 'trainlm', 'learngdm');
net.trainParam.epochs = 1000;
net.trainParam.show = 5;
net.trainParam.min_grad = 0;
net.trainParam.max_fail = 5;
net.trainParam.searchFcn = 'srchcha';
net.trainParam.goal = 0;
Программа инициализации желаемых выходов нейронной сети Т:
n1=length (Mt(:, 1));
n2=length (Mf(:, 1));
T1=zeros (2, n1);
T2=zeros (2, n2);
T1 (1,:)=1;
T2 (2,:)=1;
T=cat (2, T1, T2);
Обучение нейросети:
net = train (net, P_o, T);
Рисунок 25 – График обучения нейронной сети.
Произведем контроль нейросети:
P_k=[Mt; Mf];
P_k=P_k';
Y_k=sim (net, P_k);
Команда sim передает данные из контрольного множества P_k на вход нейронной сети net, при этом результаты записываются в матрицу выходов Y_k. Количество строк в матрицах P_k и Y_k совпадает.
|
|
|
Pb=sum (round(Y_k (1,1:100)))/100
Оценка вероятности правильного обнаружения гусеничной техники Pb=1 alpha = sum (round(Y_k (1,110:157)))/110
Оценка вероятности ложной тревоги alpha =0
Определяем среднеквадратическую ошибку контроля с помощью желаемых и реальных выходов нейронной сети Еk.
[Ek] = T-Y_k;
sqe_k = mse(Ek)
Величина среднеквадратической ошибки контроля составляет:
sqe_k = 2.5919e-026
Протестируем работу нейросети. Для этого сформируем матрицу признаков тестового сигнала:
h3=tr_t50-mean (tr_t50);
Mh1=MATRPRIZP (h3,500, N1, N2);
Mh1=Mh1 (1:50,:);
P_t=[Mh1; Mt];
P_t=P_t';
Y_t=sim (net, P_t);
Pb=sum (round(Y_t (1,1:100)))/100
Оценка вероятности правильного обнаружения гусеничной техники Pb=1
Находим разницу желаемых и реальных выходов нейронной сети Е и определяем среднеквадратическую ошибку тестирования.
[Ek] = T-Y_t;
sqe_t = mse(Ek)
Величина среднеквадратической ошибки тестирования составляет:
sqe_t = 3.185e-025
Вывод: в данном разделе мы построили модель обнаружителя сейсмических сигналов на нейронной сети с обучением по методу обратного распространения ошибки. Задача обнаружения решается с не большими погрешностями, следовательно признаки подходят для обнаружения.
Данную двухслойную нейронную сеть можно применить в построении системы обнаружения объектов.
Заключение
Целью данной курсовой работы было изучение методов обработки информации и применение их для решения задач обнаружения объектов.
В ходе проделанной работы, которая выполнялась в четыре этапа, были получены следующие результаты:
1) Были построены гистограммы выборочных плотностей вероятности амплитуд сигналов, как случайных величин.
Оценены параметры распределения: математическое ожидание, дисперсию, среднеквадратическое отклонение.
Сделали предположение о законе распределения амплитуды и проверили гипотезу по критериям Колмогорова-Смирнова и Пирсона на уровне значимости 0,05. По критерию Колмогорова-Смирнова распределение подобрано, верно. По критерию Пирсона распределение подобрано верно только для фонового сигнала. Для него приняли гипотезу о нормальном распределении.
Приняли сигналы за реализации случайных функций и построили для них корреляционные функции. По корреляционным функциям определили, что сигналы имеют случайный колебательный характер.
|
|
|
2) Сформировали обучающее и контрольное множества данных (для обучения и контроля нейронной сети).
3) Для обучающей матрицы оценили параметры распределения признаков: математическое ожидание, дисперсию, среднее квадратическое отклонение. По каждому признаку обучающей матрицы заданных классов вычислили расстояние и выбрали признак с максимальной разностью. Вычислили порог принятия решения и построили на одном графике кривые плотности распределения вероятности. Сформулировали решающее правило.
4) Обучили двухслойную нейронную сеть на решение задачи классификации. Оценили вероятности правильного обнаружения и ложной тревоги. Те же показатели оценили по тестовым сигналам.
Список используемой литературы
1. Лекции по теории обработки информации в СБЛ. Лектор: Чистова Г.К.
2. Чистова Г.К. «Основы обработки и обнаружения случайных сигналов»
3. Вентцель Е.С. «Теория вероятности и математическая статистика»
|
|
|
