 |
Скомпонованная полутораслойная поточная сеть
|
|
|
|
Целая сеть представлена классом TNet. Данный класс также является потомком класса TNetPiece - общего элемента сети, что позволяет, используя свойство полиморфизма объектов, достаточно легко компоновать из отдельных фрагментов нейросети более сложной структуры.
Кроме полей, унаследованных от TNetPiece, сеть характеризуется также полями Inputs - список входных элементов, Streams - список потоков сети, SecondLayer - сумматор входного слоя, Answer - выходной элемент сети.
Для описания такта прямого функционирования сети используется, так же как в других элементах сети, метод ForwardTact. Методом выполняются следующие действия:
Перебор списка входных элементов и вызов метода ForwardTact для каждого из них, перебор и прямое функционирование каждого из элементов списка потоков, и затем - для объектов SecondLayer и Answer.
Метод BackwardTact, описывающий обратное функционирование сети, задается следующей последовательностью действий:
Обратное функционирование элементов Answer, SecondLayer, затем перебор и выполнение методов BackwardTact для элементов списков Streams и Inputs.
Структура связей между стандартными элементами полностью скомпонованной поточной нейросети показана на рис. 11.
|
|
Схема, приведенная на рис. 11, хорошо иллюстрирует преимущества применения объектно-ориентированного подхода к моделированию нейронных сетей.
Свойство полиморфизма объектов позволяет составлять список предыдущих элементов, например, сумматора, как из простых синапсов, так и из более сложных структур - потоков. Для этого требуется лишь аккуратное выполнение иерархии объектов, описывающих элементы сети.
В перспективе, с появлением параллельных трансляторов, объектно-ориентированный подход за счет свойства инкапсуляции объектов позволит легко перейти к моделированию нейросетей в параллельных системах.
|
|
|
Выводы по главе 4.
Созданный программный имитатор полутораслойной нейронной сети представляет собой механизм, позволяющий реализовать систему преобразователей, восстанавливающих зависимость, заданную в виде обучающей выборки.
Использование в программе алгоритма попоточного исчерпания ошибки позволяет ей создавать нейронные сети неизбыточной структуры.
Дополнение алгоритма попоточного исчерпания ошибки проверкой на сравнение константы Липшица нейронной сети с выборочной константой Липшица дает возможность использовать в работе пользовательского программного обеспечения более строгие требования к требуемому для восстановления функции по данной выборке объему нейронной сети.
Применение принципов объектно-ориентированного программирования при создании программного имитатора полутораслойной нейронной сети позволило создать программу с прозрачной, легко расширяемой и сопровождаемой структурой.
ВЫВОДЫ
1. Показано, что для решения классической задачи компьютерной психодиагностики с вероятностью правильного ответа около 95% может быть применена искусственная нейронная сеть из 2 нейронов с параметром преобразователя равным 0,4. При этом такая экспертная система способна перенимать опыт специалиста непосредственно, без участия математика или программиста.
2. У полносвязной искусственной нейронной сети с числом нейронов 16 и параметром преобразователя 0.1 возможно выработать психологическую интуицию, позволяющую выдавать предсказание взаимоотношений, формализованных в виде результатов социометрического эксперимента, с погрешностью 25-30%.
3. Задача предсказания взаимоотношений может решаться интуитивно - без построения описанной реальности и без сбора информации о социальной истории исследуемых.
|
|
|
4. Созданная программа, представляющая собой нейронную сеть полутораслойной структуры, способна решать задачу восстановления зависимости по обучающей выборке при помощи алгоритма поэтапного исчерпания ошибки наращиванием объема сети.
5. Применение при создании программы выборочной константы Липшица в алгоритме наращивания сети позволило реализовать способ ограничения избыточности числа нейронов и объема сети.
6. Применение концепции объектно-ориентированного программирования позволило разработать гибкий, открытый и легко сопровождаемый нейроимитатор.
Основное содержание диссертации изложено в следующих работах:
Dorrer M.G. Neural networks instead of psychological measurements // Abstracts of the 3rd International conference «Mathematics, computer, education». Dubna, 1996.
Dorrer M.G., Gorban A.N., Kopytov A.G. Simulation of psychological intuition by means of neural networks // New Concepts to Uncover Higher Brain Functions. The 5th Tohwa university International Symposium. Fukuoka, Japan: Tohwa University, 1995. - p.153.
Dorrer M.G., Gorban A.N., Kopytov A.G. Zenkin V.I. Psychological intuition of neural networks // Proceedings of the WCNN’95 (World Congress on Neural Networks’95, Washington DC, Juli 1995) - pp. 193-196
Dorrer M.G., Gorban A.N., Zenkin V.I. Neural networks in psychology: classical explicit diagnoses // Neuroinformatics and neurocomputers, Proceedings of the 2nd RNNS-IEEE Symposium, Rostov-on-Don, September 1995 - pp 281-284
Gorban A.N., Rossiev D.A., Butakova E.V., Gilev S.E., Golovenkin S.E., Dogadin S.A., Dorrer M.G., Kochenov D.A., Kopytov A.G., Maslennikova E.V., Matyushin G.V., Mirkes Ye.M., Nazarov B.V., Nozdrachev K.G., Savchenko A.A., Smirnova S.V., Shulman V.A., Zenkin V.I. Medical, psychological and physiological applications of MultiNeuron neural simulator // Neuroinformatics and neurocomputers, Proceedings of the 2nd RNNS-IEEE Symposium, Rostov-on-Don, September 1995 - pp 7-14
Gorban A.N., Rossiev D.A., Gilev S.E., Dorrer M.G., Kochenov D.A., Mirkes Ye.M., Golovenkin S.E., Dogadin S.A., Nozdrachev K.G., Matyushin G.V., Shulman V.A., Savchenko A.A. Medical and physiological applications of MultiNeuron neural simulator // Proceedings of the WCNN’95 (World Congress on Neural Networks’95, Washington DC, Juli 1995) - paper № 050
Gorban A.N., Rossiev D.A., Gilev S.E., Dorrer M.G., Kochenov D.A., Mirkes Ye.M., Golovenkin S.E., Dogadin S.A., Nozdrachev K.G., Matyushin G.V., Shulman V.A., Savchenko A.A. «NeuroComp» group: neural network software and its application // Russian Academy of Sciences, Krasnoyarsk Computing Center, Preprint №8. - Krasnoyarsk, 1995 - 38p.
Доррер М.Г. Обработка психологической информации при помощи нейронных сетей. // Проблемы информатизации региона: Материалы второй межрегиональной конференции. Красноярск: КГТУ, 1997. - с.33-43.
Доррер М.Г. Полутораслойный предиктор с произвольными преобразователями. // Проблемы информатизации региона: Труды Третьей Всероссийской конференции (Красноярск, 25-27 ноября 1997 г.). - Красноярск: АО «Диалог-Сибирь», 1997г. -с.143.
|
|
|
Доррер М.Г. Попытка применения нейронных сетей для прогнозирования психологической совместимости в группе. // Нейроинформатика и ее приложения: Программа и тезисы докладов II всероссийского рабочего семинара. - Красноярск: КГТУ, 1994. - с.13.
Доррер М.Г., Горбань А.Н., Копытов А.Г., Зенкин В.И. Психологическая интуиция нейронных сетей // Нейроинформатика и ее приложения: Материалы III всероссийского рабочего семинара. - Красноярск: КГТУ, 1995. - с.114-127.
ЛИТЕРАТУРА
1. Amari S. - I. The Brain and Computer // Proceedings of 1993 International Joint Conference on Neural Networks, Nagoya, Japan, October 25-29, 1993. - Nagoya, 1993. - v.1. - p.7-8.
2. Asary K.V., Eswaran C.A. Self-organizing Neural Network for Multidimensional Mapping and Classification of Multiple Valued Data // Proceedings of 1993 International Joint Conference on Neural Networks, Nagoya, Japan, October 25-29, 1993. - Nagoya, 1993. - v.2. - p.2488-2491.
3. Atamanchuk Z.M., Petrov A.A. Some problems of building and learning of neural networks while creating user’s expert systems diagnoses // The RNNS-IEEE Symposium on Neuroinformatics and Neurocomputers, Rostov-on-Don, September 1992 - v.2. - pp 1133-1135.
4. Baxt W.G. Complexity, chaos and human physiology: the justification for non-linear neural computational analysis // Cancer Lett. - 1994. - v.77, №2-3. - p.85-93.
5. Becraft W.R. Diagnostic applications of artificial neural networks // Proceedings of 1993 International Joint Conference on Neural Networks, Nagoya, Japan, October 25-29, 1993. - Nagoya, 1993. - v.2. - p.2807-2810.
6. Bedenbaugh P., Gerstein G.L. Rectification of correlation by a sigmoid non-linearity // Biol. Cybern. - 1994. - v.70, №3. - p.219-225.
7. Berrios G.E., Chen E.Y. Recognizing psychiatric symptoms. Relevance to the diagnostic process // Br. J. Psychiatry. - 1993. V.163. - p.308-314.
8. Cohen I.L., Sudhalter V., Landon-Jimenez D. et al. A neural network approach to the classification of autism // J. Autism Dev. Disord. - 1993. - v.23, №3. - p.443-466.
9. Forrest D.V., Flory M.J., Anderson S. Neural network programming // N.Y.State J. Med. - 1991. - v.91, №12. - p.553.
10.Fu H.C., Shann J.J. A fuzzy neural network for knowledge learning // Int. J. Neural Syst. - 1994. - v.5, №1. - p.13-22.
11.Galushkin A.I., Savushkin S.A. Neural Network expert system // The RNNS-IEEE Symposium on Neuroinformatics and Neurocomputers, Rostov-on-Don, September 1992 - v.2. - pp 1116-1123.
12.Galushkin A.I., Sudarikov V.A., Shabanov E.V. Neuromathematic: the methods of solving problems on neurocomputers // The RNNS-IEEE Symposium on Neuroinformatics and Neurocomputers, Rostov-on-Don, September 1992 - v.2. - pp 1179-1188.
13.Modai I., Stoler M., Inbar-Saban N. et al. Clinical decisions for psychiatric inpatients ant their evaluation by a trained neural network // Methods Inf. Med. - 1993 - v.32, №5. - p.396-399.
14.Sima J., Neruda R. Neural networks as expert systems // Neural Network Worl. - 1992 - v.2, №6. - p.775-783.
15.Sitting D.F., Orr J.A. A parallel implementation of the backward error propagation neural network training algorithm: experiments in event identification // Comput. Biomed Res. - 1992. - v.25, №6. - p.547-561.
|
|
|
16.Аванесов В.С. Тесты в социологическом исследовании. - М., 1982 - 199с.
17.Айвазян С.А., Бежаева З.И., Староверов О.В. Классификация многомерных наблюдений. - М.: Статистика, 1974 - с. 240.
18.Айвазян С.А., Бухштабер В.М., Енюков С.И., Мешалкин Л.Д. Прикладная статистика. Классификация и снижение размерности. - М.: Финансы и статистика, 1989 - с.607
19.Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Статистическое оценивание зависимостей. - М.: Финансы и статистика, 1983 - с.471.
20.Анастази А. Психологическое тестиование. - М. Педагогика, 1982 - кн.1 - с.320, кн.2 - с.360.
21.Ануфриев А.Ф. Психодиагностика как деятельность и научная дисциплина. // Вопросы психологии - 1994 - №2 - с.123-131.
22.Барцев С.И. Некоторые свойства адаптивных сетей. - Красноярск, 1987. - 17 с. - (Препринт / ИФ СО АН СССР; № 71Б.)
23.Барцев С.И., Гилев С.Е., Охонин В.А. Принцип двойственности в организации адаптивных систем обработки информации. // Динамика химических и биологических систем. - Новосибирск: Наука. Сибирское отделение, 1989. - с.6-55.
24.Бодалев А.А. О взаимосвязи общения и отношения // Вопросы психологии - 1994 - №1 - с.122-126.
25.Боннер Р.Е. Некоторые методы классификации // Автоматический анализ изображений. - М.: Мир, 1969 - с.205 - с.234.
26.Бурлачук Л.Ф., Коржова Е.Ю. К построению теории измеренной индивидуальности в психодиагностике. // Вопросы психологии - 1994 - №5 - с.5-12.
27.Бурлачук Л.Ф., Морозов С.М. Словарь - справочник по психологической диагностике. - Киев: Наукова думка, 1989 - с.200.
28.Буч Г. Объектно-ориентированное программирование с примерами применения. - М.: Конкорд, 1992. - с.36.
29.Вапник В.Н., Глазкова Т.Г., Кощеев.В.А., Михальский А.И., Червоненкис А.Я. Алгоритмы и программы восстановления зависимостей. - М.: Наука, 1984, с.8-11, 27-32, 42-55.
30.Вапник В.Н., Червоненкис А.Ф. Теория распознавания образов. - М.: Наука, 1974.
31.Гаврилова Т.А., Червинская К.Р., Яшин А.М. Формирование поля знаний на примере психодиагностики. // Известия АН СССР. Техническая кибернетика. - 1988. - №5. - с.72-85.
32.Гилев С.Е. Сравнение характеристических функций нейронов. // Тезисы докладов III всероссийского семинара «Нейроинформатика и ее приложения». - Красноярск: изд. КГТУ, 1995 - с.82.
33.Гилев С.Е., Горбань А.Н., Миркес Е.М. и др. Определение значимости обучающих параметров для принятия нейронной сетью решения об ответе. // Нейроинформатика и нейрокомпьютеры: Тезисы докладов рабочего семинара, 8-11 октября 1993 г. - Красноярск: Институт биофизики СО РАН, 1993. - с.8.
34.Гилев С.Е., Коченов Д.А., Миркес Е.М., Россиев Д.А. Контрастирование, оценка значимости параметров, оптимизация их значений и их интерпретация в нейронных сетях // Тезисы докладов III всероссийского семинара «Нейроинформатика и ее приложения». - Красноярск: изд. КГТУ, 1995 - с.66-78.
|
|
|
35.Гласс Дж., Стэнли Дж. Статистические методы в педагогике и психологии. - М.: Прогресс, 1976 - 495с.
36.Горбань А.Н. Обучение нейронных сетей.- М. СП ПараГраф - 1990.
37.Горбань А.Н., Миркес Е.М. Кодирование качественных признаков для нейросетей // Тезисы докладов II всероссийского семинара «Нейроинформатика и ее приложения». - Красноярск: изд. КГТУ, 1994 - с.29.
38.Горбань А.Н., Миркес Е.М. Компоненты нейропрограмм. // Тезисы докладов III всероссийского семинара «Нейроинформатика и ее приложения». - Красноярск: изд. КГТУ, 1995 - с.17.
39.Горбань А.Н., Миркес Е.М. Контрастирование нейронных сетей. // Тезисы докладов III всероссийского семинара «Нейроинформатика и ее приложения». - Красноярск: изд. КГТУ, 1995 - с.78-79.
40.Горбань А.Н., Миркес Е.М. Функциональные компоненты нейрокомпьютера. // Тезисы докладов III всероссийского семинара «Нейроинформатика и ее приложения». - Красноярск: изд. КГТУ, 1995 - с.79-90.
41.Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. - Новосибирск: Наука, 1996 - с.144.
42.Грановская Р.М., Березная И.Я. Интуиция и искусственный интеллект. - Л.: ЛГУ, 1991. - 272с.
43.Губерман Т.А., Ямпольский Л.Т. Применение алгоритмов распознавания образов в психодиагностике // Вопросы психологии, 1983 №5. - с.118-125.
44.Дантенманн Дж., Мишел Дж., Тейлор Д. Программирование в среде Delphi. - Киев: DiaSoft, 1995.
45.Дарахвелидзе П., Марков Е. Delphi - среда визуального программирования. - Санкт-Петербург: BHV, 1996.
46.Деннис Дж. Мл., Шнабель Р. Численные методы безусловной оптимизации и решения нелинейных уравнений. - М.: Мир, 1988 - с.440.
47.Дюк В.А. Компьютерная психодиагностика. - Санкт-Петербург: Братство, 1994.
48.Елисеева И.И., Рукавишников В.О. Группировка, корреляция, распознавание образов (Статистические методы классификации и измерения связей). - М.: Статистика, 1977 - с.144.
49.Енюков И.С. Методы, алгоритмы, программы многомерного статистического анализа: Пакет ППСА. - М.: Финансы и статистика, 1986 - с.232
50.Житков Г.Н. Некоторые методы автоматической классификации.// Структурные методы опознавания и автоматическое чтение. М.: ВИНИТИ, 1970 - с.68 - с.85.
51.Журавлев Ю.И. Непараметрические задачи распознавания образов // Кибернетика - №6 - 1976 - с.93-103.
52.Журавлев Ю.И., Гуревич И.Б. Распознавание образов и анализ изображений // Искусственный интеллект. - В 3-х кн. Кн.2. - М.: Радио и связь, 1990 - с. 304.
53.Журавлев Ю.И., Об алгебраическом подходе к решению задач распознавания и классификации // Проблемы кибернетики. М.: Наука, 1978, вып.33 - с.5-68.
54.Забродин Ю.М., Похилько В.И., Шмелев А.Г. Статистические и семантические проблемы конструирования и адаптации многофакторных личностных тест-опросников. // Психологический журнал, т.8, №6, 1987 - с.79-89.
55.Загоруйко Н.Г., Елкина В.Н., Лбов Г.С. Алгоритмы обнаружения эмпирических закономерностей. - Новосибирск: Наука, 1985 - 110с.
56.Зеличенко А.И. Интеллектуальные системы и психологическое знание. // В книге: Компьютеры и познание. - М.: Наука, 1990 - с.69-86.
57.Кабанов М.М., Личко А.И., Смирнов В.М. Методы психологической диагностики и коррекции в клинике. М. Медицина - 1983
58.Килверт Ч. Энциклопедия Delphi 2. Киев: DiaSoft, 1996.
59.Коченов Д.А., Россиев Д.А. Аппроксимация функций класса 
нейросетевыми предикторами // Тезисы докладов рабочего семинара «Нейроинформатика и нейрокомпьютеры», Красноярск, 8-11 октября 1993 г.. - Красноярск, 1993 - с.13.
60.Кулагин Б.В., Сергеев С.Т. Типологический подход к исследованию проблемы профотбора // Психологический журнал, 1989, т.10, №1
61.Логико-гносеологические и методологические проблемы прогноза. - М., 1986.
62.Мельников А.В. О применении персональных компьютеров в психологии. // Психологический журнал, т.10, №1, 1989 - с.56-61.
63.Миллер Т., Пауэл Д. И др. Использование Delphi 3. - Киев: Диалектика, 1997 - 768 с.
64.Минский М., Пайперт С. Персептроны. - М.:Мир, 1971
65.Миркин Б.Г. Анализ качественных признаков и структур. - М.: Статистика, 1980. - с.319.
66.Налимов В.В. Теория эксперимента. - М: Наука, 1971 - с.208.
67.Нейроинформатика и ее приложения // Материалы II всероссийского семинара. Красноярск, 1995.
68.Нейроинформатика и ее приложения // Материалы III всероссийского семинара. Красноярск, 1996.
69.Нейроинформатика и ее приложения // Материалы всероссийского семинара. Красноярск, 1994.
70.Нейропрограммы / сборник статей под ред. А.Н. Горбаня //Красноярск, КГТУ, 1994.
71.Немов Р.С. Психология. / В 3-х кн. Кн 2. Психология образования - М.: Просвещение, 1995.
72.Немов Р.С. Психология. / В 3-х кн. Кн 3. Экспериментальная педагогическая психология и психодиагностика - М.: Просвещение, 1995.
73.Никифоров А.М., Фазылов Ш.Х. Методы и алгоритмы преобразования типов признаков в задачах анализа данных. - Ташкент: Фан, 1988 - с. 132.
74.Оганезов А.С., Суменко О.В. Автоматизация исследования личности по психологической методике MMPI с синтезом словесного диагноза. // Вопросы психологии, 1990, №1. - с.154-157.
75.Орлик С. Секреты Delphi на примерах. - М.: Бином, 1996 - 316с.
76.Оузер Д. Освой самостоятельно Delphi 2. - М.: Бином, 1997 - 624с.
77.Поляк Б.Т. Введение в оптимизацию. М.: Наука, 1983, с. 15-94.
78.Поспелов Д.А. Данные и знания. Представление знаний // Искусственный интеллект. Кн.2: Модели и методы: Справочник - М.: Радио и связь. - с.7-13.
79.Практическая психология для преподавателей. / под ред. М.К.Тутушкиной // М.: Филин, 1997 - с. 167.
80.Психологический словарь / под редакцией В.В. Давыдова, А.В. Запорожца, Б.Ф. Ломова и др. - М.: Педагогика, 1983 - с.140-141
81.Психология. Словарь. / под общей редакцией А.В. Петровского, М.Г. Ярошевского. - М.: Политиздат, 1990 - с.149.
82.Пфанцагль И. Теория измерений. - М.: Мир, 1976 - с. 248.
83.Розенблатт Ф. Принципы нейродинамики. Перцептрон и теория механизмов мозга. - М.: Мир, 1965. - с.480.
84.Россиев Д.А., Винник Н.Г. Предсказание «удачности» предстоящего брака нейросетевыми экспертами. // Нейроинформатика и ее приложения: Тезисы докладов II всероссийского рабочего семинара, 7-10 октября 1994 г. - Красноярск, 1994. - с.45.
85.Россиев Д.А., Гилев С.Е., Коченов Д.А. MultiNeuron, версии 2.0 и 3.0 // Тезисы докладов III всероссийского семинара «Нейроинформатика и ее приложения». - Красноярск: изд. КГТУ, 1995 - с.14.
86.Россиев Д.А., Головенкин С.Е., Назаров Б.В. и др. Определение информативности медицинских параметров с помощью нейронной сети // Диагностика, информатика и метрология - 94: Тезисы научно-технической конференции, Санкт-Петербург, 28-30 июня 1994 г. - С-Пб., 1994. - с.348.
87.Россиев Д.А., Коченов Д.А. Пакет программ «MultiNeuron» - «Configurator» - «Tester» для конструирования нейросетевых приложений. // Нейроинформатика и ее приложения: Тезисы докладов II всероссийского рабочего семинара, 7-10 октября 1994 г. - Красноярск, 1994. - с.30.
88.Савушкин С.А. Нейросетевые экспертные системы // Нейрокомпьютер - 1992, №2 - с.29-36
89.Суппес П., Зинес Дж. Основы теории измерений // Психологические измерения. - М.: Мир, 1976 - с.9 - 119.
90.Тарасов К.Е., Великов В.К., Фролова А.И. Логика и семиотика диагноза: Методологические проблемы. - М.: Медицина, 1989. -272с.
91.Таунсенд К., Фохт Д. Проектирование и программная реализация экспертных систем на персональных ЭВМ. - М.: Финансы и статистика, 1990 - 320с.
92.Тихомиров О.К., Собчик Л.Н., Гурьева Л.П., Гарбер И.Е., Тарновская Н.В., Ремизова А.Л. Анализ этапов компьютеризованной психодиагностики (на примере MMPI). // Вопросы психологии, №2, 1990 - с.136-142.
93.Фу. К. Структурные методы в распознавании образов. -М. Мир, 1977 - с.320.
94.Цыпкин Я.З. Адаптация и обучение в автоматических системах. - М.: Наука, 1968 - с.400.
95.Шеннон К. Работы по теории информации в кибернетике, пер. с англ., М., 1963, с. 243-332.
96.Шмелев А.Г. Психодиагностика и новые информационные технологии. // Компьютеры и познание. - М.: Наука, 1990 - с.87-105.
97.Шмелев А.Г., Похилько В.И. Анализ пунктов при конструировании и применении тест - опросников: ручные и компьютерные алгоритмы // Вопросы психологии - 1985 - №4 - с.126-134.
98.Шнейдерман Б. Психология программирования. М.: Радио и связь, 1984 - с.139.
99.Ямпольский Л.Т. Типологический подход к прогнозу клинических особенностей хронического алкоголизма // Вопросы психологии - 1986 - №2 - с.91 - 99.
Приложение 1
|
|
|
