Thursday, 6 January 2011

neural network with matlab

neural network with matlab download book and solution manual

Neural Network Toolbox
For Use with MATLAB
®
Howard Demuth
Mark Beale


contents

Neural Networks
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xviii
Basic Chapters
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xx
Mathematical Notation for Equations and Figures
. . . . . . . xxi
Basic Concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
xxi
Language . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
xxi
Weight Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
xxi
Layer Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
xxi
Figure and Equation Examples . . . . . . . . . . . . . . . . . . . . . . . .
xxii
Mathematics and Code Equivalents
. . . . . . . . . . . . . . . . . . . xxiii
Neural Network Design Book
. . . . . . . . . . . . . . . . . . . . . . . . . xxiv
Acknowledgments
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxv
1
Introduction
Getting Started
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1-2
Basic Chapters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1-2
Help and Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1-2
What’s New in Version 4.0
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1-3
Control System Applications . . . . . . . . . . . . . . . . . . . . . . . . . . .
1-3
Graphical User Interface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1-3
New Training Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1-3
Design of General Linear Networks . . . . . . . . . . . . . . . . . . . . . .
1-4
Improved Early Stopping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1-4
iv
Contents
Generalization and Speed Benchmarks . . . . . . . . . . . . . . . . . . .
1-4
Demonstration of a Sample Training Session . . . . . . . . . . . . . .
1-4
Neural Network Applications
. . . . . . . . . . . . . . . . . . . . . . . . . . 1-5
Applications in this Toolbox . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1-5
Business Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1-5
Aerospace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1-5
Automotive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1-5
Banking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1-5
Credit Card Activity Checking . . . . . . . . . . . . . . . . . . . . . . . . . .
1-5
Defense . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1-6
Electronics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1-6
Entertainment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1-6
Financial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1-6
Industrial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1-6
Insurance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1-6
Manufacturing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1-6
Medical . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1-7
Oil and Gas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1-7
Robotics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1-7
Speech . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1-7
Securities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1-7
Telecommunications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1-7
Transportation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1-7
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1-7
2
Neuron Model and Network Architectures
Neuron Model
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2-2
Simple Neuron . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2-2
Transfer Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2-3
Neuron with Vector Input . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2-5
Network Architectures
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2-8
A Layer of Neurons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2-8
Multiple Layers of Neurons . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2-11
v
Data Structures
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2-13
Simulation With Concurrent Inputs in a Static Network . . . .
2-13
Simulation With Sequential Inputs in a Dynamic Network . .
2-14
Simulation With Concurrent Inputs in a Dynamic Network .
2-16
Training Styles
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2-18
Incremental Training (of Adaptive and Other Networks) . . . .
2-18
Batch Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2-20
Summary
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2-24
Figures and Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2-25
3
Perceptrons
Introduction
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-2
Important Perceptron Functions . . . . . . . . . . . . . . . . . . . . . . . . .
3-3
Neuron Model
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-4
Perceptron Architecture
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-6
Creating a Perceptron (newp)
. . . . . . . . . . . . . . . . . . . . . . . . . . 3-7
Simulation (sim) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3-8
Initialization (init) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3-9
Learning Rules
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-12
Perceptron Learning Rule (learnp)
. . . . . . . . . . . . . . . . . . . . 3-13
Training (train)
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-16
Limitations and Cautions
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-21
Outliers and the Normalized Perceptron Rule . . . . . . . . . . . . .
3-21
vi
Contents
Graphical User Interface
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-23
Introduction to the GUI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3-23
Create a Perceptron Network (nntool) . . . . . . . . . . . . . . . . . . .
3-23
Train the Perceptron . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3-27
Export Perceptron Results to Workspace . . . . . . . . . . . . . . . . .
3-29
Clear Network/Data Window . . . . . . . . . . . . . . . . . . . . . . . . . .
3-30
Importing from the Command Line . . . . . . . . . . . . . . . . . . . . .
3-30
Save a Variable to a File and Load It Later . . . . . . . . . . . . . . .
3-31
Summary
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-33
Figures and Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3-33
New Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3-36
4
Linear Filters
Introduction
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-2
Neuron Model
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-3
Network Architecture
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-4
Creating a Linear Neuron (newlin) . . . . . . . . . . . . . . . . . . . . . . .
4-4
Mean Square Error
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-8
Linear System Design (newlind)
. . . . . . . . . . . . . . . . . . . . . . . . 4-9
Linear Networks with Delays
. . . . . . . . . . . . . . . . . . . . . . . . . 4-10
Tapped Delay Line . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4-10
Linear Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4-10
LMS Algorithm (learnwh)
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-13
Linear Classification (train)
. . . . . . . . . . . . . . . . . . . . . . . . . . 4-15
vii
Limitations and Cautions
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-18
Overdetermined Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4-18
Underdetermined Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4-18
Linearly Dependent Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . .
4-18
Too Large a Learning Rate . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4-19
Summary
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-20
Figures and Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4-21
New Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4-25
5
Backpropagation
Overview
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5-2
Fundamentals
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5-4
Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5-4
Simulation (sim) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5-8
Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5-8
Faster Training
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5-14
Variable Learning Rate (traingda, traingdx) . . . . . . . . . . . . . .
5-14
Resilient Backpropagation (trainrp) . . . . . . . . . . . . . . . . . . . . .
5-16
Conjugate Gradient Algorithms . . . . . . . . . . . . . . . . . . . . . . . .
5-17
Line Search Routines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5-23
Quasi-Newton Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5-26
Levenberg-Marquardt (trainlm) . . . . . . . . . . . . . . . . . . . . . . . .
5-28
Reduced Memory Levenberg-Marquardt (trainlm) . . . . . . . . .
5-30
Speed and Memory Comparison
. . . . . . . . . . . . . . . . . . . . . . . 5-32
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5-49
Improving Generalization
. . . . . . . . . . . . . . . . . . . . . . . . . . . . 5-51
Regularization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5-52
Early Stopping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5-55
Summary and Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5-57
viii
Contents
Preprocessing and Postprocessing
. . . . . . . . . . . . . . . . . . . . . 5-61
Min and Max (premnmx, postmnmx, tramnmx) . . . . . . . . . . .
5-61
Mean and Stand. Dev. (prestd, poststd, trastd) . . . . . . . . . . . .
5-62
Principal Component Analysis (prepca, trapca) . . . . . . . . . . . .
5-63
Post-Training Analysis (postreg) . . . . . . . . . . . . . . . . . . . . . . . .
5-64
Sample Training Session
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5-66
Limitations and Cautions
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5-71
Summary
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5-73
6
Control Systems
Introduction
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6-2
NN Predictive Control
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6-4
System Identification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6-4
Predictive Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6-5
Using the NN Predictive Controller Block . . . . . . . . . . . . . . . . .
6-6
NARMA-L2 (Feedback Linearization) Control
. . . . . . . . . . 6-14
Identification of the NARMA-L2 Model . . . . . . . . . . . . . . . . . .
6-14
NARMA-L2 Controller . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6-16
Using the NARMA-L2 Controller Block . . . . . . . . . . . . . . . . . .
6-18
Model Reference Control
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6-23
Using the Model Reference Controller Block . . . . . . . . . . . . . .
6-25
Importing and Exporting
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6-31
Importing and Exporting Networks . . . . . . . . . . . . . . . . . . . . .
6-31
Importing and Exporting Training Data . . . . . . . . . . . . . . . . .
6-35
Summary
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6-38
ix
7
Radial Basis Networks
Introduction
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-2
Important Radial Basis Functions . . . . . . . . . . . . . . . . . . . . . . .
7-2
Radial Basis Functions
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-3
Neuron Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7-3
Network Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7-4
Exact Design (newrbe) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7-5
More Efficient Design (newrb) . . . . . . . . . . . . . . . . . . . . . . . . . .
7-7
Demonstrations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7-8
Generalized Regression Networks
. . . . . . . . . . . . . . . . . . . . . . 7-9
Network Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7-9
Design (newgrnn) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7-10
Probabilistic Neural Networks
. . . . . . . . . . . . . . . . . . . . . . . . 7-12
Network Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7-12
Design (newpnn) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7-13
Summary
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-15
Figures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7-16
New Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7-18
8
Self-Organizing and
Learn. Vector Quant. Nets
Introduction
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8-2
Important Self-Organizing and LVQ Functions . . . . . . . . . . . . .
8-2
Competitive Learning
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8-3
Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8-3
Creating a Competitive Neural Network (newc) . . . . . . . . . . . .
8-4
Kohonen Learning Rule (learnk) . . . . . . . . . . . . . . . . . . . . . . . . .
8-5
Bias Learning Rule (learncon) . . . . . . . . . . . . . . . . . . . . . . . . . . .
8-5
x
Contents
Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8-6
Graphical Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8-7
Self-Organizing Maps
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8-9
Topologies (gridtop, hextop, randtop) . . . . . . . . . . . . . . . . . . . .
8-10
Distance Funct. (dist, linkdist, mandist, boxdist) . . . . . . . . . .
8-14
Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8-17
Creating a Self Organizing MAP Neural Network (newsom) .
8-18
Training (learnsom) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8-19
Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8-23
Learning Vector Quantization Networks
. . . . . . . . . . . . . . . 8-31
Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8-31
Creating an LVQ Network (newlvq) . . . . . . . . . . . . . . . . . . . . .
8-32
LVQ1 Learning Rule(learnlv1) . . . . . . . . . . . . . . . . . . . . . . . . .
8-35
Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8-36
Supplemental LVQ2.1 Learning Rule (learnlv2) . . . . . . . . . . .
8-38
Summary and Conclusions
. . . . . . . . . . . . . . . . . . . . . . . . . . . . 8-40
Self-Organizing Maps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8-40
Learning Vector Quantizaton Networks . . . . . . . . . . . . . . . . . .
8-40
Figures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8-41
New Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8-42
9
Recurrent Networks
Introduction
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9-2
Important Recurrent Network Functions . . . . . . . . . . . . . . . . . .
9-2
Elman Networks
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9-3
Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9-3
Creating an Elman Network (newelm) . . . . . . . . . . . . . . . . . . . .
9-4
Training an Elman Network . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9-5
xi
Hopfield Network
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9-8
Fundamentals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9-8
Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9-8
Design (newhop) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9-10
Summary
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9-15
Figures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9-16
New Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9-17
10
Adaptive Filters and
Adaptive Training
Introduction
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-2
Important Adaptive Functions . . . . . . . . . . . . . . . . . . . . . . . . .
10-2
Linear Neuron Model
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-3
Adaptive Linear Network Architecture
. . . . . . . . . . . . . . . . 10-4
Single ADALINE (newlin) . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10-4
Mean Square Error
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-7
LMS Algorithm (learnwh)
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-8
Adaptive Filtering (adapt)
. . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-9
Tapped Delay Line . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10-9
Adaptive Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10-9
Adaptive Filter Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10-10
Prediction Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10-13
Noise Cancellation Example . . . . . . . . . . . . . . . . . . . . . . . . . .
10-14
Multiple Neuron Adaptive Filters . . . . . . . . . . . . . . . . . . . . . .
10-16
Summary
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-18
Figures and Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10-18
New Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10-26
xii
Contents
11
Applications
Introduction
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-2
Application Scripts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11-2
Applin1: Linear Design
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-3
Problem Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11-3
Network Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11-4
Network Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11-4
Thoughts and Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11-6
Applin2: Adaptive Prediction
. . . . . . . . . . . . . . . . . . . . . . . . . 11-7
Problem Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11-7
Network Initialization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11-8
Network Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11-8
Network Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11-8
Thoughts and Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11-10
Appelm1: Amplitude Detection
. . . . . . . . . . . . . . . . . . . . . . . 11-11
Problem Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11-11
Network Initialization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11-11
Network Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11-12
Network Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11-13
Network Generalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11-13
Improving Performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11-15
Appcr1: Character Recognition
. . . . . . . . . . . . . . . . . . . . . . . 11-16
Problem Statement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11-16
Neural Network . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11-17
System Performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11-20
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11-22
xiii
12
Advanced Topics
Custom Networks
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-2
Custom Network . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12-3
Network Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12-4
Network Behavior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12-12
Additional Toolbox Functions
. . . . . . . . . . . . . . . . . . . . . . . . 12-16
Initialization Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12-16
Transfer Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12-16
Learning Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12-17
Custom Functions
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-18
Simulation Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12-18
Initialization Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12-24
Learning Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12-27
Self-Organizing Map Functions . . . . . . . . . . . . . . . . . . . . . . .
12-36
13
Network Object Reference
Network Properties
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13-2
Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13-2
Subobject Structures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13-6
Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13-9
Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13-12
Weight and Bias Values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13-14
Other . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13-16
Subobject Properties
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13-17
Inputs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13-17
Layers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13-18
Outputs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13-25
Targets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13-25
Biases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13-26
Input Weights . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13-28
Layer Weights . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13-32
xiv
Contents
14
Reference
Functions
By Category . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14-2
Functions by Network Type . . . . . . . . . . . . . . . . . . . . . . . . . . .
14-2
Functions by Class . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
14-2
Transfer Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
14-13
Transfer Function Graphs . . . . . . . . . . . . . . . . . . . . . . . . . . . .
14-14
Functions
Alphabetical List . . . . . . . . . . . . . . . . . . . . . . . 14-19
Reference Headings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
14-19
A
Glossary
B
Bibliography
C
Demonstrations and
Applications
Tables of Demonstrations and Applications
. . . . . . . . . . . . . C-2
Chapter 2: Neuron Model and Network Architectures . . . . . . .
C-2
Chapter 3: Perceptrons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
C-2
Chapter 4: Linear Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
C-3
Chapter 5: Backpropagation . . . . . . . . . . . . . . . . . . . . . . . . . . . .
C-3
Chapter 7: Radial Basis Networks . . . . . . . . . . . . . . . . . . . . . . .
C-4
Chapter 8: Self-Organizing and Learn. Vector Quant. Nets . . .
C-4
Chapter 9: Recurrent Networks . . . . . . . . . . . . . . . . . . . . . . . . .
C-4
Chapter 10: Adaptive Networks . . . . . . . . . . . . . . . . . . . . . . . . .
C-5
Chapter 11: Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .



C-5

1 comment:

  1. Hi,

    Kindly mail this book to my email id vrai1987@gmail.com

    Analysis for Marketing Plan by Lehmann

    ReplyDelete

LinkWithin

Related Posts Plugin for WordPress, Blogger...