序
其实上周就做完啦，只是一直没写而已，对于这个Ng的ML课程，我希望能一直记录下去。
直到第三周，已经学习了线性回归和逻辑回归，它们可以用来实现二分类器，而且对于一些非线性分类也比较有效，例如：
但是对于非线性分类，他的Cost Function通常需要引入高阶方程：
所以选取一个预测模型非常重要，但选取一个合适的预测模型是非常困难的，因为通常会出现拟合问题，那么就诞生了”神经网络“，它其实早在上世纪40年代就有了，在沉寂了一段时间后的今天火了起来，原因是大数据和云计算的发展。
神经网络
下图是一个最简单的神经网络，它有一个输入层和一个输出层：
如果取$ h_θ(x) = \frac {1} {1 + e^{-x}} $ ，这就是一个逻辑回归呀！其中 $\theta$ 可以看做是输入层（第一层）的参数，如果在输入、输出层之间再加一层：
这是不是就是我们经常在网上看到的图呢，哈哈。他的计算过程是这样的，可以看到 $a_1^{(2)}$ 是由 $x_1, x_2, x_3$ 共同计算出来的，也就是：
$Θ^{(1)}$ 是第一层的参数，它是一个 $3 * 4 $ 的矩阵。
那么这么做有啥好处呢？我们可以发现，输入的变量只有$ x1, x2, x3$ ，通过从左到右的一层一层的计算，就能得到最后的结果。那么这期间起到作用的另外一个变量就是$Θ^{(1)}$，而它是可以通过训练这个网络（逻辑回归中的梯度下降可以理解为在训练数据集来得到一个合适的θ）来获得，这就不需要你事先选择一个精确的Cost Function模型了，你只需要考在输入、输出层之间加多少个隐藏层以及每一层的隐藏单元数量就行。
神经网络与多分类器
线性回归、逻辑回归可以实现二分类器，我们可以实现多个二分类器来作为一个多分类器，而神经网络就可以干这个事儿。举个例子，一个四分类器，他的$ y^{(i)}$ 取值可能为
它可以通过神经网络来计算，计算过程如下：
那么计算出来的结果（预测值）为：
作业1：Cost Fcuntion
这个作业先要求我们用二分类器来实现多分类器，那么每一个二分类器的Cost Function就是：
function [J, grad] = lrCostFunction(theta, X, y, lambda)
%LRCOSTFUNCTION Compute cost and gradient for logistic regression with
%regularization
% J = LRCOSTFUNCTION(theta, X, y, lambda) computes the cost of using
% theta as the parameter for regularized logistic regression and the
% gradient of the cost w.r.t. to the parameters.
% Initialize some useful values
m = length(y); % number of training examples
% You need to return the following variables correctly
J = 0;
grad = zeros(size(theta));
J = 1/m * sum(-y .* log(sigmoid(X * theta)) - (1 - y) .* log(1 - sigmoid(X * theta)));
J = J + lambda/(2*m) * sum(theta(2:size(theta)) .^ 2);
grad = 1/m * (X' * (sigmoid(X * theta) - y)) + lambda/m * theta;
grad(1) = grad(1) - lambda/m * theta(1);
% =============================================================
grad = grad(:);
end作业2：one vs All
对于每一个分类器，它需要只识别自己负责的部分，所以用(y==k)来训练他的θ值
function [all_theta] = oneVsAll(X, y, num_labels, lambda)
%ONEVSALL trains multiple logistic regression classifiers and returns all
%the classifiers in a matrix all_theta, where the i-th row of all_theta
%corresponds to the classifier for label i
% [all_theta] = ONEVSALL(X, y, num_labels, lambda) trains num_labels
% logistic regression classifiers and returns each of these classifiers
% in a matrix all_theta, where the i-th row of all_theta corresponds
% to the classifier for label i
% Some useful variables
m = size(X, 1);
n = size(X, 2);
% You need to return the following variables correctly
all_theta = zeros(num_labels, n + 1);
% Add ones to the X data matrix
X = [ones(m, 1) X];
% ====================== YOUR CODE HERE ======================
for k = 1:num_labels
initial_theta = all_theta(k:k,1:n+1)';
options = optimset('GradObj', 'on', 'MaxIter', 50);
[thetak] = fmincg (@(t)(lrCostFunction(t, X, (y == k), lambda)), ...
initial_theta, options);
all_theta(k:k,1:n+1) = thetak';
end
% =========================================================================
end作业3：使用多分类器来预测
使用作业2训练完成的θ来预测，只需要做矩阵乘即可，这里需要注意的是，每一组数据对应的预测值是一个矩阵。例如一组数据的预测值是[0,0,0,0,1,0,0,0,0,0]，那么这组数据很有可能表示的是数字5，所以我们需要取预测矩阵中最大值的索引值。
function p = predictOneVsAll(all_theta, X)
%PREDICT Predict the label for a trained one-vs-all classifier. The labels
%are in the range 1..K, where K = size(all_theta, 1).
% p = PREDICTONEVSALL(all_theta, X) will return a vector of predictions
% for each example in the matrix X. Note that X contains the examples in
% rows. all_theta is a matrix where the i-th row is a trained logistic
% regression theta vector for the i-th class. You should set p to a vector
% of values from 1..K (e.g., p = [1; 3; 1; 2] predicts classes 1, 3, 1, 2
% for 4 examples)
m = size(X, 1);
num_labels = size(all_theta, 1);
% You need to return the following variables correctly
p = zeros(size(X, 1), 1);
% Add ones to the X data matrix
X = [ones(m, 1) X];
% ====================== YOUR CODE HERE ======================
p = X * all_theta';
[v, p] = max(p, [], 2);
% =========================================================================
end作业4：使用神经网络进行多分类
这里比较花俏的是，Ng提供了已经训练好的Θ，我们只需要实现正向传播即可，也就是从左往右一层一层计算过去。
function p = predict(Theta1, Theta2, X)
%PREDICT Predict the label of an input given a trained neural network
% p = PREDICT(Theta1, Theta2, X) outputs the predicted label of X given the
% trained weights of a neural network (Theta1, Theta2)
% Useful values
m = size(X, 1);
num_labels = size(Theta2, 1);
% You need to return the following variables correctly
p = zeros(size(X, 1), 1);
% ====================== YOUR CODE HERE ======================
X = [ones(size(X, 1), 1) X];
a2 = sigmoid(X * Theta1');
a2 = [ones(size(a2, 1), 1) a2];
a3 = sigmoid(a2 * Theta2');
[v, p] = max(a3, [], 2);
% =========================================================================
end总结
第一次接触神经网络，其实也没有想象中的这么神秘，但是不得不感叹前辈们的智慧，这么几行代码就能进行图像识别了。
