全結合層の線形代数

tensorflow で全結合（dense）層を定義する方法は 2 通りあります。1 つ目は、低レベルの線形代数演算を使う方法です。2 つ目は、高レベルの keras API を使う方法です。この演習では、最初の方法を使って、下の画像にあるネットワークを構築します。

この画像は、5 つの入力ノードと 3 つの出力ノードを持つニューラルネットワークを示しています。

入力層には 3 つの特徴量（education、marital status、age）があり、borrower_features として利用できます。中間層は 2 ノード、出力層は 1 ノードです。

各層について、前の層の出力を入力として受け取り、重みを初期化し、入力と重みの積を計算し、活性化関数を適用します。Variable()、ones()、matmul()、keras() は tensorflow からインポート済みであることに注意してください。

3x2 の 1 からなるテンソルを使って、変数として weights1 を初期化します。
行列積を用いて、borrower_features と weights1 の積を計算します。
シグモイド活性化関数で product1 + bias1 を変換します。