Forward propagation ในโครงข่ายที่ลึกขึ้น

ตอนนี้มีโมเดลที่มี 2 hidden layers แล้ว ค่าของจุดข้อมูล input แสดงอยู่ภายใน input node ส่วนค่าน้ำหนัก (weights) แสดงบนเส้นเชื่อม โมเดลนี้จะทำนายค่าอะไรสำหรับจุดข้อมูลนี้?

สมมติว่า activation function ที่แต่ละโหนดคือ identity function นั่นคือ output ของแต่ละโหนดจะเท่ากับ input ที่รับเข้ามา ดังนั้นค่าของโหนดล่างสุดใน hidden layer แรกจึงเป็น -1 ไม่ใช่ 0 อย่างที่จะเกิดขึ้นหากใช้ ReLU activation function