Neural Network Training (Exercise)

%23%20%2F%2F%2F%20script%0A%23%20dependencies%20%3D%20%5B%22marimo%22%2C%20%22numpy%3D%3D2.4.3%22%2C%20%22anywidget%22%2C%20%22traitlets%3D%3D5.14.3%22%2C%20%22wigglystuff%22%5D%0A%23%20%0A%23%20%5Btool.marimo.export%5D%0A%23%20lock_kind%20%3D%20%22observed%22%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.25.2%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22medium%22%2C%0A%20%20%20%20app_title%3D%22Neural%20Network%20Training%20(Exercise)%22%2C%0A%20%20%20%20html_head_file%3D%22head.html%22%2C%0A)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20anywidget%0A%20%20%20%20import%20traitlets%0A%20%20%20%20from%20wigglystuff%20import%20FloatingPanel%0A%0A%20%20%20%20return%20FloatingPanel%2C%20anywidget%2C%20mo%2C%20np%2C%20traitlets%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Neural%20Network%20Training%20(Exercise%20%E2%9C%8D%EF%B8%8F)%0A%0A%20%20%20%20%2F%2F%2F%20tip%20%7C%20New%20to%20backpropagation%3F%0A%20%20%20%20This%20exercise%20goes%20with%20%5BNeural%20Network%20Training%20Made%20Simple%5D(..%2Fneural-network-training%2F)%2C%20which%20explains%20every%20formula%20you'll%20use%20here%2C%20step%20by%20step.%20If%20you%20haven't%20read%20it%20yet%2C%20start%20there.%0A%20%20%20%20%2F%2F%2F%0A%0A%20%20%20%20In%20this%20exercise%20you%20train%20a%20small%20neural%20network%20**by%20hand**%2C%20for%20one%20full%20training%20step.%20You'll%3A%0A%0A%20%20%20%201.%20run%20the%20**forward%20pass**%20and%20compute%20every%20node's%20activation%2C%0A%20%20%20%202.%20measure%20the%20**loss**%2C%0A%20%20%20%203.%20run%20the%20**backward%20pass**%20and%20compute%20every%20node's%20error%20signal%2C%0A%20%20%20%204.%20**update**%20every%20weight%2C%0A%20%20%20%205.%20check%20that%20the%20new%20prediction%20is%20closer%20to%20the%20target.%0A%0A%20%20%20%20Every%20node%20uses%20the%20**sigmoid**%20activation%2C%20the%20loss%20is%20%24L%20%3D%20%5Cfrac%7B1%7D%7B2%7D(t%20-%20y)%5E2%24%2C%20and%20bias%20nodes%20always%20output%20%241%24.%0A%0A%20%20%20%20Each%20step%20unlocks%20once%20the%20previous%20one%20is%20correct.%20Round%20your%20answers%20to%20**4%20decimal%20places**.%20If%20you%20get%20stuck%2C%20click%20**Show%20answer**.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(anywidget%2C%20traitlets)%3A%0A%20%20%20%20class%20SigmoidCalculator(anywidget.AnyWidget)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Computes%20%CF%83(x)%20and%20%CF%83'(x)%20in%20the%20browser%2C%20so%20the%20floating%20panel%0A%20%20%20%20%20%20%20%20never%20re-renders%20(and%20never%20jumps%20back%20to%20its%20corner).%22%22%22%0A%0A%20%20%20%20%20%20%20%20x%20%3D%20traitlets.Float(0.0).tag(sync%3DTrue)%0A%20%20%20%20%20%20%20%20sigmoid%20%3D%20traitlets.Float(0.5).tag(sync%3DTrue)%0A%20%20%20%20%20%20%20%20derivative%20%3D%20traitlets.Float(0.25).tag(sync%3DTrue)%0A%0A%20%20%20%20%20%20%20%20_esm%20%3D%20%22%22%22%0A%20%20%20%20%20%20%20%20function%20sigmoid(x)%20%7B%0A%20%20%20%20%20%20%20%20%20%20%2F%2F%20numerically%20stable%20for%20large%20%7Cx%7C%0A%20%20%20%20%20%20%20%20%20%20if%20(x%20%3E%3D%200)%20return%201%20%2F%20(1%20%2B%20Math.exp(-x))%3B%0A%20%20%20%20%20%20%20%20%20%20const%20e%20%3D%20Math.exp(x)%3B%0A%20%20%20%20%20%20%20%20%20%20return%20e%20%2F%20(1%20%2B%20e)%3B%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20function%20fmt(v)%20%7B%0A%20%20%20%20%20%20%20%20%20%20if%20(v%20%3D%3D%3D%200)%20return%20%220%22%3B%0A%20%20%20%20%20%20%20%20%20%20const%20a%20%3D%20Math.abs(v)%3B%0A%20%20%20%20%20%20%20%20%20%20return%20a%20%3C%201e-4%20%7C%7C%20a%20%3E%3D%201e6%20%3F%20v.toExponential(4)%20%3A%20String(%2Bv.toPrecision(6))%3B%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20function%20render(%7B%20model%2C%20el%20%7D)%20%7B%0A%20%20%20%20%20%20%20%20%20%20el.innerHTML%20%3D%20%60%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22sc%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Clabel%20class%3D%22sc-in%22%3Ex%20%3D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cinput%20type%3D%22number%22%20step%3D%22any%22%20value%3D%22%24%7Bmodel.get(%22x%22)%7D%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Flabel%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22sc-row%22%3E%3Cspan%3E%CF%83(x)%3C%2Fspan%3E%3Ccode%20data-k%3D%22s%22%3E%3C%2Fcode%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22sc-row%22%3E%3Cspan%3E%CF%83%E2%80%B2(x)%20%3D%20%CF%83(x)(1%20%E2%88%92%20%CF%83(x))%3C%2Fspan%3E%3Ccode%20data-k%3D%22d%22%3E%3C%2Fcode%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%60%3B%0A%20%20%20%20%20%20%20%20%20%20const%20input%20%3D%20el.querySelector(%22input%22)%3B%0A%20%20%20%20%20%20%20%20%20%20const%20out%20%3D%20(k)%20%3D%3E%20el.querySelector(%60%5Bdata-k%3D%22%24%7Bk%7D%22%5D%60)%3B%0A%20%20%20%20%20%20%20%20%20%20function%20update()%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20const%20x%20%3D%20parseFloat(input.value)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20(!Number.isFinite(x))%20%7B%20out(%22s%22).textContent%20%3D%20out(%22d%22).textContent%20%3D%20%22%E2%80%94%22%3B%20return%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20const%20s%20%3D%20sigmoid(x)%2C%20d%20%3D%20s%20*%20(1%20-%20s)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20out(%22s%22).textContent%20%3D%20fmt(s)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20out(%22d%22).textContent%20%3D%20fmt(d)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20model.set(%22x%22%2C%20x)%3B%20model.set(%22sigmoid%22%2C%20s)%3B%20model.set(%22derivative%22%2C%20d)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20model.save_changes()%3B%0A%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20input.addEventListener(%22input%22%2C%20update)%3B%0A%20%20%20%20%20%20%20%20%20%20update()%3B%0A%0A%20%20%20%20%20%20%20%20%20%20async%20function%20copy(text)%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20try%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20await%20navigator.clipboard.writeText(text)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%20catch%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2F%2F%20fallback%20for%20iframes%20where%20the%20Clipboard%20API%20is%20blocked%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20const%20ta%20%3D%20document.createElement(%22textarea%22)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20ta.value%20%3D%20text%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20ta.style.cssText%20%3D%20%22position%3Afixed%3Bopacity%3A0%22%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20document.body.appendChild(ta)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20ta.select()%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20document.execCommand(%22copy%22)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20ta.remove()%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20el.querySelectorAll(%22code%22).forEach((c)%20%3D%3E%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20c.title%20%3D%20%22Click%20to%20copy%22%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20c.addEventListener(%22click%22%2C%20async%20()%20%3D%3E%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20const%20text%20%3D%20c.textContent%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20(text%20%3D%3D%3D%20%22%E2%80%94%22%20%7C%7C%20c.classList.contains(%22copied%22))%20return%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20await%20copy(text)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20c.classList.add(%22copied%22)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20c.textContent%20%3D%20%22Copied!%22%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20setTimeout(()%20%3D%3E%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20c.classList.remove(%22copied%22)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20update()%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%20900)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D)%3B%0A%20%20%20%20%20%20%20%20%20%20%7D)%3B%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20export%20default%20%7B%20render%20%7D%3B%0A%20%20%20%20%20%20%20%20%22%22%22%0A%0A%20%20%20%20%20%20%20%20_css%20%3D%20%22%22%22%0A%20%20%20%20%20%20%20%20.sc%20%7B%20display%3A%20flex%3B%20flex-direction%3A%20column%3B%20gap%3A%208px%3B%20min-width%3A%20240px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-family%3A%20system-ui%2C%20sans-serif%3B%20font-size%3A%2014px%3B%20%7D%0A%20%20%20%20%20%20%20%20.sc-in%20%7B%20display%3A%20flex%3B%20align-items%3A%20center%3B%20gap%3A%208px%3B%20font-weight%3A%20600%3B%20%7D%0A%20%20%20%20%20%20%20%20.sc-in%20input%20%7B%20flex%3A%201%3B%20padding%3A%204px%208px%3B%20font%3A%20inherit%3B%20font-weight%3A%20400%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%238884%3B%20border-radius%3A%206px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20transparent%3B%20color%3A%20inherit%3B%20%7D%0A%20%20%20%20%20%20%20%20.sc-row%20%7B%20display%3A%20flex%3B%20justify-content%3A%20space-between%3B%20gap%3A%2016px%3B%20%7D%0A%20%20%20%20%20%20%20%20.sc-row%20code%20%7B%20font-variant-numeric%3A%20tabular-nums%3B%20cursor%3A%20pointer%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%200%204px%3B%20border-radius%3A%204px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20transition%3A%20background%200.15s%3B%20%7D%0A%20%20%20%20%20%20%20%20.sc-row%20code%3Ahover%20%7B%20background%3A%20%238882%3B%20%7D%0A%20%20%20%20%20%20%20%20.sc-row%20code.copied%20%7B%20color%3A%20%2316a34a%3B%20%7D%0A%20%20%20%20%20%20%20%20%22%22%22%0A%0A%20%20%20%20return%20(SigmoidCalculator%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(FloatingPanel%2C%20SigmoidCalculator%2C%20mo)%3A%0A%20%20%20%20sigmoid_calc%20%3D%20mo.ui.anywidget(SigmoidCalculator())%0A%0A%20%20%20%20calculator%20%3D%20FloatingPanel(%0A%20%20%20%20%20%20%20%20sigmoid_calc%2C%20corner%3D%22top-right%22%2C%20title%3D%22Sigmoid%20calculator%22%0A%20%20%20%20)%0A%0A%20%20%20%20calculator%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201.%20Choose%20your%20network%0A%0A%20%20%20%20Pick%20how%20many%20inputs%2C%20hidden%20layers%20and%20nodes%20per%20hidden%20layer%20your%20network%20has.%20It%20always%20ends%20in%20a%20**single%20output%20node**%2C%20and%20every%20layer%20except%20the%20output%20gets%20a%20**bias%20node**%20that%20always%20outputs%20%241%24.%20The%20inputs%2C%20target%20and%20weights%20are%20drawn%20at%20random%20from%20the%20**seed**%3A%20use%20the%20same%20seed%20to%20get%20the%20same%20exercise%20again%2C%20or%20click%20**New%20exercise**%20for%20a%20fresh%20one.%0A%0A%20%20%20%20%2F%2F%2F%20attention%20%7C%20Choose%20before%20you%20start%0A%20%20%20%20Changing%20any%20of%20these%20settings%20starts%20a%20new%20exercise%20and%20clears%20your%20answers%2C%20so%20pick%20your%20network%20before%20you%20begin%20section%203.%0A%20%20%20%20%2F%2F%2F%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20n_inputs%20%3D%20mo.ui.slider(1%2C%204%2C%20value%3D2%2C%20label%3D%22Inputs%22%2C%20show_value%3DTrue)%0A%20%20%20%20n_hidden_layers%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%5B%221%22%2C%20%222%22%5D%2C%20value%3D%221%22%2C%20label%3D%22Hidden%20layers%22%2C%20inline%3DTrue%0A%20%20%20%20)%0A%20%20%20%20mo.hstack(%5Bn_inputs%2C%20n_hidden_layers%5D%2C%20justify%3D%22start%22%2C%20gap%3D3)%0A%20%20%20%20return%20n_hidden_layers%2C%20n_inputs%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20n_hidden_layers)%3A%0A%20%20%20%20hidden_sizes%20%3D%20mo.ui.array(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.slider(1%2C%204%2C%20value%3D2%2C%20label%3Df%22Nodes%20in%20hidden%20layer%20%7B_i%20%2B%201%7D%22%2C%20show_value%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_i%20in%20range(int(n_hidden_layers.value))%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20mo.hstack(list(hidden_sizes)%2C%20justify%3D%22start%22%2C%20gap%3D3)%0A%20%20%20%20return%20(hidden_sizes%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20Counts%20clicks%3B%20every%20click%20re-runs%20the%20cell%20below%2C%20which%20draws%20a%20new%20seed.%0A%20%20%20%20new_exercise%20%3D%20mo.ui.button(value%3D0%2C%20on_click%3Dlambda%20n%3A%20n%20%2B%201%2C%20label%3D%22%F0%9F%8E%B2%20New%20exercise%22)%0A%20%20%20%20return%20(new_exercise%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20new_exercise%2C%20np)%3A%0A%20%20%20%20_start%20%3D%207%20if%20new_exercise.value%20%3D%3D%200%20else%20int(np.random.default_rng().integers(0%2C%2010000))%0A%20%20%20%20seed_input%20%3D%20mo.ui.number(start%3D0%2C%20stop%3D9999%2C%20step%3D1%2C%20value%3D_start%2C%20label%3D%22Seed%22)%0A%20%20%20%20mo.hstack(%5Bseed_input%2C%20new_exercise%5D%2C%20justify%3D%22start%22%2C%20align%3D%22end%22%2C%20gap%3D1)%0A%20%20%20%20return%20(seed_input%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20np)%3A%0A%20%20%20%20MU%20%3D%200.5%20%20%23%20learning%20rate%0A%20%20%20%20LETTERS%20%3D%20%22ABCDEFGHIJKLMNOPQRSTUVWXYZ%22%0A%0A%0A%20%20%20%20def%20sigmoid(v)%3A%0A%20%20%20%20%20%20%20%20return%201%20%2F%20(1%20%2B%20np.exp(-v))%0A%0A%0A%20%20%20%20def%20build_network(n_inputs%2C%20hidden_sizes)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Layers%20from%20input%20to%20output%3A%20%5B%7B%22nodes%22%3A%20%5B...%5D%2C%20%22bias%22%3A%20letter%20or%20None%7D%5D.%0A%20%20%20%20%20%20%20%20Letters%20run%20through%20the%20network%20in%20order%2C%20each%20layer's%20bias%20node%20last.%22%22%22%0A%20%20%20%20%20%20%20%20sizes%20%3D%20%5Bn_inputs%2C%20*hidden_sizes%2C%201%5D%0A%20%20%20%20%20%20%20%20layers%2C%20i%20%3D%20%5B%5D%2C%200%0A%20%20%20%20%20%20%20%20for%20li%2C%20n%20in%20enumerate(sizes)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20nodes%20%3D%20list(LETTERS%5Bi%20%3A%20i%20%2B%20n%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20i%20%2B%3D%20n%0A%20%20%20%20%20%20%20%20%20%20%20%20bias%20%3D%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20li%20%3C%20len(sizes)%20-%201%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bias%20%3D%20LETTERS%5Bi%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20i%20%2B%3D%201%0A%20%20%20%20%20%20%20%20%20%20%20%20layers.append(%7B%22nodes%22%3A%20nodes%2C%20%22bias%22%3A%20bias%7D)%0A%20%20%20%20%20%20%20%20return%20layers%0A%0A%0A%20%20%20%20def%20sources(layer)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Nodes%20that%20send%20their%20output%20to%20the%20next%20layer%20(bias%20included).%22%22%22%0A%20%20%20%20%20%20%20%20return%20layer%5B%22nodes%22%5D%20%2B%20(%5Blayer%5B%22bias%22%5D%5D%20if%20layer%5B%22bias%22%5D%20else%20%5B%5D)%0A%0A%0A%20%20%20%20def%20weight_keys(net%2C%20li)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Keys%20of%20the%20weights%20from%20layer%20li%20into%20layer%20li%20%2B%201%2C%20e.g.%20%22AD%22.%22%22%22%0A%20%20%20%20%20%20%20%20return%20%5Bi%20%2B%20j%20for%20i%20in%20sources(net%5Bli%5D)%20for%20j%20in%20net%5Bli%20%2B%201%5D%5B%22nodes%22%5D%5D%0A%0A%0A%20%20%20%20def%20init_exercise(net%2C%20seed)%3A%0A%20%20%20%20%20%20%20%20rng%20%3D%20np.random.default_rng(seed)%0A%20%20%20%20%20%20%20%20inputs%20%3D%20%7Bn%3A%20round(float(rng.uniform(0%2C%201))%2C%201)%20for%20n%20in%20net%5B0%5D%5B%22nodes%22%5D%7D%0A%20%20%20%20%20%20%20%20weights%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20k%3A%20round(float(rng.uniform(-0.5%2C%200.5))%2C%202)%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20li%20in%20range(len(net)%20-%201)%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20k%20in%20weight_keys(net%2C%20li)%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20target%20%3D%20float(rng.integers(0%2C%202))%0A%20%20%20%20%20%20%20%20return%20inputs%2C%20weights%2C%20target%0A%0A%0A%20%20%20%20def%20forward(net%2C%20w%2C%20inputs)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Weighted%20sums%20x%20and%20activations%20y%20of%20every%20node.%22%22%22%0A%20%20%20%20%20%20%20%20y%20%3D%20dict(inputs)%0A%20%20%20%20%20%20%20%20x%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20for%20layer%20in%20net%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20layer%5B%22bias%22%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%5Blayer%5B%22bias%22%5D%5D%20%3D%201.0%0A%20%20%20%20%20%20%20%20for%20li%20in%20range(1%2C%20len(net))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20j%20in%20net%5Bli%5D%5B%22nodes%22%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%5Bj%5D%20%3D%20sum(y%5Bi%5D%20*%20w%5Bi%20%2B%20j%5D%20for%20i%20in%20sources(net%5Bli%20-%201%5D))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%5Bj%5D%20%3D%20float(sigmoid(x%5Bj%5D))%0A%20%20%20%20%20%20%20%20return%20x%2C%20y%0A%0A%0A%20%20%20%20def%20backward(net%2C%20w%2C%20y%2C%20t)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Error%20signals%3A%20output%20first%2C%20then%20each%20hidden%20layer%20from%20back%20to%20front.%22%22%22%0A%20%20%20%20%20%20%20%20out%20%3D%20net%5B-1%5D%5B%22nodes%22%5D%5B0%5D%0A%20%20%20%20%20%20%20%20d%20%3D%20%7Bout%3A%20(t%20-%20y%5Bout%5D)%20*%20y%5Bout%5D%20*%20(1%20-%20y%5Bout%5D)%7D%0A%20%20%20%20%20%20%20%20for%20li%20in%20range(len(net)%20-%202%2C%200%2C%20-1)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20i%20in%20net%5Bli%5D%5B%22nodes%22%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20d%5Bi%5D%20%3D%20sum(w%5Bi%20%2B%20j%5D%20*%20d%5Bj%5D%20for%20j%20in%20net%5Bli%20%2B%201%5D%5B%22nodes%22%5D)%20*%20y%5Bi%5D%20*%20(1%20-%20y%5Bi%5D)%0A%20%20%20%20%20%20%20%20return%20d%0A%0A%0A%20%20%20%20def%20updates(net%2C%20w%2C%20y%2C%20d%2C%20mu%3DMU)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%CE%94w_ij%20%3D%20%CE%BC%20%C2%B7%20%CE%B4_j%20%C2%B7%20y_i%20for%20every%20weight.%22%22%22%0A%20%20%20%20%20%20%20%20return%20%7Bk%3A%20mu%20*%20d%5Bk%5B1%5D%5D%20*%20y%5Bk%5B0%5D%5D%20for%20k%20in%20w%7D%0A%0A%0A%20%20%20%20def%20loss(t%2C%20y_out)%3A%0A%20%20%20%20%20%20%20%20return%200.5%20*%20(t%20-%20y_out)%20**%202%0A%0A%0A%20%20%20%20def%20check(raw%2C%20true)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Compare%20a%20typed%20answer%20with%20the%20true%20value.%20Returns%20ok%20%2F%20wrong%20%2F%20empty%20%2F%20invalid.%22%22%22%0A%20%20%20%20%20%20%20%20s%20%3D%20(raw%20or%20%22%22).strip().replace(%22%2C%22%2C%20%22.%22).replace(%22%E2%88%92%22%2C%20%22-%22)%0A%20%20%20%20%20%20%20%20if%20not%20s%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22empty%22%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20v%20%3D%20float(s)%0A%20%20%20%20%20%20%20%20except%20ValueError%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22invalid%22%0A%20%20%20%20%20%20%20%20%23%20Allow%20for%20rounding%20intermediate%20values%20to%204%20decimal%20places.%0A%20%20%20%20%20%20%20%20return%20%22ok%22%20if%20abs(v%20-%20true)%20%3C%3D%20max(2e-4%2C%200.01%20*%20abs(true))%20else%20%22wrong%22%0A%0A%0A%20%20%20%20def%20layer_name(net%2C%20li%2C%20article%3DFalse)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%22output%20layer%22%2C%20%22hidden%20layer%202%22%2C%20...%20With%20article%3DTrue%2C%20%22the%22%20is%20added%0A%20%20%20%20%20%20%20%20where%20English%20needs%20it%20(%22the%20output%20layer%22%20but%20%22hidden%20layer%202%22).%22%22%22%0A%20%20%20%20%20%20%20%20if%20li%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20name%20%3D%20%22input%20layer%22%0A%20%20%20%20%20%20%20%20elif%20li%20%3D%3D%20len(net)%20-%201%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20name%20%3D%20%22output%20layer%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20name%20%3D%20%22hidden%20layer%22%20if%20len(net)%20%3D%3D%203%20else%20f%22hidden%20layer%20%7Bli%7D%22%0A%20%20%20%20%20%20%20%20return%20(%22the%20%22%20%2B%20name)%20if%20article%20and%20not%20name%5B-1%5D.isdigit()%20else%20name%0A%0A%0A%20%20%20%20def%20node_list(names%2C%20bias%3DNone)%3A%0A%20%20%20%20%20%20%20%20parts%20%3D%20%5Bf%22%24%7Bn%7D%24%22%20for%20n%20in%20names%5D%20%2B%20(%5Bf%22%24%7Bbias%7D%24%20(bias)%22%5D%20if%20bias%20else%20%5B%5D)%0A%20%20%20%20%20%20%20%20return%20parts%5B0%5D%20if%20len(parts)%20%3D%3D%201%20else%20%22%2C%20%22.join(parts%5B%3A-1%5D)%20%2B%20%22%20and%20%22%20%2B%20parts%5B-1%5D%0A%0A%0A%20%20%20%20def%20weight_tables(net%2C%20w%2C%20digits%3D2%2C%20updated%3DNone)%3A%0A%20%20%20%20%20%20%20%20%22%22%22One%20markdown%20table%20per%20weight%20layer%3A%20rows%20%3D%20from%2C%20columns%20%3D%20to.%0A%20%20%20%20%20%20%20%20Weights%20in%20%60updated%60%20are%20shown%20in%20bold.%22%22%22%0A%20%20%20%20%20%20%20%20updated%20%3D%20updated%20or%20set()%0A%20%20%20%20%20%20%20%20out%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20li%20in%20range(len(net)%20-%201)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20to%20%3D%20net%5Bli%20%2B%201%5D%5B%22nodes%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20**%7Bi%7D**%7B'%20(bias)'%20if%20i%20%3D%3D%20net%5Bli%5D%5B'bias'%5D%20else%20''%7D%20%7C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22%20%7C%20%22.join(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(f%22**%7Bw%5Bi%20%2B%20j%5D%3A%2B.%7Bdigits%7Df%7D**%22%20if%20i%20%2B%20j%20in%20updated%20else%20f%22%7Bw%5Bi%20%2B%20j%5D%3A%2B.%7Bdigits%7Df%7D%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20j%20in%20to%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22%20%7C%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20i%20in%20sources(net%5Bli%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20out.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Weights%20into%20%7Blayer_name(net%2C%20li%20%2B%201%2C%20article%3DTrue)%7D**%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%7C%20from%20%E2%86%93%20%2F%20to%20%E2%86%92%20%7C%20%22%20%2B%20%22%20%7C%20%22.join(f%22**%7Bj%7D**%22%20for%20j%20in%20to)%20%2B%20%22%20%7C%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%7C---%7C%22%20%2B%20%22---%7C%22%20*%20len(to)%20%2B%20%22%5Cn%22%20%2B%20%22%5Cn%22.join(rows)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20%22%5Cn%5Cn%22.join(out)%0A%0A%0A%20%20%20%20LABEL_MAX%20%3D%209%20%20%23%20label%20edges%20only%20between%20layers%20with%20at%20most%20this%20many%20weights%0A%0A%0A%20%20%20%20def%20labels_fit(net%2C%20li)%3A%0A%20%20%20%20%20%20%20%20return%20len(weight_keys(net%2C%20li))%20%3C%3D%20LABEL_MAX%0A%0A%0A%20%20%20%20def%20network_svg(%0A%20%20%20%20%20%20%20%20net%2C%20w%2C%20y%3DNone%2C%20x%3DNone%2C%20delta%3DNone%2C%20updated%3DNone%2C%20target%3DNone%2C%20loss%3DNone%2C%20r%3D22%0A%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Draw%20the%20network%20with%20everything%20that%20is%20known%20so%20far.%0A%0A%20%20%20%20%20%20%20%20One%20column%20per%20layer%2C%20bias%20node%20at%20the%20bottom%20of%20each%20column.%0A%20%20%20%20%20%20%20%20-%20edges%3A%20coloured%20by%20sign%2C%20labelled%20with%20their%20weight%20(only%20between%0A%20%20%20%20%20%20%20%20%20%20sparse%20layers%2C%20see%20LABEL_MAX)%3B%20weights%20in%20%60updated%60%20are%20drawn%20bold%0A%20%20%20%20%20%20%20%20-%20node%3A%20activation%20y%20inside%20(%22%3F%22%20until%20known)%2C%20weighted%20sum%20x%20and%20error%0A%20%20%20%20%20%20%20%20%20%20signal%20%CE%B4%20underneath%20once%20known%0A%20%20%20%20%20%20%20%20-%20output%3A%20target%20t%20and%20loss%20L%20next%20to%20it%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20y%2C%20x%2C%20delta%2C%20updated%20%3D%20y%20or%20%7B%7D%2C%20x%20or%20%7B%7D%2C%20delta%20or%20%7B%7D%2C%20updated%20or%20set()%0A%20%20%20%20%20%20%20%20col_gap%2C%20row_gap%2C%20top%2C%20left%20%3D%20160%2C%2092%2C%2050%2C%2050%0A%20%20%20%20%20%20%20%20max_rows%20%3D%20max(len(sources(layer))%20for%20layer%20in%20net)%0A%20%20%20%20%20%20%20%20H%20%3D%20top%20%2B%20(max_rows%20-%201)%20*%20row_gap%20%2B%20r%20%2B%2042%0A%20%20%20%20%20%20%20%20W%20%3D%20left%20%2B%20(len(net)%20-%201)%20*%20col_gap%20%2B%20r%20%2B%20(100%20if%20target%20is%20not%20None%20else%2030)%0A%20%20%20%20%20%20%20%20pos%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20for%20li%2C%20layer%20in%20enumerate(net)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20col%20%3D%20sources(layer)%0A%20%20%20%20%20%20%20%20%20%20%20%20offset%20%3D%20(max_rows%20-%20len(col))%20*%20row_gap%20%2F%202%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20k%2C%20n%20in%20enumerate(col)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pos%5Bn%5D%20%3D%20(left%20%2B%20li%20*%20col_gap%2C%20top%20%2B%20offset%20%2B%20k%20*%20row_gap)%0A%0A%20%20%20%20%20%20%20%20halo%20%3D%20'style%3D%22paint-order%3Astroke%3Bstroke%3ACanvas%3Bstroke-width%3A3px%3Bstroke-linejoin%3Around%22'%0A%20%20%20%20%20%20%20%20parts%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Csvg%20viewBox%3D%220%200%20%7BW%3A.0f%7D%20%7BH%3A.0f%7D%22%20width%3D%22%7BW%3A.0f%7D%22%20height%3D%22%7BH%3A.0f%7D%22%20'%0A%20%20%20%20%20%20%20%20%20%20%20%20'style%3D%22max-width%3A100%25%3Bheight%3Aauto%3Bdisplay%3Ablock%3Bmargin%3A0%20auto%3B'%0A%20%20%20%20%20%20%20%20%20%20%20%20'font-family%3Asystem-ui%2Csans-serif%3Bcolor%3Ainherit%22%3E'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'%3Cdefs%3E%3Cmarker%20id%3D%22wt-arrow%22%20viewBox%3D%220%200%2010%2010%22%20refX%3D%229%22%20refY%3D%225%22%20'%0A%20%20%20%20%20%20%20%20%20%20%20%20'markerUnits%3D%22userSpaceOnUse%22%20markerWidth%3D%229%22%20markerHeight%3D%229%22%20orient%3D%22auto-start-reverse%22%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20'%3Cpath%20d%3D%22M0%2C0%20L10%2C5%20L0%2C10%20z%22%20fill%3D%22context-stroke%22%2F%3E%3C%2Fmarker%3E%3C%2Fdefs%3E'%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20labels%20%3D%20%5B%5D%20%20%23%20drawn%20after%20all%20lines%20so%20no%20line%20crosses%20a%20label%0A%20%20%20%20%20%20%20%20for%20li%20in%20range(len(net)%20-%201)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20k%20in%20weight_keys(net%2C%20li)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(x1%2C%20y1)%2C%20(x2%2C%20y2)%20%3D%20pos%5Bk%5B0%5D%5D%2C%20pos%5Bk%5B1%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dx%2C%20dy%20%3D%20x2%20-%20x1%2C%20y2%20-%20y1%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dist%20%3D%20(dx**2%20%2B%20dy**2)%20**%200.5%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ux%2C%20uy%20%3D%20dx%20%2F%20dist%2C%20dy%20%2F%20dist%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sx%2C%20sy%20%3D%20x1%20%2B%20ux%20*%20r%2C%20y1%20%2B%20uy%20*%20r%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ex_%2C%20ey_%20%3D%20x2%20-%20ux%20*%20(r%20%2B%202)%2C%20y2%20-%20uy%20*%20(r%20%2B%202)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%20%3D%20%22%232563eb%22%20if%20w%5Bk%5D%20%3E%3D%200%20else%20%22%23dc2626%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sw%20%3D%200.75%20%2B%202.5%20*%20min(abs(w%5Bk%5D)%2C%201.5)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20parts.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cline%20x1%3D%22%7Bsx%3A.1f%7D%22%20y1%3D%22%7Bsy%3A.1f%7D%22%20x2%3D%22%7Bex_%3A.1f%7D%22%20y2%3D%22%7Bey_%3A.1f%7D%22%20'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'stroke%3D%22%7Bcolor%7D%22%20stroke-width%3D%22%7Bsw%3A.2f%7D%22%20stroke-opacity%3D%220.75%22%20'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'marker-end%3D%22url(%23wt-arrow)%22%2F%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20labels_fit(net%2C%20li)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20continue%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20label%20near%20the%20start%20of%20the%20edge%2C%20where%20edges%20are%20still%20apart%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20lx%2C%20ly%20%3D%20sx%20%2B%20(ex_%20-%20sx)%20*%200.3%2C%20sy%20%2B%20(ey_%20-%20sy)%20*%200.3%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20weight%20%3D%20%22700%22%20if%20k%20in%20updated%20else%20%22400%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20labels.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'%3Ctext%20x%3D%22%7Blx%3A.1f%7D%22%20y%3D%22%7Bly%20%2B%204%3A.1f%7D%22%20font-size%3D%2211%22%20font-weight%3D%22%7Bweight%7D%22%20'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'text-anchor%3D%22middle%22%20fill%3D%22%7Bcolor%7D%22%20%7Bhalo%7D%3E%7Bw%5Bk%5D%3A%2B.2f%7D%3C%2Ftext%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20parts%20%2B%3D%20labels%0A%20%20%20%20%20%20%20%20for%20layer%20in%20net%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20n%20in%20sources(layer)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cx%2C%20cy%20%3D%20pos%5Bn%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20is_bias%20%3D%20n%20%3D%3D%20layer%5B%22bias%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20is_bias%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text%20%3D%20%221%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20elif%20n%20not%20in%20y%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text%20%3D%20%22%3F%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20elif%20n%20in%20net%5B0%5D%5B%22nodes%22%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text%20%3D%20f%22%7By%5Bn%5D%3Ag%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text%20%3D%20f%22%7By%5Bn%5D%3A.3f%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dash%20%3D%20'%20stroke-dasharray%3D%224%203%22'%20if%20is_bias%20else%20%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20parts.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'%3Ccircle%20cx%3D%22%7Bcx%7D%22%20cy%3D%22%7Bcy%7D%22%20r%3D%22%7Br%7D%22%20fill%3D%22none%22%20stroke%3D%22currentColor%22%20'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'stroke-width%3D%221.5%22%7Bdash%7D%2F%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'%3Ctext%20x%3D%22%7Bcx%7D%22%20y%3D%22%7Bcy%20%2B%204%7D%22%20font-size%3D%2212%22%20text-anchor%3D%22middle%22%20'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'fill%3D%22currentColor%22%3E%7Btext%7D%3C%2Ftext%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20bias%20labels%20go%20below%20the%20node%2C%20away%20from%20the%20edges%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'%3Ctext%20x%3D%22%7Bcx%7D%22%20y%3D%22%7Bcy%20%2B%20r%20%2B%2017%20if%20is_bias%20else%20cy%20-%20r%20-%207%7D%22%20font-size%3D%2213%22%20'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'font-weight%3D%22600%22%20text-anchor%3D%22middle%22%20fill%3D%22currentColor%22%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'%7Bn%7D%7B%22%20(bias)%22%20if%20is_bias%20else%20%22%22%7D%3C%2Ftext%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20below%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20n%20in%20x%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20below.append(f%22x%20%3D%20%7Bx%5Bn%5D%3A.3f%7D%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20n%20in%20delta%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20below.append(f%22%CE%B4%20%3D%20%7Bdelta%5Bn%5D%3A%2B.4f%7D%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20i%2C%20line%20in%20enumerate(below)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20parts.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'%3Ctext%20x%3D%22%7Bcx%7D%22%20y%3D%22%7Bcy%20%2B%20r%20%2B%2013%20%2B%2012%20*%20i%7D%22%20font-size%3D%2210.5%22%20'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'text-anchor%3D%22middle%22%20fill%3D%22currentColor%22%20fill-opacity%3D%220.8%22%20%7Bhalo%7D%3E%7Bline%7D%3C%2Ftext%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20target%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20out%20%3D%20net%5B-1%5D%5B%22nodes%22%5D%5B0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20cx%2C%20cy%20%3D%20pos%5Bout%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20parts.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'%3Ctext%20x%3D%22%7Bcx%20%2B%20r%20%2B%2010%7D%22%20y%3D%22%7Bcy%20%2B%204%7D%22%20font-size%3D%2213%22%20'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'fill%3D%22currentColor%22%3Et%20%3D%20%7Btarget%3Ag%7D%3C%2Ftext%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20loss%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20parts.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'%3Ctext%20x%3D%22%7Bcx%20%2B%20r%20%2B%2010%7D%22%20y%3D%22%7Bcy%20%2B%2022%7D%22%20font-size%3D%2212%22%20'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'fill%3D%22currentColor%22%3EL%20%3D%20%7Bloss%3A.4f%7D%3C%2Ftext%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20parts.append(%22%3C%2Fsvg%3E%22)%0A%20%20%20%20%20%20%20%20return%20mo.Html(%22%22.join(parts))%0A%0A%0A%20%20%20%20def%20panel_html(net%2C%20w%2C%20updated%3DNone%2C%20**kw)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Floating-panel%20content%3A%20the%20diagram%2C%20plus%20weight%20tables%20whenever%20some%0A%20%20%20%20%20%20%20%20connections%20are%20too%20crowded%20to%20be%20labelled.%22%22%22%0A%20%20%20%20%20%20%20%20html%20%3D%20network_svg(net%2C%20w%2C%20updated%3Dupdated%2C%20**kw).text%0A%20%20%20%20%20%20%20%20if%20not%20all(labels_fit(net%2C%20li)%20for%20li%20in%20range(len(net)%20-%201))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20html%20%2B%3D%20mo.md(weight_tables(net%2C%20w%2C%20updated%3Dupdated)).text%0A%20%20%20%20%20%20%20%20return%20html%0A%0A%0A%20%20%20%20def%20svg_width(net%2C%20target%3DTrue)%3A%0A%20%20%20%20%20%20%20%20return%2050%20%2B%20(len(net)%20-%201)%20*%20160%20%2B%2022%20%2B%20(100%20if%20target%20else%2030)%0A%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20MU%2C%0A%20%20%20%20%20%20%20%20backward%2C%0A%20%20%20%20%20%20%20%20build_network%2C%0A%20%20%20%20%20%20%20%20check%2C%0A%20%20%20%20%20%20%20%20forward%2C%0A%20%20%20%20%20%20%20%20init_exercise%2C%0A%20%20%20%20%20%20%20%20layer_name%2C%0A%20%20%20%20%20%20%20%20loss%2C%0A%20%20%20%20%20%20%20%20network_svg%2C%0A%20%20%20%20%20%20%20%20node_list%2C%0A%20%20%20%20%20%20%20%20panel_html%2C%0A%20%20%20%20%20%20%20%20sources%2C%0A%20%20%20%20%20%20%20%20svg_width%2C%0A%20%20%20%20%20%20%20%20updates%2C%0A%20%20%20%20%20%20%20%20weight_keys%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20MU%2C%0A%20%20%20%20backward%2C%0A%20%20%20%20build_network%2C%0A%20%20%20%20forward%2C%0A%20%20%20%20hidden_sizes%2C%0A%20%20%20%20init_exercise%2C%0A%20%20%20%20loss%2C%0A%20%20%20%20n_inputs%2C%0A%20%20%20%20seed_input%2C%0A%20%20%20%20updates%2C%0A)%3A%0A%20%20%20%20%23%20Build%20the%20exercise%20and%20work%20out%20every%20answer.%0A%20%20%20%20net%20%3D%20build_network(n_inputs.value%2C%20list(hidden_sizes.value))%0A%20%20%20%20_inputs%2C%20_weights%2C%20_target%20%3D%20init_exercise(net%2C%20int(seed_input.value))%0A%20%20%20%20_x%2C%20_y%20%3D%20forward(net%2C%20_weights%2C%20_inputs)%0A%20%20%20%20_d%20%3D%20backward(net%2C%20_weights%2C%20_y%2C%20_target)%0A%20%20%20%20_dw%20%3D%20updates(net%2C%20_weights%2C%20_y%2C%20_d%2C%20MU)%0A%20%20%20%20_new_w%20%3D%20%7Bk%3A%20_weights%5Bk%5D%20%2B%20_dw%5Bk%5D%20for%20k%20in%20_weights%7D%0A%20%20%20%20_x_new%2C%20_y_new%20%3D%20forward(net%2C%20_new_w%2C%20_inputs)%0A%20%20%20%20_out%20%3D%20net%5B-1%5D%5B%22nodes%22%5D%5B0%5D%0A%20%20%20%20ex%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22inputs%22%3A%20_inputs%2C%0A%20%20%20%20%20%20%20%20%22weights%22%3A%20_weights%2C%0A%20%20%20%20%20%20%20%20%22target%22%3A%20_target%2C%0A%20%20%20%20%20%20%20%20%22out%22%3A%20_out%2C%0A%20%20%20%20%20%20%20%20%22x%22%3A%20_x%2C%0A%20%20%20%20%20%20%20%20%22y%22%3A%20_y%2C%0A%20%20%20%20%20%20%20%20%22delta%22%3A%20_d%2C%0A%20%20%20%20%20%20%20%20%22dw%22%3A%20_dw%2C%0A%20%20%20%20%20%20%20%20%22new_weights%22%3A%20_new_w%2C%0A%20%20%20%20%20%20%20%20%22y_new%22%3A%20_y_new%2C%0A%20%20%20%20%20%20%20%20%22loss%22%3A%20loss(_target%2C%20_y%5B_out%5D)%2C%0A%20%20%20%20%20%20%20%20%22loss_new%22%3A%20loss(_target%2C%20_y_new%5B_out%5D)%2C%0A%20%20%20%20%7D%0A%20%20%20%20return%20ex%2C%20net%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(MU%2C%20ex%2C%20mo%2C%20net%2C%20network_svg)%3A%0A%20%20%20%20_inputs%20%3D%20%22%2C%20%22.join(f%22%24y_%7Bn%7D%20%3D%20%7Bv%3Ag%7D%24%22%20for%20n%2C%20v%20in%20ex%5B%22inputs%22%5D.items())%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%202.%20Your%20network%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20network_svg(net%2C%20ex%5B%22weights%22%5D%2C%20y%3Dex%5B%22inputs%22%5D%2C%20target%3Dex%5B%22target%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Inputs%3A**%20%7B_inputs%7D%20%20%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Target%3A**%20%24t%20%3D%20%7Bex%5B'target'%5D%3Ag%7D%24%20%20%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Learning%20rate%3A**%20%24%5C%5Cmu%20%3D%20%7BMU%3Ag%7D%24%20%20%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22While%20you%20work%2C%20you%20can%20view%20**Your%20network**%20in%20the%20panel%20in%20the%20top%20left%20corner%20(it%20fills%20in%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22every%20value%20as%20you%20complete%20each%20step%2C%20and%20updated%20weights%20appear%20in%20**bold**).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20**Sigmoid%20calculator**%20is%20top%20right.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20gap%3D1%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(FloatingPanel%2C%20anywidget%2C%20ex%2C%20mo%2C%20net%2C%20panel_html%2C%20svg_width%2C%20traitlets)%3A%0A%20%20%20%20%23%20The%20panel%20holds%20a%20tiny%20widget%20whose%20SVG%20is%20swapped%20from%20Python%20as%20the%0A%20%20%20%20%23%20learner%20completes%20steps%20(see%20the%20exercise%20cell).%20Updating%20the%20widget%2C%0A%20%20%20%20%23%20rather%20than%20rebuilding%20the%20panel%2C%20keeps%20the%20panel%20where%20it%20was%20dragged.%0A%20%20%20%20class%20_NetworkView(anywidget.AnyWidget)%3A%0A%20%20%20%20%20%20%20%20html%20%3D%20traitlets.Unicode(%22%22).tag(sync%3DTrue)%0A%20%20%20%20%20%20%20%20_esm%20%3D%20%22%22%22%0A%20%20%20%20%20%20%20%20function%20render(%7B%20model%2C%20el%20%7D)%20%7B%0A%20%20%20%20%20%20%20%20%20%20const%20draw%20%3D%20()%20%3D%3E%20%7B%20el.innerHTML%20%3D%20model.get(%22html%22)%3B%20%7D%3B%0A%20%20%20%20%20%20%20%20%20%20model.on(%22change%3Ahtml%22%2C%20draw)%3B%0A%20%20%20%20%20%20%20%20%20%20draw()%3B%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20export%20default%20%7B%20render%20%7D%3B%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20_css%20%3D%20%22%22%22%0A%20%20%20%20%20%20%20%20table%20%7B%20border-collapse%3A%20collapse%3B%20font%3A%2012px%20system-ui%2C%20sans-serif%3B%20margin%3A%204px%200%2010px%3B%20%7D%0A%20%20%20%20%20%20%20%20th%2C%20td%20%7B%20padding%3A%202px%208px%3B%20border-bottom%3A%201px%20solid%20rgba(128%2C%20128%2C%20128%2C%200.3)%3B%20text-align%3A%20right%3B%20%7D%0A%20%20%20%20%20%20%20%20p%20%7B%20font%3A%2012px%20system-ui%2C%20sans-serif%3B%20margin%3A%206px%200%202px%3B%20%7D%0A%20%20%20%20%20%20%20%20%22%22%22%0A%0A%0A%20%20%20%20panel_view%20%3D%20_NetworkView(%0A%20%20%20%20%20%20%20%20html%3Dpanel_html(net%2C%20ex%5B%22weights%22%5D%2C%20y%3Dex%5B%22inputs%22%5D%2C%20target%3Dex%5B%22target%22%5D)%0A%20%20%20%20)%0A%20%20%20%20FloatingPanel(%0A%20%20%20%20%20%20%20%20mo.ui.anywidget(panel_view)%2C%0A%20%20%20%20%20%20%20%20corner%3D%22top-left%22%2C%0A%20%20%20%20%20%20%20%20width%3Dmin(660%2C%20svg_width(net)%20%2B%2024)%2C%0A%20%20%20%20%20%20%20%20collapsed%3DTrue%2C%0A%20%20%20%20%20%20%20%20title%3D%22Your%20network%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(panel_view%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(MU%2C%20ex%2C%20layer_name%2C%20net%2C%20node_list%2C%20sources%2C%20weight_keys)%3A%0A%20%20%20%20%23%20One%20stage%20per%20step%20of%20the%20training%20step.%20Each%20stage%20lists%20the%20values%20the%0A%20%20%20%20%23%20learner%20must%20compute%20(%22fields%22)%20and%20a%20markdown%20answer%20template%20whose%0A%20%20%20%20%23%20%7Bkey%7D%20placeholders%20become%20text%20inputs.%20Templates%20must%20not%20contain%20other%20braces.%0A%0A%20%20%20%20def%20_w(i%2C%20j)%3A%0A%20%20%20%20%20%20%20%20return%20%22w_%7B%22%20%2B%20i%20%2B%20j%20%2B%20%22%7D%22%0A%0A%20%20%20%20def%20_field(key%2C%20tex%2C%20true)%3A%0A%20%20%20%20%20%20%20%20return%20%7B%22key%22%3A%20key%2C%20%22tex%22%3A%20tex%2C%20%22true%22%3A%20true%7D%0A%0A%20%20%20%20_out%20%3D%20ex%5B%22out%22%5D%0A%20%20%20%20stages%20%3D%20%5B%5D%0A%0A%20%20%20%20%23%201.%20Forward%20pass%2C%20layer%20by%20layer%0A%20%20%20%20for%20_li%20in%20range(1%2C%20len(net))%3A%0A%20%20%20%20%20%20%20%20_prev%2C%20_layer%20%3D%20net%5B_li%20-%201%5D%2C%20net%5B_li%5D%0A%20%20%20%20%20%20%20%20_j%20%3D%20_layer%5B%22nodes%22%5D%5B0%5D%0A%20%20%20%20%20%20%20%20_example%20%3D%20%22%20%2B%20%22.join(%0A%20%20%20%20%20%20%20%20%20%20%20%20(%221%20%5C%5Ccdot%20%22%20%2B%20_w(i%2C%20_j))%20if%20i%20%3D%3D%20_prev%5B%22bias%22%5D%20else%20(%22y_%22%20%2B%20i%20%2B%20%22%5C%5C%2C%22%20%2B%20_w(i%2C%20_j))%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20i%20in%20sources(_prev)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20stages.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22kind%22%3A%20%22forward%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22items%22%3A%20_layer%5B%22nodes%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22title%22%3A%20f%22Forward%20pass%3A%20%7Blayer_name(net%2C%20_li)%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22explanation%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22For%20each%20node%20%24j%24%20in%20%7Blayer_name(net%2C%20_li%2C%20article%3DTrue)%7D%2C%20add%20up%20the%20activations%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22of%20the%20nodes%20feeding%20into%20it%20(%7Bnode_list(_prev%5B'nodes'%5D%2C%20_prev%5B'bias'%5D)%7D)%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22each%20multiplied%20by%20its%20weight.%20Then%20pass%20the%20sum%20through%20the%20sigmoid%3A%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%24%24%5Cnx_j%20%3D%20%5C%5Csum_i%20y_i%5C%5C%2C%20w_%7Bij%7D%2C%20%5C%5Cqquad%20y_j%20%3D%20%5C%5Csigma(x_j)%20%3D%20%5C%5Cfrac%7B1%7D%7B1%20%2B%20e%5E%7B-x_j%7D%7D%5Cn%24%24%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22For%20example%3A%20%24x_%7B_j%7D%20%3D%20%7B_example%7D%24.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22fields%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20n%20in%20_layer%5B%22nodes%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20f%20in%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_field(f%22x_%7Bn%7D%22%2C%20f%22x_%7Bn%7D%22%2C%20ex%5B%22x%22%5D%5Bn%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_field(f%22y_%7Bn%7D%22%2C%20f%22y_%7Bn%7D%22%2C%20ex%5B%22y%22%5D%5Bn%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22template%22%3A%20%22%7C%20Node%20%7C%20Weighted%20sum%20x%20%7C%20Activation%20y%20%7C%5Cn%7C---%7C---%7C---%7C%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22%5Cn%22.join(f%22%7C%20**%7Bn%7D**%20%7C%20%7B%7Bx_%7Bn%7D%7D%7D%20%7C%20%7B%7By_%7Bn%7D%7D%7D%20%7C%22%20for%20n%20in%20_layer%5B%22nodes%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22reference%22%3A%20%22%7C%20Node%20%7C%20%24x%24%20%7C%20%24y%24%20%7C%5Cn%7C---%7C---%7C---%7C%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22%5Cn%22.join(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20%24%7Bn%7D%24%20%7C%20%24%7Bex%5B'x'%5D%5Bn%5D%3A.4f%7D%24%20%7C%20%24%7Bex%5B'y'%5D%5Bn%5D%3A.4f%7D%24%20%7C%22%20for%20n%20in%20_layer%5B%22nodes%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%23%202.%20Loss%0A%20%20%20%20stages.append(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22kind%22%3A%20%22loss%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22items%22%3A%20%5B%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22title%22%3A%20%22Loss%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22explanation%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Compare%20the%20prediction%20%24y_%7B_out%7D%24%20with%20the%20target%20%24t%20%3D%20%7Bex%5B'target'%5D%3Ag%7D%24%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22using%20the%20squared%20error%20loss%3A%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%24%24%5CnL%20%3D%20%5C%5Ctfrac%7B%7B1%7D%7D%7B%7B2%7D%7D%5C%5C%2C(t%20-%20y_%7B_out%7D)%5E2%5Cn%24%24%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22fields%22%3A%20%5B_field(%22L%22%2C%20%22L%22%2C%20ex%5B%22loss%22%5D)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22template%22%3A%20%22%7C%20Quantity%20%7C%20Your%20answer%20%7C%5Cn%7C---%7C---%7C%5Cn%7C%20Loss%20L%20%7C%20%7BL%7D%20%7C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22reference%22%3A%20f%22%24L%20%3D%20%7Bex%5B'loss'%5D%3A.4f%7D%24%22%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%0A%20%20%20%20%23%203.%20Output%20error%20signal%0A%20%20%20%20stages.append(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22kind%22%3A%20%22delta%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22items%22%3A%20%5B_out%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22title%22%3A%20%22Error%20signal%20of%20the%20output%20node%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22explanation%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Start%20the%20backward%20pass%20at%20the%20output.%20Its%20error%20signal%20combines%20how%20wrong%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20prediction%20is%20with%20how%20steep%20the%20sigmoid%20is%20there%3A%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%24%24%5Cn%5C%5Cdelta_%7B_out%7D%20%3D%20(t%20-%20y_%7B_out%7D)%20%5C%5Ccdot%20y_%7B_out%7D(1%20-%20y_%7B_out%7D)%5Cn%24%24%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22fields%22%3A%20%5B_field(f%22d_%7B_out%7D%22%2C%20f%22%5C%5Cdelta_%7B_out%7D%22%2C%20ex%5B%22delta%22%5D%5B_out%5D)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22template%22%3A%20f%22%7C%20Quantity%20%7C%20Your%20answer%20%7C%5Cn%7C---%7C---%7C%5Cn%7C%20%CE%B4%20of%20%7B_out%7D%20%7C%20%7B%7Bd_%7B_out%7D%7D%7D%20%7C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22reference%22%3A%20f%22%24%5C%5Cdelta_%7B_out%7D%20%3D%20%7Bex%5B'delta'%5D%5B_out%5D%3A.4f%7D%24%22%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%0A%20%20%20%20%23%204.%20Hidden%20error%20signals%2C%20from%20the%20last%20hidden%20layer%20back%20to%20the%20first%0A%20%20%20%20for%20_li%20in%20range(len(net)%20-%202%2C%200%2C%20-1)%3A%0A%20%20%20%20%20%20%20%20_layer%2C%20_next%20%3D%20net%5B_li%5D%2C%20net%5B_li%20%2B%201%5D%0A%20%20%20%20%20%20%20%20_i%20%3D%20_layer%5B%22nodes%22%5D%5B0%5D%0A%20%20%20%20%20%20%20%20_sum%20%3D%20%22%20%2B%20%22.join(_w(_i%2C%20j)%20%2B%20%22%5C%5C%2C%5C%5Cdelta_%22%20%2B%20j%20for%20j%20in%20_next%5B%22nodes%22%5D)%0A%20%20%20%20%20%20%20%20stages.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22kind%22%3A%20%22delta%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22items%22%3A%20_layer%5B%22nodes%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22title%22%3A%20f%22Error%20signals%3A%20%7Blayer_name(net%2C%20_li)%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22explanation%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Pass%20the%20error%20signals%20one%20layer%20back.%20Each%20node%20collects%20the%20error%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22signals%20of%20the%20nodes%20it%20feeds%2C%20weighted%20by%20the%20connections%2C%20then%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22multiplies%20by%20its%20own%20sigmoid%20steepness%3A%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%24%24%5Cn%5C%5Cdelta_i%20%3D%20%5C%5CBigl(%5C%5Csum_j%20w_%7Bij%7D%5C%5C%2C%5C%5Cdelta_j%5C%5CBigr)%20%5C%5Ccdot%20y_i(1%20-%20y_i)%5Cn%24%24%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22where%20%24j%24%20runs%20over%20the%20nodes%20of%20%7Blayer_name(net%2C%20_li%20%2B%201%2C%20article%3DTrue)%7D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22(%7Bnode_list(_next%5B'nodes'%5D)%7D).%20For%20example%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%24%5C%5Cdelta_%7B_i%7D%20%3D%20(%7B_sum%7D)%20%5C%5Ccdot%20y_%7B_i%7D(1%20-%20y_%7B_i%7D)%24.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Use%20the%20**original**%20weights%3A%20all%20error%20signals%20are%20computed%20before%20any%20weight%20changes.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22fields%22%3A%20%5B_field(f%22d_%7Bn%7D%22%2C%20f%22%5C%5Cdelta_%7Bn%7D%22%2C%20ex%5B%22delta%22%5D%5Bn%5D)%20for%20n%20in%20_layer%5B%22nodes%22%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22template%22%3A%20%22%7C%20Node%20%7C%20Error%20signal%20%CE%B4%20%7C%5Cn%7C---%7C---%7C%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22%5Cn%22.join(f%22%7C%20**%7Bn%7D**%20%7C%20%7B%7Bd_%7Bn%7D%7D%7D%20%7C%22%20for%20n%20in%20_layer%5B%22nodes%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22reference%22%3A%20%22%7C%20Node%20%7C%20%24%5C%5Cdelta%24%20%7C%5Cn%7C---%7C---%7C%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22%5Cn%22.join(f%22%7C%20%24%7Bn%7D%24%20%7C%20%24%7Bex%5B'delta'%5D%5Bn%5D%3A.4f%7D%24%20%7C%22%20for%20n%20in%20_layer%5B%22nodes%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%23%205.%20Weight%20updates%2C%20from%20the%20output%20side%20back%20to%20the%20inputs%0A%20%20%20%20for%20_li%20in%20range(len(net)%20-%202%2C%20-1%2C%20-1)%3A%0A%20%20%20%20%20%20%20%20_from%2C%20_to%20%3D%20net%5B_li%5D%2C%20net%5B_li%20%2B%201%5D%0A%20%20%20%20%20%20%20%20_keys%20%3D%20weight_keys(net%2C%20_li)%0A%20%20%20%20%20%20%20%20_k%20%3D%20_keys%5B0%5D%0A%20%20%20%20%20%20%20%20stages.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22kind%22%3A%20%22update%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22items%22%3A%20_keys%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22title%22%3A%20f%22Weight%20updates%3A%20into%20%7Blayer_name(net%2C%20_li%20%2B%201%2C%20article%3DTrue)%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22explanation%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Every%20weight%20is%20updated%20with%20the%20same%20rule%3A%20learning%20rate%20%C3%97%20error%20signal%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22of%20the%20node%20the%20weight%20goes%20**into**%20%C3%97%20activation%20of%20the%20node%20it%20comes%20**from**%3A%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%24%24%5Cn%5C%5CDelta%20w_%7B%7Bij%7D%7D%20%3D%20%5C%5Cmu%20%5C%5Ccdot%20%5C%5Cdelta_j%20%5C%5Ccdot%20y_i%2C%20%5C%5Cqquad%20%5C%5Cmu%20%3D%20%7BMU%3Ag%7D%5Cn%24%24%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22For%20example%3A%20%24%5C%5CDelta%20%7B_w(_k%5B0%5D%2C%20_k%5B1%5D)%7D%20%3D%20%5C%5Cmu%20%5C%5Ccdot%20%5C%5Cdelta_%7B_k%5B1%5D%7D%20%5C%5Ccdot%20y_%7B_k%5B0%5D%7D%24.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Bias%20nodes%20have%20%24y%20%3D%201%24.%20Enter%20the%20**change**%20%24%5C%5CDelta%20w%24%2C%20not%20the%20new%20weight.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22fields%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_field(f%22dw_%7Bk%7D%22%2C%20%22%5C%5CDelta%20%22%20%2B%20_w(k%5B0%5D%2C%20k%5B1%5D)%2C%20ex%5B%22dw%22%5D%5Bk%5D)%20for%20k%20in%20_keys%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22template%22%3A%20%22%7C%20from%20%E2%86%93%20%2F%20to%20%E2%86%92%20%7C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22%20%7C%20%22.join(f%22**%7Bj%7D**%22%20for%20j%20in%20_to%5B%22nodes%22%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22%20%7C%5Cn%7C---%7C%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22---%7C%22%20*%20len(_to%5B%22nodes%22%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22%5Cn%22.join(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20**%7Bi%7D**%7B'%20(bias)'%20if%20i%20%3D%3D%20_from%5B'bias'%5D%20else%20''%7D%20%7C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22%20%7C%20%22.join(f%22%7B%7Bdw_%7Bi%7D%7Bj%7D%7D%7D%22%20for%20j%20in%20_to%5B%22nodes%22%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22%20%7C%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20i%20in%20sources(_from)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22reference%22%3A%20%22%7C%20Weight%20%7C%20Old%20%7C%20%24%5C%5CDelta%20w%24%20%7C%20New%20%7C%5Cn%7C---%7C---%7C---%7C---%7C%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22%5Cn%22.join(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20%24%7B_w(k%5B0%5D%2C%20k%5B1%5D)%7D%24%20%7C%20%24%7Bex%5B'weights'%5D%5Bk%5D%3A%2B.4f%7D%24%20%7C%20%24%7Bex%5B'dw'%5D%5Bk%5D%3A%2B.4f%7D%24%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20%24%7Bex%5B'new_weights'%5D%5Bk%5D%3A%2B.4f%7D%24%20%7C%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20k%20in%20_keys%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%23%206.%20New%20prediction%20with%20the%20updated%20weights%0A%20%20%20%20stages.append(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22kind%22%3A%20%22final%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22items%22%3A%20%5B%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22title%22%3A%20%22Check%3A%20the%20new%20prediction%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22explanation%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Did%20it%20work%3F%20Run%20the%20forward%20pass%20again%20with%20the%20**updated**%20weights%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22(the%20%5C%22New%5C%22%20column%20in%20the%20tables%20above)%20and%20compute%20the%20new%20prediction%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22and%20the%20new%20loss.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22fields%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_field(%22y_new%22%2C%20f%22y_%7B_out%7D%22%2C%20ex%5B%22y_new%22%5D%5B_out%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_field(%22L_new%22%2C%20%22L%22%2C%20ex%5B%22loss_new%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22template%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%7C%20Quantity%20%7C%20Your%20answer%20%7C%5Cn%7C---%7C---%7C%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20New%20prediction%20y%20of%20%7B_out%7D%20%7C%20%7B%7By_new%7D%7D%20%7C%5Cn%7C%20New%20loss%20L%20%7C%20%7B%7BL_new%7D%7D%20%7C%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22reference%22%3A%20f%22%24y_%7B_out%7D%20%3D%20%7Bex%5B'y_new'%5D%5B_out%5D%3A.4f%7D%24%2C%20%24L%20%3D%20%7Bex%5B'loss_new'%5D%3A.4f%7D%24%22%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20return%20(stages%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20stages)%3A%0A%20%20%20%20%23%20Answer%20boxes%20and%20%22Show%20answer%22%20buttons%2C%20one%20per%20stage.%20Recreated%20(and%20so%0A%20%20%20%20%23%20reset)%20whenever%20the%20network%20or%20the%20seed%20changes.%0A%20%20%20%20def%20_form(stage)%3A%0A%20%20%20%20%20%20%20%20boxes%20%3D%20%7Bf%5B%22key%22%5D%3A%20mo.ui.text(placeholder%3D%22%3F%22)%20for%20f%20in%20stage%5B%22fields%22%5D%7D%0A%20%20%20%20%20%20%20%20return%20mo.md(stage%5B%22template%22%5D).batch(**boxes).form(submit_button_label%3D%22Check%22%2C%20bordered%3DFalse)%0A%0A%0A%20%20%20%20answer_forms%20%3D%20mo.ui.array(%5B_form(s)%20for%20s%20in%20stages%5D)%0A%20%20%20%20reveal_buttons%20%3D%20mo.ui.array(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.button(value%3DFalse%2C%20on_click%3Dlambda%20_%3A%20True%2C%20label%3D%22Show%20answer%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_%20in%20stages%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%20answer_forms%2C%20reveal_buttons%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20answer_forms%2C%0A%20%20%20%20check%2C%0A%20%20%20%20ex%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20net%2C%0A%20%20%20%20network_svg%2C%0A%20%20%20%20panel_html%2C%0A%20%20%20%20panel_view%2C%0A%20%20%20%20reveal_buttons%2C%0A%20%20%20%20stages%2C%0A)%3A%0A%20%20%20%20_blocks%20%3D%20%5Bmo.md(%22%23%23%203.%20One%20training%20step%2C%20by%20hand%22)%5D%0A%20%20%20%20_all_done%20%3D%20True%0A%20%20%20%20%23%20Everything%20the%20learner%20has%20worked%20out%20so%20far%2C%20for%20the%20floating%20panel.%0A%20%20%20%20_known%20%3D%20%7B%22y%22%3A%20dict(ex%5B%22inputs%22%5D)%2C%20%22x%22%3A%20%7B%7D%2C%20%22delta%22%3A%20%7B%7D%2C%20%22updated%22%3A%20set()%2C%20%22loss%22%3A%20None%7D%0A%20%20%20%20_final%20%3D%20False%0A%20%20%20%20for%20_n%2C%20(_stage%2C%20_form%2C%20_btn)%20in%20enumerate(zip(stages%2C%20answer_forms%2C%20reveal_buttons)%2C%201)%3A%0A%20%20%20%20%20%20%20%20_answers%20%3D%20_form.value%0A%20%20%20%20%20%20%20%20_results%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20f%5B%22key%22%5D%3A%20check(_answers.get(f%5B%22key%22%5D)%20if%20_answers%20else%20None%2C%20f%5B%22true%22%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20f%20in%20_stage%5B%22fields%22%5D%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20_correct%20%3D%20_answers%20is%20not%20None%20and%20all(r%20%3D%3D%20%22ok%22%20for%20r%20in%20_results.values())%0A%20%20%20%20%20%20%20%20_revealed%20%3D%20bool(_btn.value)%0A%20%20%20%20%20%20%20%20_done%20%3D%20_correct%20or%20_revealed%0A%0A%20%20%20%20%20%20%20%20_parts%20%3D%20%5Bmo.md(f%22%23%23%23%20Step%20%7B_n%7D%20%C2%B7%20%7B_stage%5B'title'%5D%7D%5Cn%5Cn%7B_stage%5B'explanation'%5D%7D%22)%2C%20_form%5D%0A%20%20%20%20%20%20%20%20if%20_correct%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_parts.append(mo.callout(mo.md(%22**All%20correct!**%22)%2C%20kind%3D%22success%22))%0A%20%20%20%20%20%20%20%20elif%20_answers%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_wrong%20%3D%20%5Bf%20for%20f%20in%20_stage%5B%22fields%22%5D%20if%20_results%5Bf%5B%22key%22%5D%5D%20!%3D%20%22ok%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_n_ok%20%3D%20len(_stage%5B%22fields%22%5D)%20-%20len(_wrong)%0A%20%20%20%20%20%20%20%20%20%20%20%20_parts.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_n_ok%7D%20of%20%7Blen(_stage%5B'fields'%5D)%7D%20correct.%20Check%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22%2C%20%22.join(f%22%24%7Bf%5B'tex'%5D%7D%24%22%20for%20f%20in%20_wrong)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22.%20(Round%20to%204%20decimal%20places.)%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22danger%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20_done%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_stage%5B%22kind%22%5D%20%3D%3D%20%22forward%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20_node%20in%20_stage%5B%22items%22%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_known%5B%22x%22%5D%5B_node%5D%20%3D%20ex%5B%22x%22%5D%5B_node%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_known%5B%22y%22%5D%5B_node%5D%20%3D%20ex%5B%22y%22%5D%5B_node%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20_stage%5B%22kind%22%5D%20%3D%3D%20%22loss%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_known%5B%22loss%22%5D%20%3D%20ex%5B%22loss%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20_stage%5B%22kind%22%5D%20%3D%3D%20%22delta%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20_node%20in%20_stage%5B%22items%22%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_known%5B%22delta%22%5D%5B_node%5D%20%3D%20ex%5B%22delta%22%5D%5B_node%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20_stage%5B%22kind%22%5D%20%3D%3D%20%22update%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_known%5B%22updated%22%5D.update(_stage%5B%22items%22%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20_stage%5B%22kind%22%5D%20%3D%3D%20%22final%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_final%20%3D%20True%0A%20%20%20%20%20%20%20%20%20%20%20%20_parts.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%22**Answer.**%20%22%20if%20_revealed%20and%20not%20_correct%20else%20%22%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22Use%20these%20values%20in%20the%20next%20steps%3A%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20_stage%5B%22reference%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_parts.append(_btn)%0A%20%20%20%20%20%20%20%20_blocks.append(mo.vstack(_parts%2C%20gap%3D0.75))%0A%0A%20%20%20%20%20%20%20%20if%20not%20_done%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_all_done%20%3D%20False%0A%20%20%20%20%20%20%20%20%20%20%20%20_blocks.append(mo.md(%22%F0%9F%94%92%20_Finish%20this%20step%20(or%20show%20the%20answer)%20to%20unlock%20the%20next%20one._%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20break%0A%0A%20%20%20%20if%20_all_done%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20ex%5B%22out%22%5D%0A%20%20%20%20%20%20%20%20_blocks%20%2B%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%20%F0%9F%8E%89%20One%20training%20step%20done%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bex%5B'y'%5D%5B_out%5D%3A.4f%7D%20%E2%86%92%20%7Bex%5B'y_new'%5D%5B_out%5D%3A.4f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Df%22Prediction%20y_%7B_out%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20caption%3Df%22target%20t%20%3D%20%7Bex%5B'target'%5D%3Ag%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bex%5B'loss_new'%5D%3A.4f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Loss%20after%20the%20step%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20caption%3Df%22before%3A%20%7Bex%5B'loss'%5D%3A.4f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20direction%3D%22decrease%22%20if%20ex%5B%22loss_new%22%5D%20%3C%20ex%5B%22loss%22%5D%20else%20%22increase%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20target_direction%3D%22decrease%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20justify%3D%22start%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gap%3D2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22**Your%20network%20after%20the%20update**%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20network_svg(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20net%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ex%5B%22new_weights%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dex%5B%22y_new%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20updated%3Dset(ex%5B%22new_weights%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20target%3Dex%5B%22target%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20loss%3Dex%5B%22loss_new%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20You%20just%20did%20everything%20a%20neural%20network%20does%20in%20one%20training%20step%3A%0A%0A%20%20%20%201.%20**Forward%20pass**%3A%20compute%20every%20activation%2C%20from%20the%20inputs%20to%20the%20output.%0A%20%20%20%202.%20**Loss**%3A%20measure%20how%20far%20the%20prediction%20is%20from%20the%20target.%0A%20%20%20%203.%20**Backward%20pass**%3A%20compute%20the%20error%20signals%2C%20from%20the%20output%20back%20to%20the%20first%20hidden%20layer.%0A%20%20%20%204.%20**Update**%3A%20change%20every%20weight%20by%20%24%5CDelta%20w_%7Bij%7D%20%3D%20%5Cmu%5C%2C%5Cdelta_j%5C%2Cy_i%24.%0A%0A%20%20%20%20Real%20training%20repeats%20this%20for%20many%20examples%2C%20many%20times%20over.%20Want%20more%20practice%3F%20Change%20the%20network%20size%20or%20click%20**New%20exercise**.%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%0A%20%20%20%20%23%20Update%20the%20floating%20panel%20in%20place%20(it%20keeps%20its%20position).%0A%20%20%20%20if%20_final%3A%0A%20%20%20%20%20%20%20%20panel_view.html%20%3D%20panel_html(%0A%20%20%20%20%20%20%20%20%20%20%20%20net%2C%20ex%5B%22new_weights%22%5D%2C%20y%3Dex%5B%22y_new%22%5D%2C%20updated%3Dset(ex%5B%22new_weights%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20target%3Dex%5B%22target%22%5D%2C%20loss%3Dex%5B%22loss_new%22%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_w_now%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20k%3A%20ex%5B%22new_weights%22%5D%5Bk%5D%20if%20k%20in%20_known%5B%22updated%22%5D%20else%20v%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20k%2C%20v%20in%20ex%5B%22weights%22%5D.items()%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20panel_view.html%20%3D%20panel_html(%0A%20%20%20%20%20%20%20%20%20%20%20%20net%2C%20_w_now%2C%20y%3D_known%5B%22y%22%5D%2C%20x%3D_known%5B%22x%22%5D%2C%20delta%3D_known%5B%22delta%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20updated%3D_known%5B%22updated%22%5D%2C%20target%3Dex%5B%22target%22%5D%2C%20loss%3D_known%5B%22loss%22%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20mo.vstack(_blocks%2C%20gap%3D2)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A