Ex 2.1.7: a repulsive term and a narrower pull

Data provenance

ex-2.1.7 · 383eb16 · run 2026-07-31

via reports/m2/ex-2.1.7/arrays, reports/m2/ex-2.1.7/geometry, reports/m2/ex-2.1.7/metrics

import%20marimo%0A%0A__generated_with%20%3D%20%220.23.16%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22medium%22%2C%0A%20%20%20%20app_title%3D%22Ex%202.1.7%3A%20a%20repulsive%20term%20and%20a%20narrower%20pull%22%2C%0A%20%20%20%20css_file%3D%22..%2F..%2Freport.css%22%2C%0A%20%20%20%20auto_download%3D%5B%22html%22%5D%2C%0A)%0A%0Awith%20app.setup(hide_code%3DTrue)%3A%0A%20%20%20%20import%20json%0A%20%20%20%20import%20tempfile%0A%20%20%20%20from%20pathlib%20import%20Path%0A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20%23%20Marimo%20puts%20the%20notebook%20directory%20on%20sys.path%2C%20so%20the%20design%20constants%20come%0A%20%20%20%20%23%20from%20the%20experiment%20module%20rather%20than%20a%20copy%20of%20them%20in%20the%20prose.%0A%20%20%20%20import%20experiment%20as%20ex%0A%20%20%20%20from%20mini.reports%20import%20report_bundle%2C%20use_publisher%0A%20%20%20%20from%20mini.store%20import%20project_store%0A%20%20%20%20from%20mini.vis%20import%20figure_html%2C%20light_dark%2C%20themed%0A%0A%20%20%20%20use_publisher(report_bundle(__file__))%0A%0A%20%20%20%20def%20load_results()%20-%3E%20tuple%5Bdict%2C%20dict%5Bstr%2C%20np.ndarray%5D%5D%20%7C%20None%3A%0A%20%20%20%20%20%20%20%20%22%22%22Resolve%20metrics%20and%20the%20stacked%20per-run%20arrays%20from%20the%20store%2C%20or%20None%20if%20unpublished.%22%22%22%0A%20%20%20%20%20%20%20%20store%20%3D%20project_store()%0A%20%20%20%20%20%20%20%20arts%20%3D%20store.get_refs(%5Bex.METRICS_REF%2C%20ex.ARRAYS_REF%5D)%0A%20%20%20%20%20%20%20%20m_art%2C%20a_art%20%3D%20arts%5Bex.METRICS_REF%5D%2C%20arts%5Bex.ARRAYS_REF%5D%0A%20%20%20%20%20%20%20%20if%20m_art%20is%20None%20or%20a_art%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20None%0A%20%20%20%20%20%20%20%20with%20tempfile.TemporaryDirectory()%20as%20d%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20m_path%2C%20a_path%20%3D%20store.get_many(%5B(m_art%2C%20Path(d)%20%2F%20%22metrics.json%22)%2C%20(a_art%2C%20Path(d)%20%2F%20%22arrays.npz%22)%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20with%20np.load(a_path)%20as%20z%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20arrays%20%3D%20%7Bk%3A%20z%5Bk%5D%20for%20k%20in%20z.files%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20metrics%20%3D%20json.loads(m_path.read_text())%0A%20%20%20%20%20%20%20%20return%20metrics%2C%20arrays%0A%0A%20%20%20%20def%20load_geometry()%20-%3E%20dict%20%7C%20None%3A%0A%20%20%20%20%20%20%20%20%22%22%22The%20per-run%20geometry%20pass%2C%20published%20under%20its%20own%20ref.%22%22%22%0A%20%20%20%20%20%20%20%20store%20%3D%20project_store()%0A%20%20%20%20%20%20%20%20art%20%3D%20store.get_refs(%5Bex.GEOMETRY_REF%5D)%5Bex.GEOMETRY_REF%5D%0A%20%20%20%20%20%20%20%20if%20art%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20None%0A%20%20%20%20%20%20%20%20with%20tempfile.TemporaryDirectory()%20as%20d%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20path%20%3D%20store.get_many(%5B(art%2C%20Path(d)%20%2F%20%22geometry.json%22)%5D)%5B0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20json.loads(path.read_text())%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Ex%202.1.7%3A%20a%20repulsive%20term%20and%20a%20narrower%20pull%0A%0A%20%20%20%20%2F%2F%2F%20tip%20%7C%0A%20%20%20%20%3C!--%20tl%3Bdr%20--%3E%0A%20%20%20%20We%20tested%20two%20mechanisms%20to%20improve%20anchor%20selectivity%3A%20**1.**%20Apply%20the%20anchor%20term%20only%20to%20operand%201%20(no%20other%20tokens)%2C%20and%20**2.**%20Add%20a%20repulsive%20term%20to%20clear%20the%20target%20subspace.%20Both%20work%2C%20but%201.%20worked%20better%2C%20and%20their%20effects%20stack%20somewhat.%0A%20%20%20%20%2F%2F%2F%0A%0A%20%20%20%20Ex-2.1.6%20anchored%20*red*%20with%20a%20single%20attractive%20term%20and%20got%20alignment%20without%20selectivity.%20The%20term%20moved%20the%20whole%20color%20cube%20onto%20the%20anchor%20direction%2C%20and%20the%20red-selective%20margin%20settled%20at%20about%20half%20its%20threshold%2C%20flat%20across%20a%20tenfold%20range%20of%20the%20anchor%20weight.%20Two%20candidate%20mechanisms%20could%20explain%20that%2C%20and%20the%20experiment%20could%20not%20tell%20them%20apart.%0A%0A%20%20%20%20First%2C%20nothing%20repelled%20the%20rest%20of%20the%20cube.%20M1%20never%20ran%20its%20anchor%20bare%3A%20it%20added%20an%20indiscriminate%20*anti-subspace*%20term%2C%20at%20a%20few%20percent%20of%20the%20anchor%20weight%2C%20penalizing%20the%20average%20squared%20alignment%20between%20the%20anchor%20direction%20and%20every%20representation%20in%20the%20batch.%20That%20is%20a%20gentle%2C%20global%20pressure%20that%20keeps%20the%20cloud%20as%20a%20whole%20off%20the%20axis%2C%20and%20that%20average%20is%20the%20quantity%20that%20ran%20away%20in%20ex-2.1.6.%0A%0A%20%20%20%20Second%2C%20most%20of%20the%20pull%20was%20blind.%20The%20anchor%20pulled%20four%20prompt%20positions%20of%20each%20labeled%20equation%2C%20and%20three%20of%20them%20(%60%2B%60%2C%20op2%2C%20%60%3D%60)%20carry%20no%20information%20about%20which%20color%20sits%20at%20op1.%20There%20the%20label%20is%20an%20unobservable%20coin%20flip%2C%20so%20only%20the%20expected%20pull%20is%20visible%20to%20the%20optimizer%2C%20and%20that%20is%20nearly%20color-independent.%0A%0A%20%20%20%20This%20experiment%20separates%20the%20two%20with%20a%202%C3%972%20factorial%5B%5Efactorial%5D%20at%20the%20ex-2.1.6%20scoring%20rung%20(%24%5Clambda_%5Ctext%7Ba%7D%20%3D%200.1%24)%3A%20%7Bbare%20anchor%2C%20anchor%20%2B%20anti-subspace%7D%20%C3%97%20%7Bfour-position%20span%20pull%2C%20op1-only%20pull%7D.%20If%20the%20anti-subspace%20factor%20restores%20the%20margin%2C%20missing%20repulsion%20was%20the%20problem.%20If%20the%20op1-only%20factor%20does%2C%20the%20blind%20span%20was.%20If%20only%20the%20combination%20does%2C%20they%20compound.%0A%0A%20%20%20%20Two%20extra%20arms%20ride%20along%3A%20a%20schedule-timing%20variant%20of%20the%20anti-subspace%20anneal%2C%20and%20a%20weight-ceiling%20rung%20at%20%24%5Clambda%20%3D%201%24.%0A%0A%20%20%20%20%5B%5Efactorial%5D%3A%20A%20design%20that%20runs%20every%20combination%20of%20two%20on%2Foff%0A%20%20%20%20factors%2C%20four%20conditions%20here%2C%20so%20each%20factor's%20effect%20can%20be%20measured%20on%20its%20own.%0A%0A%20%20%20%20%2F%2F%2F%20details%20%7C%20Notation%0A%20%20%20%20Notation%20carries%20over%20from%20ex-2.1.6%2C%20with%20loss%20weights%20now%20subscripted%20by%20their%20term.%20New%20here%3A%20the%20bar%20in%20%24%5Clambda_%7B%5Cbar%7B%5Ctext%7Bs%7D%7D%7D%24%20marks%20a%20repulsive%20term%2C%20whose%20weight%20is%20always%20given%20relative%20to%20the%20anchor%20as%20the%20ratio%20%24%5Clambda_%7B%5Cbar%7B%5Ctext%7Bs%7D%7D%7D%20%2F%20%5Clambda_%5Ctext%7Ba%7D%24.%0A%0A%20%20%20%20%7C%20symbol%20%7C%20meaning%20%7C%0A%20%20%20%20%7C%20---%20%7C%20---%20%7C%0A%20%20%20%20%7C%20%24%5Chat%20v_%7B%5Ctext%7Bred%7D%7D%24%20%7C%20the%20anchor%20direction%20%7C%0A%20%20%20%20%7C%20%24%5Clambda_%5Ctext%7Ba%7D%24%20%7C%20anchor%20weight%20(ex-2.1.6's%20bare%20%24%5Clambda%24)%20%7C%0A%20%20%20%20%7C%20%24%5Clambda_%7B%5Cbar%7B%5Ctext%7Bs%7D%7D%7D%24%20%7C%20anti-subspace%20weight%20%7C%0A%20%20%20%20%7C%20%24%5Cell%24%20%7C%20layer%20index%20%7C%0A%20%20%20%20%7C%20%24m%24%2C%20%24m_%7B%5Ctext%7Bop1%7D%7D%24%20%7C%20alignment%20margin%3B%20its%20layer%20mean%20at%20op1%20%7C%0A%20%20%20%20%7C%20%24%5Cbar%5Calpha%24%20%7C%20mean%20alignment%20with%20%24%5Chat%20v_%7B%5Ctext%7Bred%7D%7D%24%20over%20all%20216%20colors%2C%20layer-averaged%20at%20op1%20%7C%0A%20%20%20%20%7C%20**run**%20%7C%20a%20**condition**%20crossed%20with%20a%20seed%3A%20one%20training%20run%20%7C%0A%20%20%20%20%2F%2F%2F%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Findings%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(CONDS%3A%20list%5Bstr%5D%2C%20CONTROL_ACC%2C%20acc%2C%20alpha_bar%2C%20grading%2C%20m_op1%2C%20traj)%3A%0A%20%20%20%20%23%20REVIEW%3A%20added%20the%20Findings%20section.%20Every%20verdict%20and%20its%20deciding%20number%0A%20%20%20%20%23%20already%20appeared%20in%20an%20analysis%20section%3B%20nothing%20here%20is%20new%2C%20and%20no%20gate%0A%20%20%20%20%23%20or%20verdict%20changed.%20Verify%20against%20the%20H1%20table%2C%20the%20margin%20figure%2C%20the%20H3%0A%20%20%20%20%23%20factorial%20table%2C%20and%20the%20H4%20table%2C%20in%20that%20order.%0A%20%20%20%20_sb%2C%20_sa%2C%20_ob%2C%20_oa%2C%20_la%20%3D%20(%0A%20%20%20%20%20%20%20%20float(m_op1(c).mean())%20for%20c%20in%20(%22span-bare%22%2C%20%22span-anti%22%2C%20%22op1-bare%22%2C%20%22op1-anti%22%2C%20%22span-anti-late%22)%0A%20%20%20%20)%0A%0A%20%20%20%20def%20_ret(cond%3A%20str)%20-%3E%20float%3A%0A%20%20%20%20%20%20%20%20%22%22%22Lowest%20final-over-peak%20margin%20across%20the%20seeds%20that%20reached%20the%20floor%3B%200%20if%20none%20did.%22%22%22%0A%20%20%20%20%20%20%20%20r%20%3D%20%5Bt%5B-1%5D%20%2F%20t.max()%20for%20s%20in%20ex.SEEDS%20if%20(t%20%3A%3D%20traj(cond%2C%20s%2C%20%22m_op1%22)).max()%20%3E%3D%20ex.H4_FLOOR%5D%0A%20%20%20%20%20%20%20%20return%20min(r)%20if%20r%20else%200.0%0A%0A%20%20%20%20_held%20%3D%20sum(1%20for%20c%20in%20CONDS%20if%20c%20!%3D%20%22lam0%22%20and%20_ret(c)%20%3E%3D%20ex.H4_RETENTION)%0A%20%20%20%20mo.md(rf%22%22%22%0A%20%20%20%20**H1%20(task%20cost)%20%E2%80%94%20holds.**%20Largest%20%60named_holdout%60%20exact-match%20gap%20from%20the%20control%2C%20across%20all%20seven%20conditions%3A%20%7Bmax(abs(acc(c).mean()%20-%20CONTROL_ACC)%20for%20c%20in%20CONDS)%3A.4f%7D.%20Gate%3A%20%7Bex.TASK_GATE%3Ag%7D.%0A%0A%20%20%20%20**H2%20(selectivity)%20%E2%80%94%20holds%2C%20on%20the%20op1%20conditions.**%20%60op1-anti%60%20reaches%20%24m_%7B%7B%5Ctext%7B%7Bop1%7D%7D%7D%7D%20%3D%20%7B_oa%3A.3f%7D%24%20and%20%60op1-bare%60%20%7B_ob%3A.3f%7D%2C%20against%20a%20gate%20of%20%7Bex.MARGIN_GATE%3Ag%7D.%20Both%20are%20graded%20(%60op1-anti%60%20R%C2%B2%20%3D%20%7Bgrading(%22op1-anti%22)%5B2%5D%3A.2f%7D%3B%20%60op1-bare%60%20%CF%81%20%3D%20%7Bgrading(%22op1-bare%22)%5B1%5D%3A.2f%7D%2C%20gates%20%7Bex.GRADE_R2_GATE%3Ag%7D)%2C%20and%20the%20control%20sits%20at%20%24%7Cm_%7B%7B%5Ctext%7B%7Bop1%7D%7D%7D%7D%7C%20%3D%20%7Babs(m_op1(%22lam0%22).mean())%3A.3f%7D%24%20against%20a%20ceiling%20of%20%7Bex.CONTROL_MARGIN_GATE%3Ag%7D.%20The%20preregistered%20primary%20condition%20%60span-anti%60%20reaches%20%7B_sa%3A.3f%7D%2C%20a%20partial.%0A%0A%20%20%20%20**H3%20(attribution)%20%E2%80%94%20fails.**%20Both%20main%20effects%20clear%20%7Bex.MAIN_EFFECT_GATE%3Ag%7D%2C%20but%20the%20anti-subspace%20effect%20(%7B(_sa%20%2B%20_oa)%20%2F%202%20-%20(_sb%20%2B%20_ob)%20%2F%202%3A%2B.3f%7D)%20is%20smaller%20than%20the%20op1-only%20effect%20(%7B(_ob%20%2B%20_oa)%20%2F%202%20-%20(_sb%20%2B%20_sa)%20%2F%202%3A%2B.3f%7D)%2C%20not%20larger%3B%20the%20ordering%20holds%20within%20every%20seed.%0A%0A%20%20%20%20**H4%20(containment%20and%20dynamics)%20%E2%80%94%20fails%20on%20both%20parts.**%20(a)%20No%20anti%20condition%20at%20the%20scoring%20rung%20falls%20to%20%24%5Cbar%5Calpha%20%5Cle%20%7Bex.MEAN_ALIGN_GATE%3Ag%7D%24%3B%20%60span-anti%60%20ends%20at%20%7Balpha_bar(%22span-anti%22).mean()%3A.3f%7D%2C%20missing%20the%20%7Bex.MEAN_ALIGN_PARTIAL%3Ag%7D%20partial%20too.%20(b)%20%7B_held%7D%20of%20the%20six%20anchored%20conditions%20hold%20%7Bex.H4_RETENTION%3Ag%7D%C3%97%20their%20peak%20margin%3B%20the%20gate%20asks%20for%20all%20of%20them.%0A%0A%20%20%20%20**The%20timing%20arm%20scores%20nothing%20and%20did%20best%20on%20containment.**%20%60span-anti-late%60%20stretches%20the%20anti-subspace%20anneal%20from%20epoch%20%7Bex.ANTI_ANNEAL_END%3Ag%7D%20to%20%7Bex.ANTI_ANNEAL_END_LATE%3Ag%7D%20and%20changes%20nothing%20else.%20It%20improves%20on%20%60span-anti%60%2C%20the%20schedule%20it%20varies%2C%20on%20every%20statistic%20H2%20and%20H4%20score%3A%20margin%20%7B_sa%3A.3f%7D%20%E2%86%92%20%7B_la%3A.3f%7D%2C%20%24%5Cbar%5Calpha%24%20%7Balpha_bar(%22span-anti%22).mean()%3A.3f%7D%20%E2%86%92%20%7Balpha_bar(%22span-anti-late%22).mean()%3A.3f%7D%20(the%20lowest%20of%20any%20anchored%20condition)%2C%20and%20on%20retention%20it%20crosses%20from%20the%20sliding%20group%20to%20the%20holding%20one.%20Its%20margin%20still%20sits%20below%20%60op1-anti%60's%20%7B_oa%3A.3f%7D.%20See%20*Arms*.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%2F%2F%2F%20admonition%20%7C%20How%20to%20read%20this%20report%0A%20%20%20%20This%20report%20was%20preregistered%20in%20Git.%20We%20wrote%20and%20froze%20the%20method%2C%20hypotheses%2C%20and%20decision%20thresholds%20before%20running%20the%20experiment%2C%20then%20replaced%20the%20placeholders%20with%20results%20in%20place.%20No%20threshold%20was%20amended%20after%20the%20freeze.%20Anything%20conceived%20after%20seeing%20the%20data%20is%20under%20*Exploratory%20analyses*%2C%20marked%20post%20hoc.%0A%20%20%20%20%2F%2F%2F%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Method%0A%0A%20%20%20%20%23%23%23%20Testbed%2C%20labels%2C%20and%20measurements%0A%0A%20%20%20%20Everything%20ex-2.1.6%20held%20is%20held%20here%3A%20the%20word-level%20%60v216%60%20testbed%20from%20ex-2.1.3%20(216%20grid%20colors%2C%20one%20token%20each%2C%20d64-L4)%2C%20the%20same%20corpus%20seed%20and%20eval%20sets%2C%20labels%20drawn%20per%20visit%20with%20probability%20%60redness(op1)%E2%81%B8%20%C3%97%200.08%60%2C%20and%20the%20exhaustive%2027-partner%20alignment%20probe%20set.%20The%20measurements%20are%20also%20the%20same%3A%20the%20alignment%20map%20over%20layers%20%C3%97%20positions%2C%20the%20label-affinity-weighted%20margin%2C%20the%20pair%20of%20redness%20probes%2C%20and%20the%20margin%20trajectory%20every%2050%20steps.%20The%20%5Bex-2.1.6%20report%5D(..%2Fex-2.1.6%2Freport.py)%20documents%20each%3B%20only%20the%20changes%20are%20described%20below.%0A%0A%20%20%20%20One%20measurement%20is%20promoted%3A%20the%20exploratory%20geometry%20pass%20from%20ex-2.1.6%20(per%20layer%3A%20the%20centroid%20of%20the%20216%20op1%20states%2C%20its%20alignment%20with%20the%20anchor%2C%20and%20the%20extent%20of%20the%20cloud)%20is%20preregistered%20here%2C%20because%20H4%20scores%20part%20of%20it.%20The%20mean%20alignment%20over%20all%20colors%2C%20%24%5Cbar%5Calpha%24%2C%20is%20likewise%20recorded%20at%20every%20trajectory%20checkpoint%20beside%20the%20margin.%20In%20ex-2.1.6%20it%20was%20added%20as%20an%20unscored%20diagnostic%2C%20and%20it%20turned%20out%20to%20be%20important.%0A%0A%20%20%20%20%23%23%23%20The%20sweep%0A%0A%20%20%20%20All%20four%20conditions%20run%20at%20%24%5Clambda_%5Ctext%7Ba%7D%20%3D%200.1%24%2C%20the%20scoring%20rung%20of%20ex-2.1.6%2C%20reused%20here%20by%20default%3A%20every%20rung%20was%20task-clean%20and%200.1%20sat%20in%20the%20middle%20of%20the%20swept%20range.%20The%20control%20(%24%5Clambda_%5Ctext%7Ba%7D%20%3D%200%24)%20and%20the%20%60span-bare%60%20condition%20reproduce%20the%20ex-2.1.6%20control%20and%20its%20%24%5Clambda_%5Ctext%7Ba%7D%20%3D%200.1%24%20condition.%20So%20every%20comparison%20in%20this%20report%20is%20between%20conditions%20that%20went%20through%20identical%20code.%0A%0A%20%20%20%20**Factor%20one%3A%20the%20anti-subspace%20term.**%20The%20%60anti%60%20conditions%20add%20the%20M1%20repulsive%20term%20to%20the%20loss%20at%20weight%20%24%5Clambda_%7B%5Cbar%7B%5Ctext%7Bs%7D%7D%7D%24%3A%0A%0A%20%20%20%20%24%24%5Clambda_%7B%5Cbar%7B%5Ctext%7Bs%7D%7D%7D%5C%2C%20%5Cmathcal%7BL%7D_%7B%5Cbar%7B%5Ctext%7Bs%7D%7D%7D%2C%20%5Cqquad%20%5Cmathcal%7BL%7D_%7B%5Cbar%7B%5Ctext%7Bs%7D%7D%7D%20%3D%20%5Coperatorname%7Bmean%7D%5C%2C%5Ccos%5E2(h%2C%20%5Chat%20v_%7B%5Ctext%7Bred%7D%7D)%24%24%0A%0A%20%20%20%20where%20the%20mean%20runs%20over%20every%20residual-stream%20slice%20and%20every%20non-pad%20position%20of%20the%20batch%3A%20every%20line%2C%20labeled%20or%20not.%20This%20is%20M1's%20term%20with%20the%20reserved%20coordinate%20axis%20replaced%20by%20an%20arbitrary%20unit%20direction%3A%20M1%20penalized%20%24%5Csum_%7Bi%7D%20%5Chat%20z_i%5E2%24%20over%20the%20reserved%20axes%20of%20the%20*normalized*%20representation%2C%20and%20each%20%24%5Chat%20z_i%5E2%24%20is%20a%20%24%5Ccos%5E2%24%20against%20a%20basis%20vector.%20A%20higher-dimensional%20reserved%20subspace%20would%20sum%20%24%5Ccos%5E2%24%20over%20an%20orthonormal%20basis%20of%20it%3B%20here%20the%20subspace%20is%20the%20one-dimensional%20span%20of%20the%20anchor.%20The%20term%20penalizes%20the%20mean-square%20alignment%20of%20everything%2C%20so%20the%20labeled%20pull%20has%20to%20buy%20alignment%20against%20a%20headwind.%20That%20is%2C%20we%20expect%2C%20the%20selectivity%20pressure%20ex-2.1.6%20lacked.%20It%20never%20asks%20any%20particular%20point%20to%20leave%20the%20axis%2C%20only%20that%20the%20cloud%20as%20a%20whole%20not%20sit%20on%20it.%0A%0A%20%20%20%20The%20term%20should%20be%20cheap%20in%20a%2064-dimensional%20stream%3A%20an%20isotropic%20cloud%20(one%20with%20no%20preferred%20direction)%20has%20a%20mean%20%24%5Ccos%5E2%24%20of%201%2F64%20per%20slice%2C%20and%20the%20task's%20three%20color%20dimensions%20fit%20in%20the%20remaining%2063%20with%20room%20to%20spare.%20In%20M1's%204-%20and%205-dimensional%20bottlenecks%20it%20cost%20a%20fifth%20or%20a%20quarter%20of%20the%20space%2C%20and%20its%20harder%20conditions%20(ex-2.9.1)%20needed%20the%20dimension%20cleared%20outright.%20The%20question%20is%20whether%2C%20at%203%25%20of%20the%20anchor%20weight%2C%20it%20is%20strong%20enough%20to%20matter.%0A%0A%20%20%20%20**Factor%20two%3A%20the%20pull%20span.**%20The%20%60span%60%20conditions%20pull%20the%20four%20prompt%20positions%20(op1%2C%20%60%2B%60%2C%20op2%2C%20%60%3D%60)%20of%20a%20labeled%20equation%2C%20as%20ex-2.1.6%20did.%20The%20%60op1%60%20conditions%20pull%20op1%20alone%2C%20so%20every%20pulled%20state%20belongs%20to%20the%20token%20that%20carries%20the%20labeled%20color.%20If%20the%20color-independent%20drift%20came%20from%20the%20three%20blind%20positions%2C%20narrowing%20the%20pull%20removes%20it%20with%20no%20repulsive%20term%20at%20all.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Schedule%0A%0A%20%20%20%20The%20anchor%20schedule%20is%20unchanged%20from%20ex-2.1.6%3A%20ramp%20over%20the%2010-epoch%20LR%20warmup%2C%20hold%20at%20%24%5Clambda_%5Ctext%7Ba%7D%24%2C%20anneal%20from%20epoch%2090%20to%20a%20floor%20of%20%240.1%5Clambda_%5Ctext%7Ba%7D%24%20at%20100.%0A%0A%20%20%20%20The%20anti-subspace%20schedule%20is%20copied%20from%20M1%2FEx-2.9.1%20and%20stretched%20to%20our%20100%20epochs%20by%20fraction%20of%20training.%20M1%20balanced%20the%20attractive%20and%20repulsive%20terms%20in%20time%20rather%20than%20by%20a%20single%20ratio.%20Anti-subspace%20opened%20at%202.5%C3%97%20the%20anchor%20peak%20weight%2C%20meaning%20it%20was%20at%20full%20weight%20from%20step%200%20(its%20effective%20push%20still%20scaled%20by%20the%20warming-up%20learning%20rate%2C%20like%20every%20term)%2C%20before%20the%20anchor%20had%20ramped%20in.%20It%20then%20annealed%20to%203%25%20of%20the%20anchor%20by%20the%20halfway%20point%20and%20held%20there.%20Mapped%20onto%20our%20frame%3A%20%24%5Clambda_%7B%5Cbar%7B%5Ctext%7Bs%7D%7D%7D%20%2F%20%5Clambda_%5Ctext%7Ba%7D%24%20starts%20at%202.5%20at%20epoch%200%2C%20anneals%20(minimum-jerk)%20to%200.03%20by%20epoch%2050%2C%20and%20holds%3B%20from%20epoch%2090%20both%20terms%20share%20the%20end-of-training%20anneal%2C%20so%20their%20ratio%20is%20constant%20from%20the%20midpoint%20on.%0A%0A%20%20%20%20One%20arm%20probes%20the%20timing%3A%20%60span-anti-late%60%20stretches%20the%20anneal%20endpoint%20from%20epoch%2050%20to%2090%2C%20holding%20the%20repulsion%20near%20peak%20through%20most%20of%20training.%0A%0A%20%20%20%20The%20second%20arm%2C%20%60span-anti-hi%60%2C%20runs%20the%20full%20recipe%20at%20%24%5Clambda_%5Ctext%7Ba%7D%20%3D%201%24%2C%20one%20rung%20above%20the%20maximum%20Ex-2.1.6%20swept%2C%20with%20%24%5Clambda_%7B%5Cbar%7B%5Ctext%7Bs%7D%7D%7D%24%20scaled%20in%20proportion.%20Both%20terms%20scale%20together%2C%20so%20it%20probes%20the%20headroom%20of%20the%20recipe%2C%20not%20of%20the%20bare%20anchor.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20_conds%20%3D%20%7Bc%5B%22name%22%5D%3A%20c%20for%20c%20in%20ex.CONDITIONS%7D%0A%0A%20%20%20%20def%20_row(c%3A%20dict)%20-%3E%20str%3A%0A%20%20%20%20%20%20%20%20anti%20%3D%20f%222.5%20%E2%86%92%200.03%20by%20ep%20%7Bc.get('anti_anneal_end'%2C%20ex.ANTI_ANNEAL_END)%3Ag%7D%22%20if%20c%5B%22anti%22%5D%20else%20%22%E2%80%94%22%0A%20%20%20%20%20%20%20%20pulled%20%3D%20%22op1%20%2B%20op2%20%3D%22%20if%20c%5B%22span%22%5D%20%3D%3D%20ex.SPAN_FULL%20else%20%22op1%22%0A%20%20%20%20%20%20%20%20span%20%3D%20%22%E2%80%94%22%20if%20c%5B%22lam%22%5D%20%3D%3D%200%20else%20f%22%3Ccode%3E%7Bpulled%7D%3C%2Fcode%3E%22%20%20%23%20no%20anchor%2C%20so%20nothing%20is%20pulled%0A%20%20%20%20%20%20%20%20role%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22lam0%22%3A%20%22control%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22span-bare%22%3A%20%22the%20Ex-2.1.6%20%CE%BB%3Csub%3Ea%3C%2Fsub%3E%3D0.1%20condition%2C%20re-run%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22span-anti%22%3A%20%22primary%20scoring%20condition%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22op1-bare%22%3A%20%22factorial%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22op1-anti%22%3A%20%22factorial%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22span-anti-late%22%3A%20%22timing%20arm%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22span-anti-hi%22%3A%20%22ceiling%20arm%22%2C%0A%20%20%20%20%20%20%20%20%7D%5Bc%5B%22name%22%5D%5D%0A%20%20%20%20%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Ctr%3E%3Cth%3E%3Ccode%3E%7Bc%5B'name'%5D%7D%3C%2Fcode%3E%3C%2Fth%3E%3Ctd%20class%3D'num'%3E%7Bc%5B'lam'%5D%3Ag%7D%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Ctd%3E%7Bspan%7D%3C%2Ftd%3E%3Ctd%20class%3D'num'%3E%7Banti%7D%3C%2Ftd%3E%3Ctd%3E%7Brole%7D%3C%2Ftd%3E%3C%2Ftr%3E%22%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20_table%20%3D%20f%22%22%22%0A%20%20%20%20%3Cdiv%20class%3D%22report-table-scroll%22%3E%3Ctable%20class%3D%22report-table%22%3E%0A%20%20%20%20%20%20%3Cthead%3E%3Ctr%3E%0A%20%20%20%20%20%20%20%20%3Cth%3Econdition%3C%2Fth%3E%3Cth%20class%3D%22num%22%3E%CE%BB%3Csub%3Ea%3C%2Fsub%3E%3C%2Fth%3E%3Cth%3Epulled%20positions%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%3Cth%20class%3D%22num%22%3E%CE%BB%3Csub%3Es%CC%84%3C%2Fsub%3E%2F%CE%BB%3Csub%3Ea%3C%2Fsub%3E%20schedule%3C%2Fth%3E%3Cth%3Erole%3C%2Fth%3E%0A%20%20%20%20%20%20%3C%2Ftr%3E%3C%2Fthead%3E%0A%20%20%20%20%20%20%3Ctbody%3E%7B%22%22.join(_row(c)%20for%20c%20in%20ex.CONDITIONS)%7D%3C%2Ftbody%3E%0A%20%20%20%20%3C%2Ftable%3E%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22%0A%20%20%20%20_caption%20%3D%20f%22%22%22%0A%20%20%20%20The%20seven%20conditions%2C%20each%20run%20at%20seeds%20%7Bex.SEEDS%7D%20%E2%80%94%20%7Blen(ex.CONDITIONS)%20*%20len(ex.SEEDS)%7D%0A%20%20%20%20runs.%20The%20four%20factorial%20conditions%20share%20%CE%BB%3Csub%3Ea%3C%2Fsub%3E%20%3D%20%7Bex.SCORING_LAMBDA%3Ag%7D%20and%20carry%20the%20H2%0A%20%20%20%20and%20H3%20gates%3B%20the%20two%20arms%20add%20none%20of%20their%20own%2C%20though%20H1%20and%20H4%20reach%20them%20by%20their%0A%20%20%20%20stated%20scopes%20%E2%80%94%20the%20timing%20arm%20is%20a%20%CE%BB%3Csub%3Ea%3C%2Fsub%3E%20%3D%20%7Bex.SCORING_LAMBDA%3Ag%7D%20anti%20condition%2C%0A%20%20%20%20and%20H4(b)%20covers%20every%20anchored%20run.%20%CE%BB%3Csub%3Es%CC%84%3C%2Fsub%3E%2F%CE%BB%3Csub%3Ea%3C%2Fsub%3E%20is%0A%20%20%20%20the%20anti-subspace%20weight%20relative%20to%20the%20anchor%20peak.%0A%20%20%20%20%22%22%22%0A%20%20%20%20mo.Html(figure_html(_table%2C%20caption%3D_caption%2C%20class_%3D%22report-figure%22))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20_epochs%20%3D%20np.linspace(0%2C%20100%2C%201001)%0A%0A%20%20%20%20%40themed(%0A%20%20%20%20%20%20%20%20name%3D%22schedules%22%2C%0A%20%20%20%20%20%20%20%20alt_text%3D%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20Weight%20schedules%20over%20100%20epochs%20on%20a%20log%20axis.%20The%20learning%20rate%20warms%20up%0A%20%20%20%20%20%20%20%20%20%20%20%20by%20epoch%2010%20and%20decays%20smoothly.%20The%20anchor%20weight%20ramps%20up%20with%20the%20warmup%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20holds%20at%200.1%2C%20and%20anneals%20to%20a%20floor%20after%20epoch%2090.%20The%20anti-subspace%0A%20%20%20%20%20%20%20%20%20%20%20%20weight%20starts%20at%200.25%20%E2%80%94%20above%20everything%20else%20%E2%80%94%20and%20descends%20to%200.003%20by%0A%20%20%20%20%20%20%20%20%20%20%20%20epoch%2050%2C%20where%20it%20holds%3B%20a%20dashed%20variant%20descends%20to%20the%20same%20level%20by%0A%20%20%20%20%20%20%20%20%20%20%20%20epoch%2090%20instead.%0A%20%20%20%20%20%20%20%20%22%22%22%2C%0A%20%20%20%20%20%20%20%20caption%3Df%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20three%20schedules%20at%20the%20scoring%20rung%20(%CE%BB%3Csub%3Ea%3C%2Fsub%3E%20%3D%20%7Bex.SCORING_LAMBDA%3Ag%7D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20log%20scale.%20The%20anti-subspace%20term%20opens%20at%20%7Bex.ANTI_PEAK_RATIO%3Ag%7D%CE%BB%3Csub%3Ea%3C%2Fsub%3E%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20dominant%20before%20the%20anchor%20arrives%2C%20and%20anneals%20to%0A%20%20%20%20%20%20%20%20%20%20%20%20%7Bex.ANTI_HOLD_RATIO%3Ag%7D%CE%BB%3Csub%3Ea%3C%2Fsub%3E%20by%20epoch%20%7Bex.ANTI_ANNEAL_END%3Ag%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20(the%20M1%2Fex-2.9.1%20keyframes%2C%20mapped%20by%20fraction%20of%20training).%20The%0A%20%20%20%20%20%20%20%20%20%20%20%20dashed%20line%20is%20the%20%60span-anti-late%60%20arm%2C%20which%20reaches%20the%20hold%0A%20%20%20%20%20%20%20%20%20%20%20%20ratio%20at%20epoch%20%7Bex.ANTI_ANNEAL_END_LATE%3Ag%7D%20instead.%20From%20epoch%0A%20%20%20%20%20%20%20%20%20%20%20%20%7Bex.ANNEAL_START%3Ag%7D%20the%20anchor%20and%20anti-subspace%20weights%20share%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20end-of-training%20anneal%20to%20a%20floor%20of%20%7Bex.ANNEAL_FLOOR%3Ag%7D%C3%97%20their%20held%0A%20%20%20%20%20%20%20%20%20%20%20%20values.%0A%20%20%20%20%20%20%20%20%22%22%22%2C%0A%20%20%20%20)%0A%20%20%20%20def%20_plot()%20-%3E%20plt.Figure%3A%0A%20%20%20%20%20%20%20%20fig%2C%20ax%20%3D%20plt.subplots(figsize%3D(6.4%2C%203.2))%0A%20%20%20%20%20%20%20%20lam%20%3D%20ex.SCORING_LAMBDA%0A%20%20%20%20%20%20%20%20_grey%20%3D%20light_dark(%22%23888%22%2C%20%22%23888%22)%0A%20%20%20%20%20%20%20%20ax.plot(_epochs%2C%20ex.learning_rate(_epochs)%2C%20color%3D_grey%2C%20lw%3D1%2C%20label%3D%22learning%20rate%22)%0A%20%20%20%20%20%20%20%20ax.plot(%0A%20%20%20%20%20%20%20%20%20%20%20%20_epochs%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20ex.anchor_weight(_epochs%2C%20peak%3Dlam)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dlight_dark(%22%23c33%22%2C%20%22%23e66%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20lw%3D1.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3Dr%22anchor%20%24%5Clambda_%5Cmathrm%7Ba%7D%24%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20ax.plot(%0A%20%20%20%20%20%20%20%20%20%20%20%20_epochs%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20ex.anti_subspace_weight(_epochs%2C%20lam%3Dlam)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dlight_dark(%22%2336c%22%2C%20%22%237af%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20lw%3D1.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3Dr%22anti-subspace%20%24%5Clambda_%7B%5Cbar%7B%5Cmathrm%7Bs%7D%7D%7D%24%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20ax.plot(%0A%20%20%20%20%20%20%20%20%20%20%20%20_epochs%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20ex.anti_subspace_weight(_epochs%2C%20lam%3Dlam%2C%20anneal_end%3Dex.ANTI_ANNEAL_END_LATE)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dlight_dark(%22%2336c%22%2C%20%22%237af%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20lw%3D1.2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20ls%3D(0%2C%20(4%2C%203))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3Dr%22%24%5Clambda_%7B%5Cbar%7B%5Cmathrm%7Bs%7D%7D%7D%24%2C%20late%20arm%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20ax.set_yscale(%22log%22)%0A%20%20%20%20%20%20%20%20ax.set_xlim(0%2C%20100)%0A%20%20%20%20%20%20%20%20ax.set_ylim(1e-4%2C%200.4)%0A%20%20%20%20%20%20%20%20ax.set_xlabel(%22epoch%22)%0A%20%20%20%20%20%20%20%20ax.set_ylabel(%22weight%22)%0A%20%20%20%20%20%20%20%20ax.legend(loc%3D%22lower%20left%22%2C%20fontsize%3D8%2C%20frameon%3DFalse)%0A%20%20%20%20%20%20%20%20return%20fig%0A%0A%20%20%20%20mo.Html(_plot())%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20%23%20REVIEW%3A%20H4(a)'s%20low-end%20reference%20was%20%22%E2%89%88%201%2F8%20for%20an%20isotropic%20cloud%22.%201%2F8%20is%0A%20%20%20%20%23%20the%20spread%20of%20a%20single%20cosine%20in%20d64%20(ex-2.1.6%20uses%20it%20that%20way%20to%20derive%20the%0A%20%20%20%20%23%200.056%20noise%20floor)%2C%20not%20the%20value%20this%20statistic%20takes%20without%20an%20anchor%3A%0A%20%20%20%20%23%20alpha-bar%20averages%20over%20216%20colors%20and%205%20layers%2C%20and%20ex-2.1.6's%20control%0A%20%20%20%20%23%20measured%200.008%20(seeds%3A%200.019%2C%20-0.015%2C%200.021).%20Replaced%20with%20the%20measured%0A%20%20%20%20%23%20control%20value.%20Verify%3A%20ex-2.1.6%20metrics%2C%20%60alpha_mean_op1%60%20on%20the%20lam0%20cells.%0A%20%20%20%20%23%20The%20gate%20was%20subsequently%20tightened%20to%200.1%20(near-control%20containment)%2C%0A%20%20%20%20%23%20with%20the%20old%200.25%20halving%20level%20kept%20as%20a%20named%20partial.%0A%20%20%20%20%23%0A%20%20%20%20%23%20REVIEW%3A%20H3's%20%22about%204%C3%97%20the%20three-seed%20noise%20floor%22%20is%203%C3%97%3A%200.1%20%2F%200.032.%20A%20main%0A%20%20%20%20%23%20effect%20is%20a%20difference%20of%20two%20two-condition%20means%2C%20so%20its%20noise%20is%20about%20the%20same%0A%20%20%20%20%23%200.032%20as%20a%20single%20seed-mean%20(0.032%2Fsqrt(2)%20per%20side%2C%20combined%20in%20quadrature).%0A%20%20%20%20%23%20Corrected%20in%20the%20text%20and%20in%20%60MAIN_EFFECT_GATE%60%3B%20the%20gate%20value%20is%20unchanged.%0A%20%20%20%20%23%0A%20%20%20%20%23%20REVIEW%3A%20added%20the%20both-effects-clear%20ordering%20to%20H3's%20contrary%20readings.%0A%20%20%20%20%23%20The%20gate%20is%20a%20conjunction%20(anti%20effect%20%3E%3D%200.1%20and%20%3E%3D%20the%20op1%20effect)%2C%20so%0A%20%20%20%20%23%20the%20case%20where%20both%20clear%200.1%20with%20op1-only%20larger%20failed%20H3%20without%20a%0A%20%20%20%20%23%20named%20reading%2C%20and%20the%20analysis%20section%20claimed%20all%20four%20orderings%20were%0A%20%20%20%20%23%20named.%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Hypotheses%0A%0A%20%20%20%20Gates%20carry%20over%20from%20ex-2.1.6%20with%20their%20thresholds%20and%20rationale%2C%20as%20do%20its%20noise%20floors%20(margin%20%E2%89%88%200.056%20per%20seed%2C%20%E2%89%88%200.032%20on%20a%20three-seed%20mean)%3A%20same%20architecture%2C%20same%20measurement.%20Unless%20stated%20otherwise%2C%20results%20are%20reported%20on%20%60span-anti%60%20(seed-averaged)%2C%20the%20condition%20the%20ex-2.1.6%20discussion%20named%20as%20the%20next%20experiment.%0A%0A%20%20%20%20**H1.**%20The%20added%20term%20and%20the%20resulting%20narrower%20pull%20are%20as%20free%20as%20the%20lone%20anchor%20was%3A%20every%20%24%5Clambda_%5Ctext%7Ba%7D%20%3D%200.1%24%20condition%20(the%20four%20factorial%20conditions%20and%20the%20timing%20arm)%20is%20task-clean%2C%20meaning%20%60named_holdout%60%20exact%20match%20within%200.02%20(absolute)%20of%20the%20seed%20mean%20of%20the%20in-experiment%20control.%20Partial%3A%20the%20factorial%20is%20clean%20but%20the%20timing%20arm%20is%20not%2C%20which%20would%20itself%20be%20evidence%20that%20sustained%20repulsion%20has%20a%20price.%0A%0A%20%20%20%20**H2.**%20With%20the%20missing%20ingredient%20restored%2C%20the%20concept%20lands%20selectively.%20On%20some%20task-clean%20factorial%20condition%3A%20(a)%20the%20layer-mean%20margin%20at%20op1%20reaches%20%24m_%7B%5Ctext%7Bop1%7D%7D%20%5Cge%200.5%24%3B%20(b)%20the%20response%20is%20graded%2C%20meaning%20that%20over%20the%20216%20colors%2C%20the%20seed-mean%20layer-mean%20alignment%20at%20op1%20clears%20Spearman%20%24%5Crho%20%5Cge%200.8%24%20against%20%60redness%60%20or%20Pearson%20%24R%5E2%20%5Cge%200.8%24%20against%20%60sim%C2%B9%C2%B7%E2%81%B5%60%20(both%20tracks%2C%20thresholds%2C%20and%20step%20ceilings%20as%20justified%20at%20length%20in%20ex-2.1.6)%3B%20(c)%20the%20control%20shows%20%24%7Cm_%7B%5Ctext%7Bop1%7D%7D%7C%20%5Cle%200.1%24.%20Partial%3A%20some%20condition%20clears%200.35%20without%20reaching%200.5%3B%200.35%20is%20above%20the%20ex-2.1.6%20value%20of%200.27%20by%20more%20than%20the%20seed-mean%20noise.%5B%5Eh2max%5D%0A%0A%20%20%20%20**H3.**%20The%20margin%20failure%20in%20ex-2.1.6%20was%20mostly%20the%20missing%20repulsion%2C%20not%20the%20blind%20span.%20This%20is%20scored%20on%20the%20main%20effects%20of%20the%20factorial%20on%20%24m_%7B%5Ctext%7Bop1%7D%7D%24%20(for%20each%20factor%3A%20the%20mean%20over%20its%20two%20conditions%2C%20differenced)%3A%20the%20anti-subspace%20main%20effect%20is%20at%20least%200.1%20and%20at%20least%20as%20large%20as%20the%20op1-only%20main%20effect.%5B%5Eh3noise%5D%20Two%20outcomes%20that%20fail%20H3%20are%20named%20in%20advance%20so%20a%20miss%20stays%20readable%3B%20unlike%20the%20partials%20elsewhere%2C%20they%20are%20contrary%20readings%20rather%20than%20weaker%20passes.%20The%20op1-only%20effect%20clears%200.1%20and%20is%20the%20larger%20of%20the%20two%2C%20which%20reads%20as%20the%20blind-span%20interpretation%20of%20ex-2.1.6%20was%20correct%20(whether%20or%20not%20the%20anti-subspace%20effect%20also%20clears%20it)%3B%20or%20neither%20main%20effect%20clears%200.1%20but%20the%20%60op1-anti%60%20condition%20alone%20does%20(an%20interaction%3A%20each%20mechanism%20blocks%20the%20margin%20on%20its%20own).%0A%0A%20%20%20%20**H4.**%20The%20repulsive%20term%20visibly%20does%20its%20two%20jobs%3A%20it%20keeps%20the%20cube%20as%20a%20whole%20off%20the%20axis%2C%20and%20the%20margin%20holds%20its%20early%20peak%20instead%20of%20sliding%20back.%0A%20%20%20%20(a)%20Containment%3A%20in%20every%20anti%20condition%20at%20%24%5Clambda_%5Ctext%7Ba%7D%20%3D%200.1%24%2C%20the%20end-of-training%20mean%20alignment%20over%20all%20colors%20at%20op1%20satisfies%20%24%5Cbar%5Calpha%20%5Cle%200.1%24.%5B%5Eh4gate%5D%0A%20%20%20%20(b)%20Retention%3A%20the%20ex-2.1.6%20trajectory%20gate%2C%20unchanged%3A%20for%20every%20anchored%20run%20whose%20running%20maximum%20of%20%24m_%7B%5Ctext%7Bop1%7D%7D%24%20reaches%200.2%2C%20the%20final%20value%20is%20at%20least%200.8%C3%97%20that%20maximum.%5B%5Eh4slide%5D%20Partials%2C%20in%20decreasing%20strength%3A%20every%20anti%20condition%20clears%20the%20old%20halving%20level%20%24%5Cbar%5Calpha%20%5Cle%200.25%24%20without%20all%20reaching%200.1%2C%20which%20reads%20as%20repulsion%20weakening%20the%20runaway%20without%20containing%20it%3B%20or%20(a)%20holds%20and%20(b)%20fails%20only%20in%20the%20timing%20arm%2C%20whose%20sustained%20repulsion%20changes%20the%20trajectory%20most.%0A%0A%20%20%20%20%5B%5Eh2max%5D%3A%20One%20caution%3A%20%22some%20condition%22%20takes%20a%20maximum%20over%20the%20four%20factorial%20conditions%2C%20and%20the%20maximum%20of%20four%20noisy%20means%20sits%20about%20one%20noise%20unit%20above%20any%20single%20one.%20So%20a%20bare-partial%20result%20resting%20on%20exactly%20one%20condition%20at%200.35%20is%20weaker%20than%20the%20same%20number%20on%20the%20pre-named%20primary%20condition.%0A%0A%20%20%20%20%5B%5Eh3noise%5D%3A%20A%20main%20effect%20is%20a%20difference%20of%20two-condition%20means%2C%20so%20its%20noise%20is%20about%20the%20three-seed%20floor%20of%200.032%2C%20and%200.1%20is%20about%203%C3%97%20that.%0A%0A%20%20%20%20%5B%5Eh4gate%5D%3A%20Why%200.1%3A%20the%20ex-2.1.6%20reference%20points%20are%200.53%20for%20the%20bare%20term%20and%200.008%20for%20the%20control%2C%20with%20a%20seed%20spread%20of%20about%200.02.%20Working%20repulsion%20should%20push%20%24%5Cbar%5Calpha%24%20to%20near-control%20levels%3B%200.1%20is%20a%20fifth%20of%20the%20bare%20term%20and%20still%20five%20noise%20units%20above%20control%2C%20so%20a%20working%20mechanism%20passes%20comfortably%20and%20a%20merely-weakened%20runaway%20does%20not.%0A%0A%20%20%20%20%5B%5Eh4slide%5D%3A%20In%20ex-2.1.6%20the%20margin%20peaked%20near%20epoch%2010%20and%20slid%20back%20a%20quarter%20under%20steady%20pressure.%20If%20the%20slide%20was%20the%20rest%20of%20the%20cube%20catching%20up%20to%20a%20selective%20early%20response%2C%20repulsion%20should%20hold%20the%20peak.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20_res%20%3D%20load_results()%0A%20%20%20%20mo.stop(_res%20is%20None%2C%20mo.md(%22_Results%20are%20not%20published%20yet%3B%20the%20analysis%20cells%20below%20render%20once%20they%20are._%22))%0A%20%20%20%20assert%20_res%20is%20not%20None%0A%20%20%20%20metrics%2C%20arrays%20%3D%20_res%0A%20%20%20%20cells%20%3D%20%7Bc%5B%22label%22%5D%3A%20c%20for%20c%20in%20metrics%5B%22cells%22%5D%7D%0A%20%20%20%20stats%20%3D%20metrics%5B%22corpus_stats%22%5D%0A%0A%20%20%20%20CONDS%3A%20list%5Bstr%5D%20%3D%20%5Bc%5B%22name%22%5D%20for%20c%20in%20ex.CONDITIONS%5D%0A%20%20%20%20ANCHORED%20%3D%20%5Bc%20for%20c%20in%20CONDS%20if%20c%20!%3D%20%22lam0%22%5D%0A%20%20%20%20%23%20Matplotlib%20titles%20render%20LaTeX%3B%20an%20authored%20HTML%20table%20does%20not%2C%20so%20each%0A%20%20%20%20%23%20condition%20carries%20a%20plain-text%20label%20as%20well%20as%20a%20marked-up%20one.%0A%20%20%20%20LABELS%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22lam0%22%3A%20r%22control%22%2C%0A%20%20%20%20%20%20%20%20%22span-bare%22%3A%20r%22span%20%24%5Ccdot%24%20bare%22%2C%0A%20%20%20%20%20%20%20%20%22span-anti%22%3A%20r%22span%20%24%5Ccdot%24%20anti%22%2C%0A%20%20%20%20%20%20%20%20%22op1-bare%22%3A%20r%22op1%20%24%5Ccdot%24%20bare%22%2C%0A%20%20%20%20%20%20%20%20%22op1-anti%22%3A%20r%22op1%20%24%5Ccdot%24%20anti%22%2C%0A%20%20%20%20%20%20%20%20%22span-anti-late%22%3A%20r%22late%20arm%22%2C%0A%20%20%20%20%20%20%20%20%22span-anti-hi%22%3A%20r%22ceiling%20arm%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20LABELS_TXT%20%3D%20%7Bk%3A%20v.replace(r%22%24%5Ccdot%24%22%2C%20%22%C2%B7%22)%20for%20k%2C%20v%20in%20LABELS.items()%7D%0A%0A%20%20%20%20def%20over_seeds(cond%3A%20str%2C%20fn)%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20%22%22%22One%20value%20per%20seed%20for%20a%20condition%2C%20in%20seed%20order.%22%22%22%0A%20%20%20%20%20%20%20%20return%20np.array(%5Bfn(cells%5Bf%22%7Bcond%7D-s%7Bs%7D%22%5D)%20for%20s%20in%20ex.SEEDS%5D)%0A%0A%20%20%20%20def%20acc(cond%3A%20str%2C%20set_name%3A%20str%20%3D%20%22named_holdout%22%2C%20key%3A%20str%20%3D%20%22accuracy%22)%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20return%20over_seeds(cond%2C%20lambda%20c%3A%20c%5B%22sets%22%5D%5Bset_name%5D%5Bkey%5D)%0A%0A%20%20%20%20def%20alpha_map(cond%3A%20str)%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20%22%22%22Seed-mean%20alignment%20map%20for%20a%20condition%3A%20(layers%2C%20colors%2C%20positions).%22%22%22%0A%20%20%20%20%20%20%20%20return%20np.mean(%5Barrays%5Bf%22%7Bcond%7D-s%7Bs%7D%2Falpha%22%5D%20for%20s%20in%20ex.SEEDS%5D%2C%20axis%3D0)%0A%0A%20%20%20%20def%20margin_map(cond%3A%20str)%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20%22%22%22Seed-mean%20margin%20map%3A%20(layers%2C%20positions).%22%22%22%0A%20%20%20%20%20%20%20%20return%20np.mean(%5Barrays%5Bf%22%7Bcond%7D-s%7Bs%7D%2Fmargin%22%5D%20for%20s%20in%20ex.SEEDS%5D%2C%20axis%3D0)%0A%0A%20%20%20%20def%20m_op1(cond%3A%20str)%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20%22%22%22Per-seed%20layer-mean%20margin%20at%20op1%20%E2%80%94%20the%20statistic%20H2(a)%2C%20H3%20and%20H4%20read.%22%22%22%0A%20%20%20%20%20%20%20%20return%20over_seeds(cond%2C%20lambda%20c%3A%20c%5B%22m_op1%22%5D)%0A%0A%20%20%20%20def%20alpha_bar(cond%3A%20str)%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20%22%22%22Per-seed%20mean%20alignment%20over%20all%20216%20colors%20at%20op1%20%E2%80%94%20H4(a)'s%20containment%20statistic.%22%22%22%0A%20%20%20%20%20%20%20%20return%20over_seeds(cond%2C%20lambda%20c%3A%20c%5B%22alpha_mean_op1%22%5D)%0A%0A%20%20%20%20def%20traj(cond%3A%20str%2C%20seed%3A%20int%2C%20key%3A%20str)%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20return%20np.asarray(cells%5Bf%22%7Bcond%7D-s%7Bseed%7D%22%5D%5B%22traj%22%5D%5Bkey%5D%2C%20dtype%3Dfloat)%0A%0A%20%20%20%20def%20grading(cond%3A%20str)%20-%3E%20tuple%5Bnp.ndarray%2C%20float%2C%20float%5D%3A%0A%20%20%20%20%20%20%20%20%22%22%22The%20per-color%20response%20at%20op1%20(seed-mean%2C%20layer-mean)%20with%20its%20two%20H2(b)%20statistics.%22%22%22%0A%20%20%20%20%20%20%20%20a%20%3D%20alpha_map(cond)%5B%3A%2C%20%3A%2C%200%5D.mean(axis%3D0)%0A%20%20%20%20%20%20%20%20return%20a%2C%20ex.spearman(a%2C%20ex.REDNESS)%2C%20ex.r2_sim(a)%0A%0A%20%20%20%20CONTROL_ACC%20%3D%20float(acc(%22lam0%22).mean())%0A%20%20%20%20TASK_CLEAN%20%3D%20%7Bc%3A%20bool(abs(acc(c).mean()%20-%20CONTROL_ACC)%20%3C%3D%20ex.TASK_GATE)%20for%20c%20in%20CONDS%7D%0A%20%20%20%20geometry%20%3D%20load_geometry()%20or%20%7B%7D%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20ANCHORED%2C%0A%20%20%20%20%20%20%20%20CONDS%2C%0A%20%20%20%20%20%20%20%20CONTROL_ACC%2C%0A%20%20%20%20%20%20%20%20LABELS%2C%0A%20%20%20%20%20%20%20%20LABELS_TXT%2C%0A%20%20%20%20%20%20%20%20TASK_CLEAN%2C%0A%20%20%20%20%20%20%20%20acc%2C%0A%20%20%20%20%20%20%20%20alpha_bar%2C%0A%20%20%20%20%20%20%20%20arrays%2C%0A%20%20%20%20%20%20%20%20cells%2C%0A%20%20%20%20%20%20%20%20geometry%2C%0A%20%20%20%20%20%20%20%20grading%2C%0A%20%20%20%20%20%20%20%20m_op1%2C%0A%20%20%20%20%20%20%20%20margin_map%2C%0A%20%20%20%20%20%20%20%20stats%2C%0A%20%20%20%20%20%20%20%20traj%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Task%20cost%20(H1)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(CONDS%3A%20list%5Bstr%5D%2C%20CONTROL_ACC%2C%20LABELS_TXT%2C%20TASK_CLEAN%2C%20acc)%3A%0A%20%20%20%20%23%20Two%20external%20references%2C%20both%20published%3A%20ex-2.1.3's%20v216%20condition%20(the%0A%20%20%20%20%23%20un-anchored%20testbed%20this%20is%20all%20built%20on)%20and%20ex-2.1.6's%20%CE%BB%3D0.1%20condition%2C%20which%0A%20%20%20%20%23%20%60span-bare%60%20re-runs.%20Neither%20belongs%20to%20this%20sweep.%0A%20%20%20%20_REFS%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22ex-2.1.3%20%3Ccode%3Ev216%3C%2Fcode%3E%22%2C%20%7B%22seen%22%3A%201.000%2C%20%22hold%22%3A%200.9948%2C%20%22nll%22%3A%200.0245%2C%20%22open%22%3A%200.1414%7D)%2C%0A%20%20%20%20%20%20%20%20(%22ex-2.1.6%20%CE%BB%3Csub%3Ea%3C%2Fsub%3E%20%3D%200.1%22%2C%20%7B%22seen%22%3A%201.000%2C%20%22hold%22%3A%200.9974%2C%20%22nll%22%3A%200.0167%2C%20%22open%22%3A%200.1295%7D)%2C%0A%20%20%20%20%5D%0A%0A%20%20%20%20def%20_cell(cond%3A%20str%2C%20set_name%3A%20str%2C%20key%3A%20str%2C%20fmt%3A%20str%20%3D%20%22%7B%3A.3f%7D%22)%20-%3E%20str%3A%0A%20%20%20%20%20%20%20%20v%20%3D%20acc(cond%2C%20set_name%2C%20key)%0A%20%20%20%20%20%20%20%20return%20f%22%7Bfmt.format(v.mean())%7D%20%3Cspan%20class%3D'range'%3E%C2%B1%7B(v.max()%20-%20v.min())%20%2F%202%3A.3f%7D%3C%2Fspan%3E%22%0A%0A%20%20%20%20_rows%20%3D%20%22%22.join(%0A%20%20%20%20%20%20%20%20f%22%3Ctr%3E%3Cth%3E%7BLABELS_TXT%5Bc%5D%7D%3C%2Fth%3E%22%0A%20%20%20%20%20%20%20%20f%22%3Ctd%20class%3D'num'%3E%7B_cell(c%2C%20'named_seen'%2C%20'accuracy')%7D%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20f%22%3Ctd%20class%3D'num'%3E%7B_cell(c%2C%20'named_holdout'%2C%20'accuracy')%7D%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20f%22%3Ctd%20class%3D'num'%3E%7B_cell(c%2C%20'named_holdout'%2C%20'nll')%7D%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20f%22%3Ctd%20class%3D'num'%3E%7B_cell(c%2C%20'open'%2C%20'guess_dist')%7D%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20f%22%3Ctd%20class%3D'num'%3E%7Bacc(c).mean()%20-%20CONTROL_ACC%3A%2B.3f%7D%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20f%22%3Ctd%3E%7B'clean'%20if%20TASK_CLEAN%5Bc%5D%20else%20'not%20clean'%7D%3C%2Ftd%3E%3C%2Ftr%3E%22%0A%20%20%20%20%20%20%20%20for%20c%20in%20CONDS%0A%20%20%20%20)%0A%20%20%20%20_ref_rows%20%3D%20%22%22.join(%0A%20%20%20%20%20%20%20%20f%22%3Ctr%20class%3D'ref'%3E%3Cth%3E%7Bname%7D%3C%2Fth%3E%22%0A%20%20%20%20%20%20%20%20f%22%3Ctd%20class%3D'num'%3E%7Br%5B'seen'%5D%3A.3f%7D%3C%2Ftd%3E%3Ctd%20class%3D'num'%3E%7Br%5B'hold'%5D%3A.3f%7D%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20f%22%3Ctd%20class%3D'num'%3E%7Br%5B'nll'%5D%3A.3f%7D%3C%2Ftd%3E%3Ctd%20class%3D'num'%3E%7Br%5B'open'%5D%3A.3f%7D%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20f%22%3Ctd%20class%3D'num'%3E%E2%80%94%3C%2Ftd%3E%3Ctd%3Ereference%3C%2Ftd%3E%3C%2Ftr%3E%22%0A%20%20%20%20%20%20%20%20for%20name%2C%20r%20in%20_REFS%0A%20%20%20%20)%0A%20%20%20%20_table%20%3D%20f%22%22%22%0A%20%20%20%20%3Cdiv%20class%3D%22report-table-scroll%22%3E%3Ctable%20class%3D%22report-table%22%3E%0A%20%20%20%20%20%20%3Cthead%3E%3Ctr%3E%0A%20%20%20%20%20%20%20%20%3Cth%3Econdition%3C%2Fth%3E%3Cth%20class%3D%22num%22%3Eseen%20EM%3C%2Fth%3E%3Cth%20class%3D%22num%22%3Eholdout%20EM%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%3Cth%20class%3D%22num%22%3Eholdout%20NLL%3C%2Fth%3E%3Cth%20class%3D%22num%22%3E%3Ccode%3Eopen%3C%2Fcode%3E%20dist%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%3Cth%20class%3D%22num%22%3E%CE%94%20holdout%20EM%3C%2Fth%3E%3Cth%3EH1%20gate%3C%2Fth%3E%0A%20%20%20%20%20%20%3C%2Ftr%3E%3C%2Fthead%3E%0A%20%20%20%20%20%20%3Ctbody%3E%7B_ref_rows%7D%7B_rows%7D%3C%2Ftbody%3E%0A%20%20%20%20%3C%2Ftable%3E%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22%0A%20%20%20%20_caption%20%3D%20f%22%22%22%0A%20%20%20%20Behavior%20by%20condition.%20Each%20cell%20is%20the%20seed%20mean%2C%20with%20half%20the%20seed%20range%0A%20%20%20%20beside%20it.%20EM%20is%20exact%20match%20on%20the%20answer%20token.%20NLL%20is%20the%20surprise%20of%0A%20%20%20%20that%20token%20in%20nats.%20%3Ccode%3Eopen%3C%2Fcode%3E%20dist%20is%20the%20RGB%20distance%20from%20the%0A%20%20%20%20guessed%20color%20to%20the%20true%20mix%2C%20on%20pairs%20with%20no%20named%20answer.%20%CE%94%20holdout%20EM%0A%20%20%20%20is%20the%20signed%20gap%20to%20the%20in-experiment%20control%2C%20and%20the%20last%20column%20reports%0A%20%20%20%20the%20H1%20gate%2C%20which%20passes%20when%20that%20gap%20is%20within%20%7Bex.TASK_GATE%3Ag%7D.%20The%20two%0A%20%20%20%20top%20rows%20are%20published%20conditions%20from%20earlier%20experiments%2C%20shown%20for%20comparison.%0A%20%20%20%20%22%22%22%0A%20%20%20%20mo.Html(figure_html(_table%2C%20caption%3D_caption%2C%20class_%3D%22report-figure%22))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(CONDS%3A%20list%5Bstr%5D%2C%20CONTROL_ACC%2C%20acc%2C%20stats)%3A%0A%20%20%20%20mo.md(rf%22%22%22%0A%20%20%20%20**H1%20holds%20everywhere%2C%20with%20two%20orders%20of%20magnitude%20to%20spare.**%20On%20%60named_holdout%60%20exact%20match%2C%20the%20largest%20gap%20between%20any%20condition%20and%20the%20control%20is%20%7Bmax(abs(acc(c).mean()%20-%20CONTROL_ACC)%20for%20c%20in%20CONDS)%3A.4f%7D.%20The%20gate%20allows%20up%20to%20%7Bex.TASK_GATE%3Ag%7D%3B%20the%20observed%20gap%20amounts%20to%20a%20single%20example%20out%20of%20%7Bstats%5B%22eval_n%22%5D%5B%22named_holdout%22%5D%7D.%20Seen%20pairs%20are%20at%201.000%20in%20every%20condition.%20So%20neither%20the%20repulsive%20term%20nor%20the%20narrower%20pull%20has%20any%20measurable%20cost%20to%20the%20task.%20The%20partial%20outcome%20we%20planned%20for%2C%20where%20the%20factorial%20arms%20pass%20but%20the%20timing%20arm%20does%20not%2C%20did%20not%20arise%3A%20the%20timing%20arm%20is%20one%20of%20the%20conditions%20tied%20with%20the%20control.%0A%0A%20%20%20%20The%20finer%20scoring%20agrees.%20Answer%20NLL%20(the%20model's%20surprise%20at%20the%20correct%20token%2C%20in%20nats)%20stays%20between%20%7Bmin(acc(c%2C%20%22named_holdout%22%2C%20%22nll%22).mean()%20for%20c%20in%20CONDS)%3A.3f%7D%20and%20%7Bmax(acc(c%2C%20%22named_holdout%22%2C%20%22nll%22).mean()%20for%20c%20in%20CONDS)%3A.3f%7D%20with%20no%20ordering%20by%20condition.%20The%20%60open%60-pair%20distances%20cluster%20near%20%7Bnp.mean(%5Bacc(c%2C%20%22open%22%2C%20%22guess_dist%22).mean()%20for%20c%20in%20CONDS%5D)%3A.3f%7D%2C%20and%20the%20spread%20from%20best%20to%20worst%20condition%20is%20only%20%7Bmax(acc(c%2C%20%22open%22%2C%20%22guess_dist%22).mean()%20for%20c%20in%20CONDS)%20-%20min(acc(c%2C%20%22open%22%2C%20%22guess_dist%22).mean()%20for%20c%20in%20CONDS)%3A.3f%7D.%5B%5Eopen-good%5D%0A%0A%20%20%20%20%5B%5Eopen-good%5D%3A%20How%20good%20is%20that%20%60open%60-pair%20number%20in%20absolute%20terms%3F%20Not%20very%2C%20though%20the%0A%20%20%20%20shortfall%20has%20nothing%20to%20do%20with%20the%20anchor.%20The%20floor%20(the%20best%20score%20any%20guesser%20could%20reach)%20is%20%7Bstats%5B%22nulls%22%5D%5B%22open%22%5D%5B%22floor_dist%22%5D%3A.3f%7D%2C%20and%20a%20guesser%20that%20flips%20a%20coin%20between%20the%20two%20names%20bracketing%20the%20true%20mix%20scores%20%7Bstats%5B%22nulls%22%5D%5B%22open%22%5D%5B%22k2%22%5D%5B%22dist%22%5D%3A.3f%7D.%20At%20%7Bnp.mean(%5Bacc(c%2C%20%22open%22%2C%20%22guess_dist%22).mean()%20for%20c%20in%20CONDS%5D)%3A.3f%7D%2C%20these%20models%20are%20*worse*%20than%20that%20coin-flip%20guesser%3A%20they%20pick%20the%20nearest%20name%20about%20%7Bnp.mean(%5Bacc(c%2C%20%22open%22%2C%20%22nearest_acc%22).mean()%20for%20c%20in%20CONDS%5D)%3A.0%25%7D%20of%20the%20time%2C%20versus%20its%2050%25.%20But%20they%20are%20far%20better%20than%20the%20%7Bstats%5B%22nulls%22%5D%5B%22open%22%5D%5B%22blind%22%5D%5B%22dist%22%5D%3A.3f%7D%20of%20a%20guesser%20that%20ignores%20the%20prompt.%20So%20the%20models%20do%20read%20the%20color%3B%20what%20is%20imperfect%20is%20the%20last%20step%2C%20choosing%20between%20two%20adjacent%20names.%20That%20is%20a%20property%20of%20the%20%60v216%60%20testbed%2C%20not%20of%20anchoring%3A%20the%20control%20sits%20at%20%7Bacc(%22lam0%22%2C%20%22open%22%2C%20%22guess_dist%22).mean()%3A.3f%7D%2C%20right%20alongside%20the%20anchored%20conditions.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Selectivity%20(H2)%0A%0A%20%20%20%20Both%20factors%20(the%20repulsive%20term%20and%20the%20narrower%20pull)%20increase%20the%20margin%20substantially.%20The%20figure%20below%20shows%20the%20statistic%20that%20H2(a)%20scores%2C%20for%20every%20condition%2C%20alongside%20the%20published%20ex-2.1.6%20value%20for%20the%20same%20pull.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(CONDS%3A%20list%5Bstr%5D%2C%20LABELS%2C%20m_op1)%3A%0A%20%20%20%20_EX216_MARGIN%20%3D%200.2732%20%20%23%20the%20published%20ex-2.1.6%20%CE%BB%3D0.1%20value%20%60span-bare%60%20re-runs%0A%20%20%20%20_m%3A%20dict%5Bstr%2C%20np.ndarray%5D%20%3D%20%7Bc%3A%20m_op1(c)%20for%20c%20in%20CONDS%7D%0A%0A%20%20%20%20%40themed(%0A%20%20%20%20%20%20%20%20name%3D%22margin-by-condition%22%2C%0A%20%20%20%20%20%20%20%20alt_text%3D%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20Per-seed%20margin%20at%20op1%20for%20each%20of%20the%20seven%20conditions%2C%20with%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20seed%20mean%20drawn%20as%20a%20bar.%20Reference%20rules%20mark%20the%200.5%20gate%2C%20the%0A%20%20%20%20%20%20%20%20%20%20%20%200.35%20partial%20level%2C%20and%20the%20published%20ex-2.1.6%20value%20of%200.27.%0A%20%20%20%20%20%20%20%20%22%22%22%2C%0A%20%20%20%20%20%20%20%20caption%3Drf%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20statistic%20H2(a)%20scores%3A%20%24m_%7B%7B%5Ctext%7B%7Bop1%7D%7D%7D%7D%24%2C%20the%20layer-mean%0A%20%20%20%20%20%20%20%20%20%20%20%20alignment%20margin%20at%20the%20first%20operand.%20One%20dot%20per%20seed%2C%20with%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20seed%20mean%20as%20the%20heavy%20bar.%20The%20solid%20rule%20is%20the%20H2(a)%20gate%20of%0A%20%20%20%20%20%20%20%20%20%20%20%20%7Bex.MARGIN_GATE%3Ag%7D%20and%20the%20dashed%20rule%20the%20%7B0.35%3Ag%7D%20partial%3B%20the%20dotted%0A%20%20%20%20%20%20%20%20%20%20%20%20rule%20is%20the%20published%20ex-2.1.6%20value%20of%20%7B_EX216_MARGIN%3A.2f%7D%2C%20which%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ccode%3Espan-bare%3C%2Fcode%3E%20condition%20re-runs.%20The%20four%20factorial%0A%20%20%20%20%20%20%20%20%20%20%20%20conditions%20are%20drawn%20solid%2C%20the%20two%20arms%20hollow%2C%20and%20the%20control%20grey.%0A%20%20%20%20%20%20%20%20%22%22%22%2C%0A%20%20%20%20)%0A%20%20%20%20def%20_plot()%20-%3E%20plt.Figure%3A%0A%20%20%20%20%20%20%20%20fig%2C%20ax%20%3D%20plt.subplots(figsize%3D(7.2%2C%203.4))%0A%20%20%20%20%20%20%20%20_ink%20%3D%20dict(zip(CONDS%2C%20light_dark(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%22%23999%22%2C%20%22%23f2b134%22%2C%20%22%23c1332a%22%2C%20%22%23e08a2e%22%2C%20%22%237a2320%22%2C%20%22%233d7ea6%22%2C%20%22%235c3d8f%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%22%23888%22%2C%20%22%23ffcc66%22%2C%20%22%23f0665a%22%2C%20%22%23ffab5e%22%2C%20%22%23b8564d%22%2C%20%22%236ab0d4%22%2C%20%22%23a78bd6%22%5D%2C%0A%20%20%20%20%20%20%20%20)%2C%20strict%3DTrue))%20%20%23%20fmt%3A%20skip%0A%20%20%20%20%20%20%20%20for%20i%2C%20cond%20in%20enumerate(CONDS)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20v%2C%20color%20%3D%20_m%5Bcond%5D%2C%20_ink%5Bcond%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20arm%20%3D%20cond%20in%20(%22span-anti-late%22%2C%20%22span-anti-hi%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.plot(%5Bi%20-%200.28%2C%20i%20%2B%200.28%5D%2C%20%5Bv.mean()%5D%20*%202%2C%20color%3Dcolor%2C%20lw%3D3%2C%20solid_capstyle%3D%22round%22%2C%20zorder%3D3)%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20np.full(len(v)%2C%20i)%2C%20v%2C%20s%3D26%2C%20zorder%3D4%2C%20color%3D%22none%22%20if%20arm%20else%20color%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20edgecolors%3Dcolor%2C%20lw%3D1.4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%20%20%23%20fmt%3A%20skip%0A%20%20%20%20%20%20%20%20_grey%20%3D%20light_dark(%22%23999%22%2C%20%22%23777%22)%0A%20%20%20%20%20%20%20%20ax.axhline(ex.MARGIN_GATE%2C%20color%3D_grey%2C%20lw%3D1.0)%0A%20%20%20%20%20%20%20%20ax.axhline(0.35%2C%20color%3D_grey%2C%20lw%3D0.9%2C%20ls%3D(0%2C%20(4%2C%203)))%0A%20%20%20%20%20%20%20%20ax.axhline(_EX216_MARGIN%2C%20color%3D_grey%2C%20lw%3D0.9%2C%20ls%3D(0%2C%20(1%2C%202)))%0A%20%20%20%20%20%20%20%20ax.axhline(0%2C%20color%3Dlight_dark(%22%23bbb%22%2C%20%22%23555%22)%2C%20lw%3D0.8%2C%20zorder%3D0)%0A%20%20%20%20%20%20%20%20ax.annotate(%22H2(a)%20gate%22%2C%20(len(CONDS)%20-%200.4%2C%20ex.MARGIN_GATE)%2C%20fontsize%3D7.5%2C%20va%3D%22bottom%22%2C%20ha%3D%22right%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3Dlight_dark(%22%23444%22%2C%20%22%23bbb%22))%20%20%23%20fmt%3A%20skip%0A%20%20%20%20%20%20%20%20ax.annotate(%22ex-2.1.6%22%2C%20(len(CONDS)%20-%200.4%2C%20_EX216_MARGIN)%2C%20fontsize%3D7.5%2C%20va%3D%22bottom%22%2C%20ha%3D%22right%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3Dlight_dark(%22%23444%22%2C%20%22%23bbb%22))%20%20%23%20fmt%3A%20skip%0A%20%20%20%20%20%20%20%20ax.set_xticks(range(len(CONDS))%2C%20%5BLABELS%5Bc%5D%20for%20c%20in%20CONDS%5D%2C%20fontsize%3D8.5)%0A%20%20%20%20%20%20%20%20ax.set_xlim(-0.6%2C%20len(CONDS)%20-%200.4)%0A%20%20%20%20%20%20%20%20ax.set_ylabel(r%22%24m_%7B%5Ctext%7Bop1%7D%7D%24%22)%0A%20%20%20%20%20%20%20%20return%20fig%0A%0A%20%20%20%20mo.Html(_plot())%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LABELS%2C%20grading%2C%20m_op1)%3A%0A%20%20%20%20_factorial%3A%20list%5Bstr%5D%20%3D%20list(ex.FACTORIAL)%0A%20%20%20%20_resp%3A%20dict%5Bstr%2C%20tuple%5Bnp.ndarray%2C%20float%2C%20float%5D%5D%20%3D%20%7Bc%3A%20grading(c)%20for%20c%20in%20%5B*_factorial%2C%20%22lam0%22%5D%7D%0A%20%20%20%20_order%20%3D%20np.argsort(ex.REDNESS)%0A%0A%20%20%20%20def%20_windowed(y%3A%20np.ndarray%2C%20k%3A%20int%20%3D%2025)%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20%22%22%22Mean%20of%20*y*%20over%20a%20sliding%20window%20of%20the%20redness%20ordering.%22%22%22%0A%20%20%20%20%20%20%20%20pad%20%3D%20np.pad(y%5B_order%5D%2C%20(k%20%2F%2F%202%2C%20k%20%2F%2F%202)%2C%20mode%3D%22edge%22)%0A%20%20%20%20%20%20%20%20return%20np.convolve(pad%2C%20np.ones(k)%20%2F%20k%2C%20mode%3D%22valid%22)%0A%0A%20%20%20%20%40themed(%0A%20%20%20%20%20%20%20%20name%3D%22grading%22%2C%0A%20%20%20%20%20%20%20%20alt_text%3D%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20Four%20panels%2C%20one%20per%20factorial%20condition%2C%20showing%20the%20per-color%0A%20%20%20%20%20%20%20%20%20%20%20%20alignment%20at%20the%20first%20operand%20against%20the%20redness%20of%20that%20color.%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20panels%20grade%20progressively%20from%20top%20left%20to%20bottom%20right.%20Span%0A%20%20%20%20%20%20%20%20%20%20%20%20with%20a%20bare%20anchor%20is%20a%20nearly%20flat%20band%20near%200.5%20across%20every%0A%20%20%20%20%20%20%20%20%20%20%20%20color%2C%20barely%20rising%20with%20redness.%20Adding%20the%20repulsive%20term%20drops%0A%20%20%20%20%20%20%20%20%20%20%20%20the%20grey%20and%20green%20end%20to%20about%200.25%20while%20the%20red%20end%20stays%20near%0A%20%20%20%20%20%20%20%20%20%20%20%200.9.%20Narrowing%20the%20pull%20to%20op1%20drops%20the%20low%20end%20further%2C%20to%20about%0A%20%20%20%20%20%20%20%20%20%20%20%200.15%20bare%20and%200.05%20with%20the%20repulsive%20term%2C%20giving%20a%20clean%20rise%20from%0A%20%20%20%20%20%20%20%20%20%20%20%20near%20the%20control%20baseline%20up%20to%20about%200.9%20at%20the%20reddest%20colors.%0A%20%20%20%20%20%20%20%20%22%22%22%2C%0A%20%20%20%20%20%20%20%20caption%3Dr%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20Alignment%20at%20op1%2C%20per%20color%3A%20%24%5Calpha_c%24%2C%20the%20layer%20mean%20of%0A%20%20%20%20%20%20%20%20%20%20%20%20%24%5Ccos(h%2C%20%5Chat%20v_%7B%5Ctext%7Bred%7D%7D)%24%20averaged%20over%20seeds%2C%20against%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20redness%20of%20the%20color.%20One%20mark%20per%20color%2C%20drawn%20in%20that%20color%3B%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20heavy%20line%20is%20a%2025-color%20sliding%20mean%20over%20the%20redness%20ordering%2C%20and%0A%20%20%20%20%20%20%20%20%20%20%20%20the%20flat%20grey%20band%20underneath%20is%20the%20same%20sliding%20mean%20for%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20control.%20The%20grading%20statistics%20and%20%24m_%7B%5Ctext%7Bop1%7D%7D%24%20are%20quoted%20per%0A%20%20%20%20%20%20%20%20%20%20%20%20panel%3B%20both%20H2(b)%20gates%20sit%20at%200.8.%20The%20panels%20are%20the%202%C3%972%3A%20pull%0A%20%20%20%20%20%20%20%20%20%20%20%20span%20across%2C%20repulsive%20term%20down.%0A%20%20%20%20%20%20%20%20%22%22%22%2C%0A%20%20%20%20)%0A%20%20%20%20def%20_plot()%20-%3E%20plt.Figure%3A%0A%20%20%20%20%20%20%20%20from%20typing%20import%20cast%0A%0A%20%20%20%20%20%20%20%20from%20mini.vis%20import%20AxesGrid%0A%0A%20%20%20%20%20%20%20%20fig%2C%20axes%20%3D%20plt.subplots(2%2C%202%2C%20figsize%3D(7.4%2C%205.4)%2C%20sharey%3DTrue%2C%20sharex%3DTrue)%0A%20%20%20%20%20%20%20%20axes%20%3D%20cast(AxesGrid%2C%20axes)%0A%20%20%20%20%20%20%20%20_ctrl%20%3D%20_windowed(_resp%5B%22lam0%22%5D%5B0%5D)%0A%20%20%20%20%20%20%20%20_grid%20%3D%20%5B%5B%22span-bare%22%2C%20%22span-anti%22%5D%2C%20%5B%22op1-bare%22%2C%20%22op1-anti%22%5D%5D%0A%20%20%20%20%20%20%20%20for%20row%2C%20conds%20in%20zip(axes%2C%20_grid%2C%20strict%3DTrue)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20ax%2C%20cond%20in%20zip(row%2C%20conds%2C%20strict%3DTrue)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20a%2C%20rho%2C%20r2%20%3D%20_resp%5Bcond%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ax.axhline(0%2C%20color%3Dlight_dark(%22%23bbb%22%2C%20%22%23555%22)%2C%20lw%3D0.8%2C%20zorder%3D0)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ax.plot(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ex.REDNESS%5B_order%5D%2C%20_ctrl%2C%20color%3Dlight_dark(%22%23999%22%2C%20%22%23777%22)%2C%20lw%3D3%2C%20alpha%3D0.5%2C%20zorder%3D1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20solid_capstyle%3D%22round%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%20%20%23%20fmt%3A%20skip%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ax.scatter(ex.REDNESS%2C%20a%2C%20c%3Dex.GRID_RGB%2C%20s%3D18%2C%20lw%3D0.4%2C%20zorder%3D3%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20edgecolors%3Dlight_dark(%22%2300000033%22%2C%20%22%23ffffff55%22))%20%20%23%20fmt%3A%20skip%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ax.plot(ex.REDNESS%5B_order%5D%2C%20_windowed(a)%2C%20color%3Dlight_dark(%22%23222%22%2C%20%22%23eee%22)%2C%20lw%3D1.6%2C%20zorder%3D4)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ax.set_title(LABELS%5Bcond%5D%2C%20fontsize%3D10)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ax.annotate(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%CF%81%20%3D%20%7Brho%3A.2f%7D%5CnR%C2%B2%20%3D%20%7Br2%3A.2f%7D%5Cn%24m%24%20%3D%20%7Bm_op1(cond).mean()%3A.2f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(0.03%2C%200.97)%2C%20xycoords%3D%22axes%20fraction%22%2C%20va%3D%22top%22%2C%20fontsize%3D8%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3Dlight_dark(%22%23444%22%2C%20%22%23bbb%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%20%20%23%20fmt%3A%20skip%0A%20%20%20%20%20%20%20%20for%20ax%20in%20axes%5B1%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.set_xlabel(%22redness%20of%20op1%22)%0A%20%20%20%20%20%20%20%20for%20row%20in%20axes%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20row%5B0%5D.set_ylabel(r%22%24%5Calpha_c%24%20at%20op1%22)%0A%20%20%20%20%20%20%20%20axes%5B0%5D%5B0%5D.set_ylim(-0.25%2C%201.25)%20%20%23%20headroom%20for%20the%20per-panel%20statistics%0A%20%20%20%20%20%20%20%20return%20fig%0A%0A%20%20%20%20mo.Html(_plot())%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(alpha_bar%2C%20grading%2C%20m_op1)%3A%0A%20%20%20%20_EX216_M%2C%20_EX216_A%20%3D%200.2732%2C%200.5257%0A%20%20%20%20mo.md(rf%22%22%22%0A%20%20%20%20**H2%20passes%2C%20on%20the%20op1%20conditions.**%20(a)%20The%20margin%20reaches%20%24m_%7B%7B%5Ctext%7B%7Bop1%7D%7D%7D%7D%20%3D%20%7Bm_op1(%22op1-anti%22).mean()%3A.3f%7D%24%20on%20%60op1-anti%60%20and%20%7Bm_op1(%22op1-bare%22).mean()%3A.3f%7D%20on%20%60op1-bare%60%2C%20both%20task-clean%2C%20against%20a%20gate%20of%20%7Bex.MARGIN_GATE%3Ag%7D.%20The%20hypothesis%20takes%20a%20maximum%20over%20four%20noisy%20means%2C%20but%20%60op1-anti%60%20clears%20the%20gate%20by%20%7Bm_op1(%22op1-anti%22).mean()%20-%20ex.MARGIN_GATE%3A.2f%7D%2C%20roughly%20four%20seed-mean%20noise%20units%2C%20so%20the%20pass%20does%20not%20rest%20on%20that%20maximum.%20(b)%20The%20response%20is%20graded%20on%20both%20conditions%2C%20but%20each%20clears%20a%20different%20one%20of%20the%20two%20tracks%2C%20and%20neither%20clears%20both.%20%60op1-bare%60%20reaches%20%CF%81%20%3D%20%7Bgrading(%22op1-bare%22)%5B1%5D%3A.3f%7D%20against%20%60redness%60%20with%20R%C2%B2%20%3D%20%7Bgrading(%22op1-bare%22)%5B2%5D%3A.3f%7D%3B%20%60op1-anti%60%20reaches%20R%C2%B2%20%3D%20%7Bgrading(%22op1-anti%22)%5B2%5D%3A.3f%7D%20against%20%60sim%C2%B9%C2%B7%E2%81%B5%60%20with%20%CF%81%20%3D%20%7Bgrading(%22op1-anti%22)%5B1%5D%3A.3f%7D.%20The%20gate%20asks%20for%20either%20track%2C%20so%20both%20conditions%20pass.%20Still%2C%20%60op1-bare%60%20clears%20the%20rank%20track%20by%20only%20%7Bgrading(%22op1-bare%22)%5B1%5D%20-%20ex.GRADE_RHO_GATE%3A.3f%7D.%20That%20is%20thin%2C%20so%20the%20pass%20is%20better%20read%20as%20resting%20on%20the%20R%C2%B2%20of%20%60op1-anti%60%2C%20which%20clears%20by%20%7Bgrading(%22op1-anti%22)%5B2%5D%20-%20ex.GRADE_R2_GATE%3A.2f%7D.%0A%0A%20%20%20%20The%20step-ceilings%20check%20qualifies%20this.%20A%20pure%20step%20response%20(one%20that%20jumps%20at%20the%20label%20threshold%20instead%20of%20rising%20smoothly)%20can%20score%20at%20most%20%7Bex.STEP_RHO_CEILING%3A.2f%7D%20on%20the%20rank%20track%20and%20%7Bex.STEP_R2_CEILING%3A.2f%7D%20on%20the%20proportionality%20track.%20The%20R%C2%B2%20of%20%60op1-anti%60%20clears%20its%20ceiling%20by%20%7Bgrading(%22op1-anti%22)%5B2%5D%20-%20ex.STEP_R2_CEILING%3A.2f%7D%3B%20the%20%CF%81%20of%20%60op1-bare%60%20by%20only%20%7Bgrading(%22op1-bare%22)%5B1%5D%20-%20ex.STEP_RHO_CEILING%3A.2f%7D.%20The%20scatter%20is%20the%20more%20convincing%20evidence%20in%20any%20case%3A%20it%20rises%20across%20the%20whole%20cube%20rather%20than%20stepping%20at%20the%20label%20threshold%2C%20so%20the%20anchor%20caught%20*red*%20and%20not%20merely%20the%20exemplars%20that%20happened%20to%20be%20labeled.%20(c)%20The%20control%20sits%20at%20%24%7Cm_%7B%7B%5Ctext%7B%7Bop1%7D%7D%7D%7D%7C%20%3D%20%7Babs(m_op1(%22lam0%22).mean())%3A.3f%7D%24%2C%20inside%20its%200.1%20ceiling.%0A%0A%20%20%20%20The%20preregistered%20primary%20condition%20%60span-anti%60%20is%20not%20among%20the%20passes.%20It%20reaches%20%7Bm_op1(%22span-anti%22).mean()%3A.3f%7D%3A%20comfortably%20into%20the%20partial%20band%20(0.35)%20and%20well%20clear%20of%20the%20ex-2.1.6%20result%20of%20%7B_EX216_M%3A.2f%7D%2C%20but%20short%20of%20the%20gate.%20The%20repulsive%20term%20alone%20was%20the%20predicted%20fix%2C%20and%20it%20gets%20most%20(but%20not%20all)%20of%20the%20way%20there.%0A%0A%20%20%20%20%2F%2F%2F%20details%20%7C%20The%20replication%20is%20bit-identical%0A%20%20%20%20%60span-bare%60%20re-runs%20the%20%24%5Clambda%20%3D%200.1%24%20condition%20of%20ex-2.1.6%20through%20this%20experiment's%20code%2C%20which%20now%20carries%20a%20second%20regularizer%20term%20at%20weight%20zero.%20It%20returns%20%24m_%7B%7B%5Ctext%7B%7Bop1%7D%7D%7D%7D%20%3D%20%7Bm_op1(%22span-bare%22).mean()%3A.3f%7D%24%20against%20a%20published%20%7B_EX216_M%3A.4f%7D%2C%20and%20%24%5Cbar%5Calpha%20%3D%20%7Balpha_bar(%22span-bare%22).mean()%3A.3f%7D%24%20against%20%7B_EX216_A%3A.4f%7D.%20The%20agreement%20is%20digit-for-digit%20per%20seed.%20This%20does%20not%20independently%20corroborate%20ex-2.1.6%2C%20since%20nothing%20stochastic%20was%20re-rolled.%20What%20it%20verifies%20is%20that%20adding%20a%20zero-weighted%20term%20perturbed%20neither%20the%20numerics%20nor%20the%20RNG%20stream.%20So%20the%20ex-2.1.6%20comparisons%20this%20report%20leans%20on%20are%20reproduced%20rather%20than%20assumed%2C%20and%20the%20four%20factorial%20conditions%20differ%20from%20each%20other%20only%20in%20the%20two%20factors.%0A%20%20%20%20%2F%2F%2F%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Attribution%20(H3)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(m_op1)%3A%0A%20%20%20%20def%20_effects(stat)%20-%3E%20dict%5Bstr%2C%20float%5D%3A%0A%20%20%20%20%20%20%20%20%22%22%22The%202%C3%972%20read%20as%20main%20effects%20and%20an%20interaction%2C%20on%20any%20per-condition%20statistic.%22%22%22%0A%20%20%20%20%20%20%20%20sb%2C%20sa%2C%20ob%2C%20oa%20%3D%20(float(np.mean(stat(c)))%20for%20c%20in%20(%22span-bare%22%2C%20%22span-anti%22%2C%20%22op1-bare%22%2C%20%22op1-anti%22))%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22span-bare%22%3A%20sb%2C%20%22span-anti%22%3A%20sa%2C%20%22op1-bare%22%3A%20ob%2C%20%22op1-anti%22%3A%20oa%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22anti%22%3A%20(sa%20%2B%20oa)%20%2F%202%20-%20(sb%20%2B%20ob)%20%2F%202%2C%20%20%20%23%20adding%20the%20repulsive%20term%2C%20averaged%20over%20spans%0A%20%20%20%20%20%20%20%20%20%20%20%20%22op1%22%3A%20(ob%20%2B%20oa)%20%2F%202%20-%20(sb%20%2B%20sa)%20%2F%202%2C%20%20%20%20%23%20narrowing%20the%20pull%2C%20averaged%20over%20terms%0A%20%20%20%20%20%20%20%20%20%20%20%20%22interaction%22%3A%20(sb%20%2B%20oa)%20-%20(sa%20%2B%20ob)%2C%0A%20%20%20%20%20%20%20%20%7D%20%20%23%20fmt%3A%20skip%0A%0A%20%20%20%20_e%3A%20dict%5Bstr%2C%20float%5D%20%3D%20_effects(m_op1)%0A%0A%20%20%20%20def%20_c(cond%3A%20str)%20-%3E%20str%3A%0A%20%20%20%20%20%20%20%20v%20%3D%20m_op1(cond)%0A%20%20%20%20%20%20%20%20return%20f%22%7Bv.mean()%3A.3f%7D%20%3Cspan%20class%3D'range'%3E%C2%B1%7B(v.max()%20-%20v.min())%20%2F%202%3A.3f%7D%3C%2Fspan%3E%22%0A%0A%20%20%20%20_table%20%3D%20f%22%22%22%0A%20%20%20%20%3Cdiv%20class%3D%22report-table-scroll%22%3E%3Ctable%20class%3D%22report-table%22%3E%0A%20%20%20%20%20%20%3Cthead%3E%3Ctr%3E%0A%20%20%20%20%20%20%20%20%3Cth%3E%3C%2Fth%3E%3Cth%20class%3D%22num%22%3Ebare%3C%2Fth%3E%3Cth%20class%3D%22num%22%3E%2B%20anti-subspace%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%3Cth%20class%3D%22num%22%3Espan%20effect%3C%2Fth%3E%0A%20%20%20%20%20%20%3C%2Ftr%3E%3C%2Fthead%3E%0A%20%20%20%20%20%20%3Ctbody%3E%0A%20%20%20%20%20%20%20%20%3Ctr%3E%3Cth%3Espan%20pull%3C%2Fth%3E%3Ctd%20class%3D%22num%22%3E%7B_c(%22span-bare%22)%7D%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%20class%3D%22num%22%3E%7B_c(%22span-anti%22)%7D%3C%2Ftd%3E%3Ctd%20class%3D%22num%22%3E%E2%80%94%3C%2Ftd%3E%3C%2Ftr%3E%0A%20%20%20%20%20%20%20%20%3Ctr%3E%3Cth%3Eop1-only%20pull%3C%2Fth%3E%3Ctd%20class%3D%22num%22%3E%7B_c(%22op1-bare%22)%7D%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%20class%3D%22num%22%3E%7B_c(%22op1-anti%22)%7D%3C%2Ftd%3E%3Ctd%20class%3D%22num%22%3E%E2%80%94%3C%2Ftd%3E%3C%2Ftr%3E%0A%20%20%20%20%20%20%20%20%3Ctr%20class%3D%22ref%22%3E%3Cth%3Eanti%20effect%3C%2Fth%3E%3Ctd%20class%3D%22num%22%3E%E2%80%94%3C%2Ftd%3E%3Ctd%20class%3D%22num%22%3E%E2%80%94%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%20class%3D%22num%22%3Einteraction%3C%2Ftd%3E%3C%2Ftr%3E%0A%20%20%20%20%20%20%20%20%3Ctr%20class%3D%22ref%22%3E%3Cth%3Emain%20effects%3C%2Fth%3E%3Ctd%20class%3D%22num%22%20colspan%3D%222%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20anti%20%7B_e%5B%22anti%22%5D%3A%2B.3f%7D%20%26nbsp%3B%26nbsp%3B%20op1-only%20%7B_e%5B%22op1%22%5D%3A%2B.3f%7D%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%20class%3D%22num%22%3E%7B_e%5B%22interaction%22%5D%3A%2B.3f%7D%3C%2Ftd%3E%3C%2Ftr%3E%0A%20%20%20%20%20%20%3C%2Ftbody%3E%0A%20%20%20%20%3C%2Ftable%3E%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22%0A%20%20%20%20_caption%20%3D%20mo.md(f%22%22%22%0A%20%20%20%20The%20factorial%20on%20%24m_%7B%7B%5C%5Ctext%7B%7Bop1%7D%7D%7D%7D%24.%20Body%20cells%20are%20seed%20means%2C%20with%20half%20the%20seed%20range%20beside%20them.%20Anti%20effect%3A%20margin%20gained%20by%20adding%20the%20repulsive%20term%2C%20averaged%20over%20both%20pull%20spans%3B%20op1-only%20effect%3A%20margin%20gained%20by%20narrowing%20the%20pull%2C%20averaged%20over%20both%20terms%3B%20interaction%3A%20what%20the%20two%20together%20buy%20beyond%20their%20sum.%20H3%20asks%20the%20anti%20effect%20to%20reach%20%7Bex.MAIN_EFFECT_GATE%3Ag%7D%20and%20to%20be%20at%20least%20as%20large%20as%20the%20op1-only%20effect%3B%20the%20noise%20on%20a%20main%20effect%20is%20about%20%7Bex.NOISE_SEED_MEAN%3Ag%7D.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20mo.Html(figure_html(_table%2C%20caption%3D_caption.text%2C%20class_%3D%22report-figure%22))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(cells%2C%20m_op1)%3A%0A%20%20%20%20_sb%2C%20_sa%2C%20_ob%2C%20_oa%20%3D%20(float(m_op1(c).mean())%20for%20c%20in%20(%22span-bare%22%2C%20%22span-anti%22%2C%20%22op1-bare%22%2C%20%22op1-anti%22))%0A%20%20%20%20_anti%20%3D%20(_sa%20%2B%20_oa)%20%2F%202%20-%20(_sb%20%2B%20_ob)%20%2F%202%0A%20%20%20%20_op1%20%3D%20(_ob%20%2B%20_oa)%20%2F%202%20-%20(_sb%20%2B%20_sa)%20%2F%202%0A%20%20%20%20_int%20%3D%20(_sb%20%2B%20_oa)%20-%20(_sa%20%2B%20_ob)%0A%0A%20%20%20%20def%20_per_seed(seed%3A%20int)%20-%3E%20tuple%5Bfloat%2C%20float%5D%3A%0A%20%20%20%20%20%20%20%20%22%22%22(anti%2C%20op1)%20main%20effects%20computed%20within%20one%20seed%2C%20so%20the%20seed%20cancels.%22%22%22%0A%20%20%20%20%20%20%20%20sb%2C%20sa%2C%20ob%2C%20oa%20%3D%20(cells%5Bf%22%7Bc%7D-s%7Bseed%7D%22%5D%5B%22m_op1%22%5D%20for%20c%20in%20(%22span-bare%22%2C%20%22span-anti%22%2C%20%22op1-bare%22%2C%20%22op1-anti%22))%0A%20%20%20%20%20%20%20%20return%20(sa%20%2B%20oa)%20%2F%202%20-%20(sb%20%2B%20ob)%20%2F%202%2C%20(ob%20%2B%20oa)%20%2F%202%20-%20(sb%20%2B%20sa)%20%2F%202%0A%0A%20%20%20%20mo.md(rf%22%22%22%0A%20%20%20%20**H3%20fails%2C%20and%20implies%20the%20first%20of%20its%20two%20named%20contrary%20readings.**%20Both%20main%20effects%20clear%20%7Bex.MAIN_EFFECT_GATE%3Ag%7D%3A%20the%20repulsive%20term%20is%20worth%20%7B_anti%3A%2B.3f%7D%20of%20margin%2C%20and%20the%20narrower%20pull%20is%20worth%20%7B_op1%3A%2B.3f%7D%2C%20against%20a%20noise%20floor%20of%20about%20%7Bex.NOISE_SEED_MEAN%3Ag%7D%20on%20a%20main%20effect.%20But%20H3%20asked%20for%20the%20anti-subspace%20effect%20to%20be%20*at%20least%20as%20large*%2C%20and%20instead%20the%20op1-only%20effect%20is%20the%20larger%2C%20by%20a%20factor%20of%20about%20%7B_op1%20%2F%20_anti%3A.1f%7D.%20That%20is%20the%20reading%20the%20preregistration%20named%3A%20the%20blind-span%20interpretation%20of%20ex-2.1.6%20was%20correct.%0A%0A%20%20%20%20The%20gap%20between%20the%20two%20effects%20is%20%7Babs(_op1%20-%20_anti)%3A.3f%7D%2C%20about%20%7Babs(_op1%20-%20_anti)%20%2F%20ex.NOISE_SEED_MEAN%3A.0f%7D%20noise%20units%20on%20the%20generic%20seed-mean%20floor%2C%20and%20that%20floor%20understates%20the%20case.%20Computed%20within%20a%20seed%2C%20which%20cancels%20seed-to-seed%20variation%2C%20the%20op1-only%20effect%20is%20the%20larger%20on%20every%20seed%2C%20with%20no%20overlap%20between%20the%20two%20sets%20(%7B%22%2C%20%22.join(f%22%7B_per_seed(s)%5B1%5D%3A.2f%7D%20vs%20%7B_per_seed(s)%5B0%5D%3A.2f%7D%22%20for%20s%20in%20ex.SEEDS)%7D)%2C%20so%20the%20ordering%20is%20not%20due%20to%20one%20lucky%20run.%0A%0A%20%20%20%20Still%2C%20the%20two%20factors%20are%20not%20on%20a%20common%20scale%3A%20one%20changes%20how%20many%20positions%20are%20pulled%2C%20and%20the%20other%20adds%20a%20term%20at%20a%20weight%20copied%20from%20another%20experiment.%20So%20this%20says%20the%20*particular*%20settings%20tried%20favor%20the%20span%2C%20not%20that%20repulsion%20is%20intrinsically%20the%20weaker%20lever.%0A%0A%20%20%20%20The%20interaction%20is%20%7B_int%3A%2B.3f%7D%3A%20mildly%20sub-additive%2C%20the%20expected%20shape%20if%20the%20two%20are%20routes%20to%20one%20place.%20Both%20reduce%20how%20much%20of%20the%20pull%20can%20be%20satisfied%20by%20a%20color-independent%20shift%2C%20so%20whichever%20is%20applied%20second%20has%20less%20left%20to%20do.%20It%20also%20means%20the%20interaction%20outcome%20H3%20named%20(neither%20main%20effect%20clearing%20while%20%60op1-anti%60%20alone%20does)%20is%20the%20opposite%20of%20what%20happened.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Containment%20and%20dynamics%20(H4)%0A%0A%20%20%20%20The%20anti-subspace%20term%20penalizes%20the%20mean-square%20alignment%20of%20the%20whole%20cloud%2C%20which%20is%20the%20quantity%20H4(a)%20scores.%20So%20%22the%20repulsive%20term%20lowers%20%24%5Cbar%5Calpha%24%22%20is%20close%20to%20a%20tautology%2C%20and%20on%20its%20own%20not%20evidence%20that%20this%20mechanism%20explains%20ex-2.1.6.%20H3%20carries%20the%20load%3A%20does%20lowering%20%24%5Cbar%5Calpha%24%20gain%20margin%2C%20a%20quantity%20neither%20factor%20acts%20on%20directly%3F%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20%23%20Weight%20schedules%20for%20the%20figure%2C%20computed%20from%20%60CONDITIONS%60%20via%20the%20same%0A%20%20%20%20%23%20functions%20the%20training%20loop%20calls.%20That%20way%20the%20figure%20cannot%20show%20a%0A%20%20%20%20%23%20schedule%20the%20runs%20did%20not%20actually%20train%20under.%20These%20are%20sampled%20finely%3B%0A%20%20%20%20%23%20the%20recorded%20trajectories%2C%20by%20contrast%2C%20are%20coarse%20and%20start%20after%20the%0A%20%20%20%20%23%20warmup.%0A%20%20%20%20SCHED_E%20%3D%20np.linspace(0%2C%20ex.SCHEDULER.epochs%2C%201001)%0A%0A%20%20%20%20def%20_curves(c%3A%20dict)%20-%3E%20list%5Btuple%5Bstr%2C%20np.ndarray%5D%5D%3A%0A%20%20%20%20%20%20%20%20curves%20%3D%20%5B(%22anchor%22%2C%20ex.anchor_weight(SCHED_E%2C%20peak%3Dc%5B%22lam%22%5D))%5D%0A%20%20%20%20%20%20%20%20if%20c%5B%22anti%22%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20curves.append((%22anti%22%2C%20ex.anti_subspace_weight(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20SCHED_E%2C%20lam%3Dc%5B%22lam%22%5D%2C%20anneal_end%3Dc.get(%22anti_anneal_end%22%2C%20ex.ANTI_ANNEAL_END)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)))%20%20%23%20fmt%3A%20skip%0A%20%20%20%20%20%20%20%20return%20curves%0A%0A%20%20%20%20SCHEDULES%20%3D%20%7Bc%5B%22name%22%5D%3A%20_curves(c)%20for%20c%20in%20ex.CONDITIONS%7D%0A%20%20%20%20%22%22%22(term%2C%20weight)%20curves%20per%20condition%2C%20%60term%60%20being%20one%20of%20anchor%2C%20anti%2C%20ghost.%22%22%22%0A%0A%20%20%20%20%23%20Each%20arm%20is%20a%20variation%20on%20the%20primary%20schedule%2C%20so%20wherever%20an%20arm%20is%0A%20%20%20%20%23%20drawn%2C%20the%20primary%20schedule%20is%20also%20drawn%20in%20ghost%20ink.%20This%20mirrors%20the%0A%20%20%20%20%23%20faint%20traces%20in%20the%20trajectory%20panels.%0A%20%20%20%20_GHOST%20%3D%20%5B(%22ghost%22%2C%20w)%20for%20_%2C%20w%20in%20SCHEDULES%5Bex.PRIMARY%5D%5D%0A%20%20%20%20SCHEDULES%20%7C%3D%20%7Bc%3A%20_GHOST%20%2B%20SCHEDULES%5Bc%5D%20for%20c%20in%20(%22span-anti-late%22%2C%20%22span-anti-hi%22)%7D%0A%20%20%20%20return%20SCHEDULES%2C%20SCHED_E%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ANCHORED%2C%20CONDS%3A%20list%5Bstr%5D%2C%20LABELS%2C%20SCHEDULES%2C%20SCHED_E%2C%20traj)%3A%0A%20%20%20%20_EX216_ALPHA%20%3D%200.5257%20%20%23%20the%20published%20ex-2.1.6%20%CE%BB%3D0.1%20endpoint%20for%20%E1%BE%B1%0A%20%20%20%20_KEYS%20%3D%20(%22alpha_op1%22%2C%20%22m_op1%22)%0A%20%20%20%20%23%20Compute%20seed%20means%20once%2C%20outside%20the%20plot%20function%3A%20%40themed%20calls%20it%0A%20%20%20%20%23%20twice%20(light%20and%20dark%20variants).%0A%20%20%20%20_MEAN%20%3D%20%7Bc%3A%20%7Bk%3A%20np.mean(%5Btraj(c%2C%20s%2C%20k)%20for%20s%20in%20ex.SEEDS%5D%2C%20axis%3D0)%20for%20k%20in%20_KEYS%7D%20for%20c%20in%20CONDS%7D%0A%20%20%20%20_EPOCHS%20%3D%20np.mean(%5Btraj(%22span-anti%22%2C%20s%2C%20%22epoch%22)%20for%20s%20in%20ex.SEEDS%5D%2C%20axis%3D0)%0A%20%20%20%20%23%20Each%20condition%20gets%20a%20pair%20of%20axes%3A%20the%20trajectory%20on%20top%2C%20and%20directly%0A%20%20%20%20%23%20under%20it%20the%20weight%20schedule%20that%20condition%20trained%20under.%20The%20spacer%20row%0A%20%20%20%20%23%20separates%20the%20two%20blocks%20while%20keeping%20each%20pair%20together.%20In%20the%20first%0A%20%20%20%20%23%20two%20columns%2C%20rows%20are%20the%20two%20anchor%20widths%3B%20the%20third%20column%20holds%20the%0A%20%20%20%20%23%20two%20arms.%20The%20control%20has%20no%20column%20of%20its%20own%3B%20instead%20it%20is%20drawn%20into%0A%20%20%20%20%23%20every%20panel%20as%20a%20grey%20reference%20pair.%0A%20%20%20%20_GRID%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%5B%22span-bare%22%2C%20%22span-anti%22%2C%20%22span-anti-late%22%5D%2C%0A%20%20%20%20%20%20%20%20%5B%22w-span-bare%22%2C%20%22w-span-anti%22%2C%20%22w-span-anti-late%22%5D%2C%0A%20%20%20%20%20%20%20%20%5B%22.%22%2C%20%22.%22%2C%20%22.%22%5D%2C%0A%20%20%20%20%20%20%20%20%5B%22op1-bare%22%2C%20%22op1-anti%22%2C%20%22span-anti-hi%22%5D%2C%0A%20%20%20%20%20%20%20%20%5B%22w-op1-bare%22%2C%20%22w-op1-anti%22%2C%20%22w-span-anti-hi%22%5D%2C%0A%20%20%20%20%5D%0A%20%20%20%20_PANELS%20%3D%20%5Bc%20for%20r%20in%20(0%2C%203)%20for%20c%20in%20_GRID%5Br%5D%5D%0A%20%20%20%20_LEFT%20%3D%20(%22span-bare%22%2C%20%22op1-bare%22)%0A%0A%20%20%20%20%40themed(%0A%20%20%20%20%20%20%20%20name%3D%22trajectories%22%2C%0A%20%20%20%20%20%20%20%20alt_text%3D%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20Six%20pairs%20of%20panels%20in%20a%20three-by-two%20grid%2C%20one%20pair%20per%20condition%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20sharing%20the%20epoch%20axis.%20In%20each%20pair%2C%20the%20upper%20panel%20shows%20mean%0A%20%20%20%20%20%20%20%20%20%20%20%20alignment%20(solid)%20and%20margin%20(dashed)%20over%20a%20grey%20control%20pair%20and%0A%20%20%20%20%20%20%20%20%20%20%20%20faint%20traces%20of%20the%20other%20conditions%3B%20the%20shorter%20log-scale%20panel%0A%20%20%20%20%20%20%20%20%20%20%20%20below%20shows%20that%20condition's%20weight%20schedule%2C%20anchor%20in%20red%20and%0A%20%20%20%20%20%20%20%20%20%20%20%20repulsion%20in%20blue.%20Carets%20on%20the%20left%20spine%20mark%20the%20containment%0A%20%20%20%20%20%20%20%20%20%20%20%20gates%20at%200.1%20and%200.25%3B%20one%20on%20the%20right%20marks%20the%20margin%20floor%20at%0A%20%20%20%20%20%20%20%20%20%20%20%200.2.%20A%20dotted%20rule%20at%20the%20ex-2.1.6%20endpoint%20of%200.53%2C%20labeled%20in%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20first%20panel%2C%20meets%20the%20solid%20line%20there.%20In%20the%20anti%20conditions%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%20climbs%20early%2C%20while%20the%20repulsion%20is%20strong%3B%20mean%20alignment%0A%20%20%20%20%20%20%20%20%20%20%20%20stays%20near%20the%20control%20until%20the%20anneal%20lowers%20the%20repulsion%2C%20then%0A%20%20%20%20%20%20%20%20%20%20%20%20climbs%2C%20latest%20in%20the%20late%20arm%2C%20whose%20blue%20curve%20descends%20latest.%0A%20%20%20%20%20%20%20%20%22%22%22%2C%0A%20%20%20%20%20%20%20%20caption%3Drf%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20Training%20dynamics%2C%20one%20pair%20of%20panels%20per%20condition.%20Above%3A%20seed%0A%20%20%20%20%20%20%20%20%20%20%20%20means%20of%20the%20two%20cosines%20on%20the%20anchor%20axis%2C%20on%20one%20shared%20scale.%0A%20%20%20%20%20%20%20%20%20%20%20%20Solid%20is%20%24%5Cbar%5Calpha%24%2C%20the%20mean%20alignment%20over%20all%20216%20colors%20at%0A%20%20%20%20%20%20%20%20%20%20%20%20op1%3B%20dashed%20is%20the%20margin%20%24m_%7B%7B%5Ctext%7B%7Bop1%7D%7D%7D%7D%24.%20The%20grey%20pair%20is%0A%20%20%20%20%20%20%20%20%20%20%20%20the%20control%3B%20the%20faint%20lines%20are%20the%20other%20conditions.%20The%20carets%0A%20%20%20%20%20%20%20%20%20%20%20%20on%20the%20left%20spine%20are%20the%20H4(a)%20grading%20levels%20for%20%24%5Cbar%5Calpha%24%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20and%20the%20one%20on%20the%20right%20is%20the%20H4(b)%20floor%20for%0A%20%20%20%20%20%20%20%20%20%20%20%20%24m_%7B%7B%5Ctext%7B%7Bop1%7D%7D%7D%7D%24.%20The%20dotted%20rule%20is%20the%20published%20ex-2.1.6%0A%20%20%20%20%20%20%20%20%20%20%20%20endpoint%20of%20%7B_EX216_ALPHA%3A.2f%7D.%20Since%20span-bare%20re-runs%20that%0A%20%20%20%20%20%20%20%20%20%20%20%20condition%2C%20its%20solid%20line%20landing%20on%20the%20rule%20is%20the%20reproduction%0A%20%20%20%20%20%20%20%20%20%20%20%20check.%20Seed%20spread%20is%20given%20in%20the%20H4%20table%20below.%0A%20%20%20%20%20%20%20%20%20%20%20%20Below%20each%3A%20the%20weight%20schedule%20that%20condition%20trained%20under%2C%20in%0A%20%20%20%20%20%20%20%20%20%20%20%20the%20colors%20of%20the%20schedules%20figure%20above%3A%20anchor%20%24%5Clambda_%5Cmathrm%7B%7Ba%7D%7D%24%0A%20%20%20%20%20%20%20%20%20%20%20%20in%20red%2C%20repulsion%20%24%5Clambda_%7B%7B%5Cbar%7B%7B%5Cmathrm%7B%7Bs%7D%7D%7D%7D%7D%7D%24%20in%20blue%20(absent%0A%20%20%20%20%20%20%20%20%20%20%20%20in%20the%20bare%20conditions).%20The%20two%20arms%20in%20the%20third%20column%20also%20show%0A%20%20%20%20%20%20%20%20%20%20%20%20the%20primary%20schedule%20in%20ghost%20ink%2C%20since%20each%20is%20a%20variation%20on%20it.%0A%20%20%20%20%20%20%20%20%22%22%22%2C%0A%20%20%20%20)%0A%20%20%20%20def%20_plot()%20-%3E%20plt.Figure%3A%0A%20%20%20%20%20%20%20%20%23%20A%20tall%20mosaic%3A%20trajectory%20row%2C%20schedule%20row%2C%20spacer%2C%20then%20both%20again.%0A%20%20%20%20%20%20%20%20fig%2C%20axd%20%3D%20plt.subplot_mosaic(%0A%20%20%20%20%20%20%20%20%20%20%20%20_GRID%2C%20figsize%3D(7.5%2C%206)%2C%20height_ratios%3D%5B3%2C%201.5%2C%200.45%2C%203%2C%201.5%5D%2C%20sharex%3DTrue%2C%0A%20%20%20%20%20%20%20%20)%20%20%23%20fmt%3A%20skip%0A%20%20%20%20%20%20%20%20_ink%20%3D%20dict(zip(CONDS%2C%20light_dark(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%22%23999%22%2C%20%22%23f2b134%22%2C%20%22%23c1332a%22%2C%20%22%23e08a2e%22%2C%20%22%237a2320%22%2C%20%22%233d7ea6%22%2C%20%22%235c3d8f%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%22%23888%22%2C%20%22%23ffcc66%22%2C%20%22%23f0665a%22%2C%20%22%23ffab5e%22%2C%20%22%23b8564d%22%2C%20%22%236ab0d4%22%2C%20%22%23a78bd6%22%5D%2C%0A%20%20%20%20%20%20%20%20)%2C%20strict%3DTrue))%20%20%23%20fmt%3A%20skip%0A%20%20%20%20%20%20%20%20_grey%20%3D%20light_dark(%22%23999%22%2C%20%22%23777%22)%0A%20%20%20%20%20%20%20%20_ghost%20%3D%20light_dark(%22%23e2e2e2%22%2C%20%22%23333%22)%0A%20%20%20%20%20%20%20%20%23%20The%20H4%20levels%2C%20in%20a%20pale%20steel%20blue%3A%20quiet%20against%20the%20data%2C%20and%0A%20%20%20%20%20%20%20%20%23%20distinct%20from%20the%20grey%20of%20the%20control%20and%20the%20ex-2.1.6%20rule.%0A%20%20%20%20%20%20%20%20%23%20_gate%20%3D%20light_dark(%22%23a4bdd1%22%2C%20%22%2341607a%22)%0A%20%20%20%20%20%20%20%20_gate%20%3D%20light_dark(%22%23555%22%2C%20%22%23bbb%22)%0A%20%20%20%20%20%20%20%20_term%20%3D%20%7B%22anchor%22%3A%20light_dark(%22%23c33%22%2C%20%22%23e66%22)%2C%20%22anti%22%3A%20light_dark(%22%2336c%22%2C%20%22%237af%22)%2C%20%22ghost%22%3A%20_ghost%7D%0A%20%20%20%20%20%20%20%20_dash%20%3D%20(0%2C%20(6%2C%201))%0A%20%20%20%20%20%20%20%20%23%20One%20y-scale%20for%20every%20panel%2C%20so%20a%20line's%20height%20means%20the%20same%20thing%20everywhere.%0A%20%20%20%20%20%20%20%20top%20%3D%20max(max(np.max(_MEAN%5Bc%5D%5B%22alpha_op1%22%5D)%2C%20np.max(_MEAN%5Bc%5D%5B%22m_op1%22%5D))%20for%20c%20in%20ANCHORED)%0A%20%20%20%20%20%20%20%20for%20cond%20in%20_PANELS%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20ax%20%3D%20axd%5Bcond%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20other%20in%20_PANELS%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20other%20!%3D%20cond%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ax.plot(_EPOCHS%2C%20_MEAN%5Bother%5D%5B%22alpha_op1%22%5D%2C%20color%3D_ghost%2C%20lw%3D0.4%2C%20zorder%3D1)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ax.plot(_EPOCHS%2C%20_MEAN%5Bother%5D%5B%22m_op1%22%5D%2C%20color%3D_ghost%2C%20lw%3D0.4%2C%20zorder%3D1)%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Mark%20each%20level%20with%20a%20caret%20on%20the%20spine%2C%20rather%20than%20a%20rule%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20across%20the%20whole%20panel.%20Under%20this%20transform%2C%20x%20is%20in%20axes%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20coordinates%3A%200%20is%20the%20left%20spine%20and%201%20the%20right.%20Markers%209%20and%208%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20have%20their%20base%20at%20the%20point%2C%20so%20each%20protrudes%20inward.%20The%20gates%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20for%20%E1%BE%B1%20go%20on%20the%20left%20spine%20and%20the%20floor%20for%20m%20on%20the%20right%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20which%20tells%20them%20apart%20without%20needing%20a%20second%20color.%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_level%20in%20(ex.MEAN_ALIGN_GATE%2C%20ex.MEAN_ALIGN_PARTIAL)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ax.plot(0%2C%20_level%2C%20marker%3D9%2C%20ms%3D3%2C%20color%3D_gate%2C%20clip_on%3DFalse%2C%20zorder%3D6%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20transform%3Dax.get_yaxis_transform())%20%20%23%20fmt%3A%20skip%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.plot(1%2C%20ex.H4_FLOOR%2C%20marker%3D8%2C%20ms%3D3%2C%20color%3D_gate%2C%20clip_on%3DFalse%2C%20zorder%3D6%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20transform%3Dax.get_yaxis_transform())%20%20%23%20fmt%3A%20skip%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20The%20one%20full-width%20rule%3A%20it%20marks%20an%20outside%20result%2C%20not%20a%20level%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20on%20our%20own%20axis%2C%20so%20a%20caret%20would%20be%20the%20wrong%20device.%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.axhline(_EX216_ALPHA%2C%20color%3D_grey%2C%20lw%3D0.8%2C%20ls%3D(0%2C%20(1%2C%202.5))%2C%20zorder%3D2)%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.plot(_EPOCHS%2C%20_MEAN%5B%22lam0%22%5D%5B%22alpha_op1%22%5D%2C%20color%3D_grey%2C%20lw%3D1.1%2C%20zorder%3D3)%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.plot(_EPOCHS%2C%20_MEAN%5B%22lam0%22%5D%5B%22m_op1%22%5D%2C%20color%3D_grey%2C%20lw%3D1.1%2C%20ls%3D_dash%2C%20zorder%3D3)%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.plot(_EPOCHS%2C%20_MEAN%5Bcond%5D%5B%22m_op1%22%5D%2C%20color%3D_ink%5Bcond%5D%2C%20lw%3D1.4%2C%20ls%3D_dash%2C%20zorder%3D4)%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.plot(_EPOCHS%2C%20_MEAN%5Bcond%5D%5B%22alpha_op1%22%5D%2C%20color%3D_ink%5Bcond%5D%2C%20lw%3D1.7%2C%20zorder%3D5)%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.set_title(LABELS%5Bcond%5D%2C%20fontsize%3D9.5%2C%20color%3D_ink%5Bcond%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.set_xlim(0%2C%20ex.SCHEDULER.epochs)%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.set_ylim(-0.08%2C%20top%20*%201.08)%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.tick_params(labelbottom%3DFalse%2C%20labelleft%3Dcond%20in%20_LEFT)%0A%20%20%20%20%20%20%20%20axd%5B%22span-bare%22%5D.set_ylabel(%22cosine%22%2C%20fontsize%3D%22x-small%22)%0A%20%20%20%20%20%20%20%20axd%5B%22op1-bare%22%5D.set_ylabel(%22cosine%22%2C%20fontsize%3D%22x-small%22)%0A%20%20%20%20%20%20%20%20%23%20Label%20the%20control%20once%2C%20next%20to%20its%20line%3B%20elsewhere%20the%20grey%20pair%20is%0A%20%20%20%20%20%20%20%20%23%20recognizable%20on%20its%20own.%20The%20label%20sits%20over%20other%20ink%2C%20so%20a%20white%0A%20%20%20%20%20%20%20%20%23%20halo%20keeps%20it%20legible.%0A%20%20%20%20%20%20%20%20import%20matplotlib.patheffects%20as%20pe%0A%0A%20%20%20%20%20%20%20%20_halo%20%3D%20%5Bpe.withStroke(linewidth%3D2.5%2C%20foreground%3Dlight_dark(%22%23ffffff%22%2C%20%22%23000000%22))%5D%0A%20%20%20%20%20%20%20%20axd%5B%22span-bare%22%5D.annotate(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22control%22%2C%20(55%2C%20_MEAN%5B%22lam0%22%5D%5B%22alpha_op1%22%5D%5B-1%5D)%2C%20fontsize%3D7.5%2C%20color%3D_grey%2C%20va%3D%22center%22%2C%20ha%3D%22center%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20path_effects%3D_halo%2C%0A%20%20%20%20%20%20%20%20)%20%20%23%20fmt%3A%20skip%0A%20%20%20%20%20%20%20%20%23%20Label%20the%20dotted%20rule%20in%20the%20panel%20that%20re-runs%20it.%20span-bare%20repeats%0A%20%20%20%20%20%20%20%20%23%20the%20%CE%BB%3D0.1%20condition%20of%20ex-2.1.6%2C%20so%20its%20solid%20line%20landing%20on%20the%20rule%20is%0A%20%20%20%20%20%20%20%20%23%20the%20reproduction%20check%3B%20labeling%20it%20there%20makes%20that%20point%20without%20a%0A%20%20%20%20%20%20%20%20%23%20legend%20entry.%0A%20%20%20%20%20%20%20%20axd%5B%22span-bare%22%5D.annotate(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22ex-2.1.6%22%2C%20(72%2C%20_EX216_ALPHA)%2C%20fontsize%3D7.5%2C%20color%3D_grey%2C%20va%3D%22bottom%22%2C%20ha%3D%22center%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20path_effects%3D_halo%2C%0A%20%20%20%20%20%20%20%20)%20%20%23%20fmt%3A%20skip%0A%20%20%20%20%20%20%20%20%23%20Key%20the%20two%20line%20styles%20once%2C%20above%20the%20grid%2C%20in%20neutral%20ink.%20Within%0A%20%20%20%20%20%20%20%20%23%20a%20panel%2C%20color%20only%20distinguishes%20conditions.%0A%20%20%20%20%20%20%20%20fig.legend(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5Bplt.Line2D(%5B%5D%2C%20%5B%5D%2C%20color%3D_grey%2C%20lw%3D1.7)%2C%20plt.Line2D(%5B%5D%2C%20%5B%5D%2C%20color%3D_grey%2C%20lw%3D1.5%2C%20ls%3D_dash)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rf%22%24%5Cbar%5Calpha%24%2C%20graded%20at%20the%20left%20carets%20(%7Bex.MEAN_ALIGN_GATE%3Ag%7D%2C%20%7Bex.MEAN_ALIGN_PARTIAL%3Ag%7D)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rf%22%24m_%7B%7B%5Ctext%7B%7Bop1%7D%7D%7D%7D%24%2C%20floored%20at%20the%20right%20caret%20(%7Bex.H4_FLOOR%3Ag%7D)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D8.5%2C%20frameon%3DFalse%2C%20ncols%3D2%2C%20loc%3D%22lower%20center%22%2C%20bbox_to_anchor%3D(0.5%2C%201.0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20labelcolor%3D_grey%2C%20handlelength%3D2.4%2C%0A%20%20%20%20%20%20%20%20)%20%20%23%20fmt%3A%20skip%0A%0A%20%20%20%20%20%20%20%20%23%20Weight%20schedules%2C%20one%20under%20each%20condition%2C%20all%20on%20the%20same%20log%20scale%0A%20%20%20%20%20%20%20%20%23%20so%20schedules%20can%20be%20compared%20across%20columns%20as%20well%20as%20down%20a%20pair.%0A%20%20%20%20%20%20%20%20for%20cond%20in%20_PANELS%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20ax%20%3D%20axd%5Bf%22w-%7Bcond%7D%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20term%2C%20w%20in%20SCHEDULES%5Bcond%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ax.plot(SCHED_E%2C%20w%2C%20color%3D_term%5Bterm%5D%2C%20lw%3D1.0%20if%20term%20%3D%3D%20%22ghost%22%20else%201.4)%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.set_yscale(%22log%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.set_xlim(0%2C%20ex.SCHEDULER.epochs)%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.set_ylim(2e-4%2C%204)%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.set_yticks(%5B1e-3%2C%201e-2%2C%201e-1%2C%201e0%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.minorticks_off()%20%20%23%20a%20decade%20of%20unlabelled%20minor%20ticks%20is%20a%20smear%20at%20this%20height%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.tick_params(labelbottom%3DTrue%2C%20labelleft%3Dcond%20in%20_LEFT%2C%20labelsize%3D7.5)%0A%20%20%20%20%20%20%20%20axd%5B%22w-span-bare%22%5D.set_ylabel(%22weight%22%2C%20fontsize%3D%22x-small%22)%0A%20%20%20%20%20%20%20%20axd%5B%22w-op1-bare%22%5D.set_ylabel(%22weight%22%2C%20fontsize%3D%22x-small%22)%0A%20%20%20%20%20%20%20%20for%20_c%20in%20_GRID%5B-1%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20axd%5B_c%5D.set_xlabel(%22epoch%22%2C%20fontsize%3D%22x-small%22)%0A%20%20%20%20%20%20%20%20%23%20Label%20the%20two%20terms%20once%2C%20on%20the%20panel%20where%20both%20are%20at%20full%0A%20%20%20%20%20%20%20%20%23%20strength.%20The%20bare%20panels%20get%20a%20note%20that%20the%20repulsion%20is%20zero%2C%0A%20%20%20%20%20%20%20%20%23%20so%20it%20doesn't%20read%20as%20merely%20off-scale.%0A%20%20%20%20%20%20%20%20_zero%20%3D%20r%22%24%5Clambda_%7B%5Cbar%7B%5Cmathrm%7Bs%7D%7D%7D%20%3D%200%24%22%0A%20%20%20%20%20%20%20%20for%20_x%2C%20_y%2C%20_txt%2C%20_k%20in%20((62%2C%200.13%2C%20r%22%24%5Clambda_%5Cmathrm%7Ba%7D%24%22%2C%20%22anchor%22)%2C%20(36%2C%200.4%2C%20r%22%24%5Clambda_%7B%5Cbar%7B%5Cmathrm%7Bs%7D%7D%7D%24%22%2C%20%22anti%22))%3A%20%20%23%20fmt%3A%20skip%0A%20%20%20%20%20%20%20%20%20%20%20%20axd%5B%22w-span-anti%22%5D.annotate(_txt%2C%20(_x%2C%20_y)%2C%20fontsize%3D9%2C%20color%3D_term%5B_k%5D%2C%20va%3D%22bottom%22)%0A%20%20%20%20%20%20%20%20axd%5B%22w-span-bare%22%5D.annotate(_zero%2C%20(50%2C%204e-4)%2C%20fontsize%3D8%2C%20color%3D_term%5B%22anti%22%5D%2C%20va%3D%22bottom%22)%0A%20%20%20%20%20%20%20%20axd%5B%22w-op1-bare%22%5D.annotate(_zero%2C%20(50%2C%204e-4)%2C%20fontsize%3D8%2C%20color%3D_term%5B%22anti%22%5D%2C%20va%3D%22bottom%22)%0A%20%20%20%20%20%20%20%20return%20fig%0A%0A%20%20%20%20mo.Html(_plot())%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ANCHORED%2C%20LABELS_TXT%2C%20alpha_bar%2C%20traj)%3A%0A%20%20%20%20%23%20H4%20as%20a%20scored%20table%3A%20containment%20per%20condition%2C%20retention%20per%20run.%20The%0A%20%20%20%20%23%20retention%20gate%20is%20per%20*run*%2C%20so%20its%20column%20counts%20runs%20rather%20than%20averaging.%0A%20%20%20%20def%20_retention(cond%3A%20str)%20-%3E%20tuple%5Blist%5Bfloat%5D%2C%20int%5D%3A%0A%20%20%20%20%20%20%20%20ratios%2C%20below%20%3D%20%5B%5D%2C%200%0A%20%20%20%20%20%20%20%20for%20s%20in%20ex.SEEDS%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20m%20%3D%20traj(cond%2C%20s%2C%20%22m_op1%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20m.max()%20%3E%3D%20ex.H4_FLOOR%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ratios.append(float(m%5B-1%5D%20%2F%20m.max()))%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20below%20%2B%3D%201%0A%20%20%20%20%20%20%20%20return%20ratios%2C%20below%0A%0A%20%20%20%20def%20_row(cond%3A%20str)%20-%3E%20str%3A%0A%20%20%20%20%20%20%20%20a%20%3D%20alpha_bar(cond)%0A%20%20%20%20%20%20%20%20ratios%2C%20below%20%3D%20_retention(cond)%0A%20%20%20%20%20%20%20%20anti%20%3D%20any(c%5B%22name%22%5D%20%3D%3D%20cond%20and%20c%5B%22anti%22%5D%20for%20c%20in%20ex.CONDITIONS)%0A%20%20%20%20%20%20%20%20scored%20%3D%20anti%20and%20cond%20!%3D%20%22span-anti-hi%22%20%20%23%20H4(a)%20scopes%20to%20the%20%CE%BB_a%20%3D%200.1%20anti%20conditions%0A%20%20%20%20%20%20%20%20gate%20%3D%20%22%E2%80%94%22%20if%20not%20scored%20else%20(%22pass%22%20if%20a.mean()%20%3C%3D%20ex.MEAN_ALIGN_GATE%20else%20%22fail%22)%0A%20%20%20%20%20%20%20%20if%20scored%20and%20gate%20%3D%3D%20%22fail%22%20and%20a.mean()%20%3C%3D%20ex.MEAN_ALIGN_PARTIAL%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20gate%20%3D%20%22partial%22%0A%20%20%20%20%20%20%20%20r_txt%20%3D%20%22%2C%20%22.join(f%22%7Br%3A.2f%7D%22%20for%20r%20in%20ratios)%20if%20ratios%20else%20f%22below%20floor%20(%7Bbelow%7D%2F%7Blen(ex.SEEDS)%7D)%22%0A%20%20%20%20%20%20%20%20r_gate%20%3D%20%22%E2%80%94%22%20if%20not%20ratios%20else%20(%22pass%22%20if%20min(ratios)%20%3E%3D%20ex.H4_RETENTION%20else%20%22fail%22)%0A%20%20%20%20%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Ctr%3E%3Cth%3E%7BLABELS_TXT%5Bcond%5D%7D%3C%2Fth%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Ctd%20class%3D'num'%3E%7Ba.mean()%3A.3f%7D%20%3Cspan%20class%3D'range'%3E%C2%B1%7B(a.max()%20-%20a.min())%20%2F%202%3A.3f%7D%3C%2Fspan%3E%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Ctd%3E%7Bgate%7D%3C%2Ftd%3E%3Ctd%20class%3D'num'%3E%7Br_txt%7D%3C%2Ftd%3E%3Ctd%3E%7Br_gate%7D%3C%2Ftd%3E%3C%2Ftr%3E%22%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20_table%20%3D%20f%22%22%22%0A%20%20%20%20%3Cdiv%20class%3D%22report-table-scroll%22%3E%3Ctable%20class%3D%22report-table%22%3E%0A%20%20%20%20%20%20%3Cthead%3E%3Ctr%3E%0A%20%20%20%20%20%20%20%20%3Cth%3Econdition%3C%2Fth%3E%3Cth%20class%3D%22num%22%3E%E1%BE%B1%20at%20op1%3C%2Fth%3E%3Cth%3EH4(a)%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%3Cth%20class%3D%22num%22%3Eretention%2C%20per%20seed%3C%2Fth%3E%3Cth%3EH4(b)%3C%2Fth%3E%0A%20%20%20%20%20%20%3C%2Ftr%3E%3C%2Fthead%3E%0A%20%20%20%20%20%20%3Ctbody%3E%7B%22%22.join(_row(c)%20for%20c%20in%20ANCHORED)%7D%3C%2Ftbody%3E%0A%20%20%20%20%3C%2Ftable%3E%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22%0A%20%20%20%20_caption%20%3D%20f%22%22%22%0A%20%20%20%20The%20two%20H4%20gates.%20%E1%BE%B1%20is%20the%20end-of-training%20mean%20alignment%20over%20all%20216%0A%20%20%20%20colors%20at%20op1%2C%20seed%20mean%20with%20half%20the%20seed%20range.%20H4(a)%20scores%20the%0A%20%20%20%20%CE%BB%3Csub%3Ea%3C%2Fsub%3E%20%3D%20%7Bex.SCORING_LAMBDA%3Ag%7D%20anti%20conditions%20against%20a%20ceiling%20of%0A%20%20%20%20%7Bex.MEAN_ALIGN_GATE%3Ag%7D%2C%20with%20%3Cem%3Epartial%3C%2Fem%3E%20marking%20a%20condition%20that%20clears%0A%20%20%20%20the%20%7Bex.MEAN_ALIGN_PARTIAL%3Ag%7D%20level%20without%20reaching%20it.%20Retention%20is%20each%0A%20%20%20%20run's%20final%20margin%20over%20its%20running%20maximum%3B%20runs%20whose%20maximum%20never%0A%20%20%20%20reaches%20%7Bex.H4_FLOOR%3Ag%7D%20are%20reported%20but%20not%20scored%2C%20and%20H4(b)%20passes%20when%0A%20%20%20%20every%20scored%20run%20holds%20%7Bex.H4_RETENTION%3Ag%7D%C3%97%20its%20peak.%0A%20%20%20%20%22%22%22%0A%20%20%20%20mo.Html(figure_html(_table%2C%20caption%3D_caption%2C%20class_%3D%22report-figure%22))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ANCHORED%2C%20alpha_bar%2C%20traj)%3A%0A%20%20%20%20_EX216_A%20%3D%200.5257%0A%0A%20%20%20%20def%20_ratios(cond%3A%20str)%20-%3E%20list%5Bfloat%5D%3A%0A%20%20%20%20%20%20%20%20return%20%5Bfloat(t%5B-1%5D%20%2F%20t.max())%20for%20s%20in%20ex.SEEDS%20if%20(t%20%3A%3D%20traj(cond%2C%20s%2C%20%22m_op1%22)).max()%20%3E%3D%20ex.H4_FLOOR%5D%0A%0A%20%20%20%20def%20_peak(cond%3A%20str)%20-%3E%20list%5Bfloat%5D%3A%0A%20%20%20%20%20%20%20%20%22%22%22The%20epoch%20at%20which%20each%20seed's%20margin%20trajectory%20peaks.%22%22%22%0A%20%20%20%20%20%20%20%20return%20%5Bfloat(traj(cond%2C%20s%2C%20%22epoch%22)%5Btraj(cond%2C%20s%2C%20%22m_op1%22).argmax()%5D)%20for%20s%20in%20ex.SEEDS%5D%0A%0A%20%20%20%20_held%20%3D%20%5Bc%20for%20c%20in%20ANCHORED%20if%20_ratios(c)%20and%20min(_ratios(c))%20%3E%3D%20ex.H4_RETENTION%5D%0A%20%20%20%20_slid%20%3D%20%5Bc%20for%20c%20in%20ANCHORED%20if%20_ratios(c)%20and%20min(_ratios(c))%20%3C%20ex.H4_RETENTION%5D%0A%20%20%20%20mo.md(rf%22%22%22%0A%20%20%20%20**H4%20fails%20on%20both%20parts.**%0A%0A%20%20%20%20(a)%20Containment.%20No%20*anti*%20condition%20at%20the%20scoring%20rung%20falls%20to%20%24%5Cbar%5Calpha%20%5Cle%20%7Bex.MEAN_ALIGN_GATE%3Ag%7D%24%3A%20%60span-anti%60%20ends%20at%20%7Balpha_bar(%22span-anti%22).mean()%3A.3f%7D%2C%20%60op1-anti%60%20at%20%7Balpha_bar(%22op1-anti%22).mean()%3A.3f%7D%2C%20and%20the%20timing%20arm%20at%20%7Balpha_bar(%22span-anti-late%22).mean()%3A.3f%7D.%20The%20named%20partial%20asked%20all%20of%20them%20to%20clear%20the%20looser%20bar%20of%20%7Bex.MEAN_ALIGN_PARTIAL%3Ag%7D%2C%20and%20%60span-anti%60%20misses%20that%20too%2C%20so%20H4(a)%20fails%20outright%20rather%20than%20partially.%0A%0A%20%20%20%20The%20repulsive%20term%20does%20reduce%20the%20quantity%20it%20is%20defined%20on%3A%20%24%5Cbar%5Calpha%24%20ends%20at%20%7Balpha_bar(%22span-bare%22).mean()%3A.2f%7D%20in%20the%20bare%20condition%20and%20%7Balpha_bar(%22span-anti%22).mean()%3A.2f%7D%20with%20the%20term.%20But%20at%20the%20weight%20ratio%20carried%20over%20from%20M1%2C%20the%20term%20only%20weakens%20the%20cube-wide%20drift%3B%20it%20does%20not%20contain%20it.%0A%0A%20%20%20%20The%20trajectory%20shows%20when%20containment%20is%20lost.%20While%20the%20repulsion%20outweighs%20the%20pull%2C%20%24%5Cbar%5Calpha%24%20sits%20near%20the%20control.%20It%20climbs%20once%20the%20anneal%20has%20brought%20%24%5Clambda_%7B%7B%5Cbar%7B%7B%5Cmathrm%7B%7Bs%7D%7D%7D%7D%7D%7D%24%20down%20to%20about%20a%20tenth%20of%20%24%5Clambda_%5Ctext%7B%7Ba%7D%7D%24.%20So%20each%20condition%20breaks%20at%20a%20time%20set%20by%20its%20own%20schedule%3A%20around%20epoch%2040%20on%20the%20default%20anneal%2C%20and%20epoch%2075%20on%20the%20late%20one.%20The%20preregistration%20flagged%20this%20contrary%20outcome%20as%20a%20possibility%20for%20this%20figure%2C%20and%20the%20timing%20arm%20was%20positioned%20to%20test%20it.%0A%0A%20%20%20%20(b)%20Retention.%20%7Blen(_held)%7D%20of%20the%20six%20anchored%20conditions%20hold%20%7Bex.H4_RETENTION%3Ag%7D%C3%97%20their%20peak%20(%7B%22%2C%20%22.join(f%22%60%7Bc%7D%60%22%20for%20c%20in%20_held)%7D)%2C%20and%20%7Blen(_slid)%7D%20slide%20below%20it%20(%7B%22%2C%20%22.join(f%22%60%7Bc%7D%60%22%20for%20c%20in%20_slid)%7D).%20The%20gate%20applies%20to%20every%20anchored%20run%2C%20so%20H4(b)%20fails.%0A%0A%20%20%20%20The%20split%20does%20not%20fall%20purely%20along%20the%20same%20line%20as%20H3.%20Both%20op1%20conditions%20hold%2C%20at%20%7Bmin(min(_ratios(c))%20for%20c%20in%20(%22op1-bare%22%2C%20%22op1-anti%22))%3A.2f%7D%20or%20better%20across%20all%20six%20runs.%20So%20does%20%60span-anti-late%60%2C%20which%20pulls%20the%20full%20span.%0A%0A%20%20%20%20What%20the%20three%20holding%20conditions%20have%20in%20common%20is%20that%20something%20held%20the%20color-independent%20shift%20down.%20In%20two%20of%20them%20a%20narrow%20pull%20lowers%20the%20level%20%24%5Cbar%5Calpha%24%20settles%20at%3B%20in%20the%20third%2C%20a%20repulsion%20held%20near%20peak%20through%20epoch%20%7Bex.ANTI_ANNEAL_END_LATE%3Ag%7D%20delays%20the%20climb.%20The%20three%20that%20slide%20are%20the%20ones%20where%20%24%5Cbar%5Calpha%24%20was%20free%20to%20climb.%20Wherever%20it%20climbs%2C%20the%20peak%20also%20moves%20later%3A%20epochs%20%7Bmin(_peak(%22span-bare%22))%3A.0f%7D%E2%80%93%7Bmax(_peak(%22span-bare%22))%3A.0f%7D%20in%20%60span-bare%60%2C%20%7Bmin(_peak(%22span-anti%22))%3A.0f%7D%E2%80%93%7Bmax(_peak(%22span-anti%22))%3A.0f%7D%20once%20the%20repulsive%20term%20is%20added%2C%20and%20%7Bmin(_peak(%22span-anti-late%22))%3A.0f%7D%E2%80%93%7Bmax(_peak(%22span-anti-late%22))%3A.0f%7D%20in%20the%20timing%20arm.%20That%20looks%20like%20a%20slower%20climb%20to%20a%20higher%20place%2C%20rather%20than%20an%20early%20peak%20that%20erodes.%0A%0A%20%20%20%20In%20ex-2.1.6%20the%20margin%20rose%20early%20and%20then%20gave%20back%20a%20quarter%20of%20itself%2C%20and%20the%20reading%20offered%20there%20was%20that%20the%20rest%20of%20the%20cube%20was%20catching%20up.%20This%20experiment%20supports%20that%20reading%2C%20and%20points%20to%20the%20color-independent%20shift%20as%20the%20thing%20doing%20the%20catching%20up.%20%60op1-bare%60%20stops%20the%20slide%20while%20carrying%20no%20repulsive%20term%20at%20all.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(CONDS%3A%20list%5Bstr%5D%2C%20LABELS%2C%20arrays%2C%20geometry%2C%20margin_map)%3A%0A%20%20%20%20_by_layer%20%3D%20%7Bc%3A%20margin_map(c)%5B%3A%2C%200%5D%20for%20c%20in%20CONDS%7D%0A%20%20%20%20_seeds%20%3D%20%7Bc%3A%20np.array(%5Barrays%5Bf%22%7Bc%7D-s%7Bs%7D%2Fmargin%22%5D%5B%3A%2C%200%5D%20for%20s%20in%20ex.SEEDS%5D)%20for%20c%20in%20CONDS%7D%0A%20%20%20%20_dot%20%3D%20%7Bc%3A%20np.mean(%5Bgeometry%5Bf%22%7Bc%7D-s%7Bs%7D%22%5D%5B%22centre_dot_anchor%22%5D%20for%20s%20in%20ex.SEEDS%5D%2C%20axis%3D0)%20for%20c%20in%20CONDS%7D%0A%20%20%20%20_spread%20%3D%20%7Bc%3A%20np.mean(%5Bgeometry%5Bf%22%7Bc%7D-s%7Bs%7D%22%5D%5B%22spread%22%5D%20for%20s%20in%20ex.SEEDS%5D%2C%20axis%3D0)%20for%20c%20in%20CONDS%7D%0A%20%20%20%20_depths%20%3D%20np.arange(len(_by_layer%5B%22lam0%22%5D))%0A%0A%20%20%20%20%40themed(%0A%20%20%20%20%20%20%20%20name%3D%22by-layer%22%2C%0A%20%20%20%20%20%20%20%20alt_text%3D%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20Three%20panels%20against%20layer%20depth%2C%20one%20line%20per%20condition.%20The%20margin%0A%20%20%20%20%20%20%20%20%20%20%20%20decays%20with%20depth%20in%20every%20condition%2C%20least%20in%20the%20timing%20arm%3B%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20cloud%20centre%20swings%20far%20onto%20the%20anchor%20direction%20under%20the%20bare%0A%20%20%20%20%20%20%20%20%20%20%20%20span%20pull%20and%20much%20less%20under%20every%20other%20condition%3B%20and%20the%20cloud's%0A%20%20%20%20%20%20%20%20%20%20%20%20extent%20shrinks%20with%20depth%2C%20with%20the%20bare%20span%20pull%20and%20the%20ceiling%0A%20%20%20%20%20%20%20%20%20%20%20%20arm%20the%20narrowest.%0A%20%20%20%20%20%20%20%20%22%22%22%2C%0A%20%20%20%20%20%20%20%20caption%3Dr%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20Margin%20and%20cloud%20geometry%20by%20layer%2C%20seed%20means.%20Depth%200%20is%0A%20%20%20%20%20%20%20%20%20%20%20%20the%20token%20embedding%20and%20depth%204%20the%20last%20block's%20output.%0A%20%20%20%20%20%20%20%20%20%20%20%20**Left%3A**%20the%20margin%20at%20op1%20by%20layer%20%E2%80%94%20the%20per-depth%20terms%20whose%0A%20%20%20%20%20%20%20%20%20%20%20%20mean%20is%20%24m_%7B%5Ctext%7Bop1%7D%7D%24%3B%20the%20shaded%20band%20around%20the%20control%20is%20its%0A%20%20%20%20%20%20%20%20%20%20%20%20seed%20min%E2%80%93max%2C%20as%20the%20scale%20of%20a%20null.%0A%20%20%20%20%20%20%20%20%20%20%20%20**Middle%3A**%20the%20cosine%20between%20the%20centre%20of%20the%20216%20op1%20states%20and%0A%20%20%20%20%20%20%20%20%20%20%20%20the%20anchor%20direction%20%E2%80%94%20where%20the%20cloud%20sits.%0A%20%20%20%20%20%20%20%20%20%20%20%20**Right%3A**%20the%20extent%20of%20that%20cloud%2C%20the%20mean%20squared%0A%20%20%20%20%20%20%20%20%20%20%20%20distance%20of%20a%20color%20from%20the%20centre%20(states%20are%20unit-norm%2C%20so%20this%0A%20%20%20%20%20%20%20%20%20%20%20%20runs%20from%200%20for%20a%20collapsed%20cloud%20to%201%20for%20a%20spread%20one).%20The%0A%20%20%20%20%20%20%20%20%20%20%20%20repulsive%20term%20acts%20on%20the%20middle%20panel%20by%20construction%3B%20the%20right%0A%20%20%20%20%20%20%20%20%20%20%20%20panel%20is%20what%20it%20costs.%0A%20%20%20%20%20%20%20%20%22%22%22%2C%0A%20%20%20%20)%0A%20%20%20%20def%20_plot()%20-%3E%20plt.Figure%3A%0A%20%20%20%20%20%20%20%20from%20typing%20import%20cast%0A%0A%20%20%20%20%20%20%20%20from%20mini.vis%20import%20AxesRow%0A%0A%20%20%20%20%20%20%20%20fig%2C%20axes%20%3D%20plt.subplots(1%2C%203%2C%20figsize%3D(9.6%2C%203.2))%0A%20%20%20%20%20%20%20%20axes%20%3D%20cast(AxesRow%2C%20axes)%0A%20%20%20%20%20%20%20%20_ink%20%3D%20dict(zip(CONDS%2C%20light_dark(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%22%23999%22%2C%20%22%23f2b134%22%2C%20%22%23c1332a%22%2C%20%22%23e08a2e%22%2C%20%22%237a2320%22%2C%20%22%233d7ea6%22%2C%20%22%235c3d8f%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%22%23888%22%2C%20%22%23ffcc66%22%2C%20%22%23f0665a%22%2C%20%22%23ffab5e%22%2C%20%22%23b8564d%22%2C%20%22%236ab0d4%22%2C%20%22%23a78bd6%22%5D%2C%0A%20%20%20%20%20%20%20%20)%2C%20strict%3DTrue))%20%20%23%20fmt%3A%20skip%0A%20%20%20%20%20%20%20%20band%20%3D%20_seeds%5B%22lam0%22%5D%0A%20%20%20%20%20%20%20%20axes%5B0%5D.fill_between(_depths%2C%20band.min(0)%2C%20band.max(0)%2C%20color%3D_ink%5B%22lam0%22%5D%2C%20alpha%3D0.25%2C%20lw%3D0)%0A%20%20%20%20%20%20%20%20panels%20%3D%20((axes%5B0%5D%2C%20_by_layer%2C%20r%22%24m%24%20at%20op1%22)%2C%20(axes%5B1%5D%2C%20_dot%2C%20%22centre%20%C2%B7%20anchor%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(axes%5B2%5D%2C%20_spread%2C%20%22extent%20of%20the%20cloud%22))%20%20%23%20fmt%3A%20skip%0A%20%20%20%20%20%20%20%20for%20ax%2C%20data%2C%20title%20in%20panels%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20cond%20in%20CONDS%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ax.plot(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_depths%2C%20data%5Bcond%5D%2C%20color%3D_ink%5Bcond%5D%2C%20marker%3D%22o%22%2C%20ms%3D3.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20lw%3D1.8%20if%20cond%20in%20ex.FACTORIAL%20else%201.3%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ls%3D%22-%22%20if%20cond%20in%20ex.FACTORIAL%20or%20cond%20%3D%3D%20%22lam0%22%20else%20(0%2C%20(4%2C%203))%2C%20label%3DLABELS%5Bcond%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%20%20%23%20fmt%3A%20skip%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.set_title(title%2C%20fontsize%3D10)%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.set_xticks(_depths)%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.set_xlabel(%22layer%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.axhline(0%2C%20color%3Dlight_dark(%22%23bbb%22%2C%20%22%23555%22)%2C%20lw%3D0.8%2C%20zorder%3D0)%0A%20%20%20%20%20%20%20%20axes%5B2%5D.set_ylim(0%2C%201.0)%0A%20%20%20%20%20%20%20%20axes%5B0%5D.legend(fontsize%3D7%2C%20frameon%3DFalse%2C%20ncols%3D2%2C%20loc%3D%22upper%20right%22)%0A%20%20%20%20%20%20%20%20return%20fig%0A%0A%20%20%20%20mo.Html(_plot())%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(CONDS%3A%20list%5Bstr%5D%2C%20LABELS_TXT%2C%20geometry%2C%20margin_map)%3A%0A%20%20%20%20def%20_at(cond%3A%20str%2C%20key%3A%20str%2C%20layer%3A%20int)%20-%3E%20float%3A%0A%20%20%20%20%20%20%20%20return%20float(np.mean(%5Bgeometry%5Bf%22%7Bcond%7D-s%7Bs%7D%22%5D%5Bkey%5D%5Blayer%5D%20for%20s%20in%20ex.SEEDS%5D))%0A%0A%20%20%20%20_ctrl_spread%20%3D%20_at(%22lam0%22%2C%20%22spread%22%2C%202)%0A%0A%20%20%20%20def%20_row(cond%3A%20str)%20-%3E%20str%3A%0A%20%20%20%20%20%20%20%20cls%20%3D%20'%20class%3D%22ref%22'%20if%20cond%20%3D%3D%20%22lam0%22%20else%20%22%22%0A%20%20%20%20%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Ctr%7Bcls%7D%3E%3Cth%3E%7BLABELS_TXT%5Bcond%5D%7D%3C%2Fth%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Ctd%20class%3D%22num%22%3E%7Bmargin_map(cond)%5B0%2C%200%5D%3A.2f%7D%3C%2Ftd%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Ctd%20class%3D%22num%22%3E%7Bmargin_map(cond)%5B-1%2C%200%5D%3A.2f%7D%3C%2Ftd%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Ctd%20class%3D%22num%22%3E%7B_at(cond%2C%20%22centre_dot_anchor%22%2C%202)%3A.2f%7D%3C%2Ftd%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Ctd%20class%3D%22num%22%3E%7B_at(cond%2C%20%22spread%22%2C%202)%20%2F%20_ctrl_spread%3A.0%25%7D%3C%2Ftd%3E%3C%2Ftr%3E'%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20_table%20%3D%20f%22%22%22%0A%20%20%20%20%3Cdiv%20class%3D%22report-table-scroll%22%3E%3Ctable%20class%3D%22report-table%22%3E%0A%20%20%20%20%20%20%3Cthead%3E%3Ctr%3E%0A%20%20%20%20%20%20%20%20%3Cth%3E%3C%2Fth%3E%3Cth%20class%3D%22num%22%3Em%2C%20embedding%3C%2Fth%3E%3Cth%20class%3D%22num%22%3Em%2C%20last%20layer%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%3Cth%20class%3D%22num%22%3Ecentre%20%C2%B7%20anchor%3C%2Fth%3E%3Cth%20class%3D%22num%22%3Eextent%3C%2Fth%3E%0A%20%20%20%20%20%20%3C%2Ftr%3E%3C%2Fthead%3E%0A%20%20%20%20%20%20%3Ctbody%3E%7B%22%22.join(_row(c)%20for%20c%20in%20CONDS)%7D%3C%2Ftbody%3E%0A%20%20%20%20%3C%2Ftable%3E%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22%0A%20%20%20%20_caption%20%3D%20mo.md(r%22%22%22%0A%20%20%20%20Per-layer%20geometry%20at%20op1%2C%20seed-averaged%2C%20decoding%20the%20three%20panels%20above.%20First%20two%20columns%3A%20the%20margin%20at%20the%20token%20embedding%20and%20at%20the%20last%20layer.%20Last%20two%2C%20read%20mid-stack%20at%20layer%202%20where%20the%20control%20cloud%20is%20still%20broad%3A%20the%20cosine%20between%20the%20centre%20of%20the%20color%20cloud%20and%20the%20anchor%20direction%2C%20and%20the%20extent%20of%20the%20cloud%20as%20a%20fraction%20of%20the%20control's.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20mo.Html(figure_html(_table%2C%20caption%3D_caption.text%2C%20class_%3D%22report-figure%22))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(geometry%2C%20margin_map)%3A%0A%20%20%20%20def%20_at(cond%3A%20str%2C%20key%3A%20str%2C%20layer%3A%20int)%20-%3E%20float%3A%0A%20%20%20%20%20%20%20%20return%20float(np.mean(%5Bgeometry%5Bf%22%7Bcond%7D-s%7Bs%7D%22%5D%5Bkey%5D%5Blayer%5D%20for%20s%20in%20ex.SEEDS%5D))%0A%0A%20%20%20%20def%20_eff(key%3A%20str%2C%20factor%3A%20str%20%3D%20%22op1%22%2C%20layer%3A%20int%20%3D%202)%20-%3E%20float%3A%0A%20%20%20%20%20%20%20%20%22%22%22A%20factorial%20main%20effect%20read%20on%20a%20geometry%20statistic%20rather%20than%20on%20the%20margin.%22%22%22%0A%20%20%20%20%20%20%20%20sb%2C%20sa%2C%20ob%2C%20oa%20%3D%20(_at(c%2C%20key%2C%20layer)%20for%20c%20in%20(%22span-bare%22%2C%20%22span-anti%22%2C%20%22op1-bare%22%2C%20%22op1-anti%22))%0A%20%20%20%20%20%20%20%20return%20(ob%20%2B%20oa)%20%2F%202%20-%20(sb%20%2B%20sa)%20%2F%202%20if%20factor%20%3D%3D%20%22op1%22%20else%20(sa%20%2B%20oa)%20%2F%202%20-%20(sb%20%2B%20ob)%20%2F%202%0A%0A%20%20%20%20%23%20REVIEW%3A%20three%20changes%20in%20the%20prose%20below%2C%20all%20narrowing%20claims%20to%20what%20the%0A%20%20%20%20%23%20per-layer%20numbers%20show.%0A%20%20%20%20%23%20(1)%20%22Both%20factors%20flatten%20that%20decay%20rather%20than%20raising%20the%20starting%0A%20%20%20%20%23%20%20%20%20%20point%22%20-%3E%20%22act%20mostly%20on%20that%20decay%20rather%20than%20on%20the%20starting%0A%20%20%20%20%23%20%20%20%20%20point%22%3A%20the%20op1%20factor%20does%20raise%20layer%200%2C%20from%200.448%20(span-bare)%20to%0A%20%20%20%20%23%20%20%20%20%200.740%20(op1-bare)%2C%20which%20the%20next%20sentence%20then%20quotes%20as%201.6x.%20The%0A%20%20%20%20%23%20%20%20%20%20depth%20claim%20survives%20because%20the%20end-of-stack%20ratio%20is%204x.%0A%20%20%20%20%23%20(2)%20The%20timing%20arm%20%22gaining%20through%20the%20stack%20where%20every%20other%20condition%0A%20%20%20%20%23%20%20%20%20%20loses%22%20-%3E%20rises%20mid-stack%20and%20finishes%20about%20where%20it%20started%3A%20it%20runs%0A%20%20%20%20%23%20%20%20%20%200.450%20-%3E%200.428%2C%20a%20slight%20net%20loss%2C%20with%20the%20gain%20confined%20to%20layers%0A%20%20%20%20%23%20%20%20%20%201-2.%20Verify%3A%20%60margin_map(%22span-anti-late%22)%5B%3A%2C%200%5D%60.%0A%20%20%20%20%23%20(3)%20The%20control's%20centre-anchor%20cosine%20of%200.02%20was%20glossed%20as%20%22about%20what%0A%20%20%20%20%23%20%20%20%20%20an%20unrelated%20direction%20gives%20in%2064%20dimensions%22.%20A%20random%20direction%20in%0A%20%20%20%20%23%20%20%20%20%20d64%20gives%20%7Ccos%7C%20~%201%2F8%2C%20so%200.02%20is%20well%20below%20that%2C%20not%20typical%20of%20it%3B%0A%20%20%20%20%23%20%20%20%20%20replaced%20with%20a%20plain%20statement%20of%20what%20the%20number%20means.%20(Same%20class%0A%20%20%20%20%23%20%20%20%20%20of%20slip%20as%20the%20H4(a)%20note%20in%20the%20Hypotheses%20cell.)%20The%20layer%20these%0A%20%20%20%20%23%20%20%20%20%20geometry%20numbers%20are%20read%20at%20(2)%20was%20also%20unstated%2C%20and%20is%20now%20named.%0A%0A%20%20%20%20mo.md(rf%22%22%22%0A%20%20%20%20**Increased%20selectivity%20at%20deeper%20layers.**%20The%20margin%20in%20Ex-2.1.6%20peaked%20in%20the%20embedding%20and%20decayed%20through%20the%20stack%20(reproduced%20here).%20Both%20new%20factors%20act%20mostly%20on%20the%20decay%20rather%20than%20on%20the%20starting%20point%3A%20%60op1-anti%60%20starts%20%7Bmargin_map(%22op1-anti%22)%5B0%2C%200%5D%20%2F%20margin_map(%22span-bare%22)%5B0%2C%200%5D%3A.1f%7D%C3%97%20the%20bare%20span%20condition%20and%20ends%20the%20stack%20at%20%7Bmargin_map(%22op1-anti%22)%5B-1%2C%200%5D%20%2F%20margin_map(%22span-bare%22)%5B-1%2C%200%5D%3A.0f%7D%C3%97%20its%20margin.%0A%0A%20%20%20%20The%20timing%20arm%20makes%20that%20plainest.%20It%20leaves%20the%20embedding%20approx.%20equal%20to%20%60span-bare%60%2C%20rises%20through%20the%20middle%20of%20the%20stack%2C%20and%20finishes%20highest%20of%20any%20condition%20%E2%80%94%20about%20where%20it%20started%2C%20while%20every%20other%20condition%20ends%20well%20below%20its%20own%20embedding%20value.%0A%0A%20%20%20%20**Both%20factors%20independently%20reduce%20the%20whole-cube%20shift.**%20The%20anchor%20axis%20carries%20essentially%20nothing%20about%20where%20the%20control%20cloud%20sits%2C%20and%20the%20bare%20span%20pull%20(ex-2.1.6)%20swings%20it%20most%20of%20the%20way%20over.%20The%20timing%20arm%20resists%20the%20whole-cube%20shift%20best%20out%20of%20the%20tested%20conditions.%0A%0A%20%20%20%20**A%20*separate*%20term%20may%20not%20be%20needed.**%20In%20ex-2.1.6%2C%20the%20bare%20anchor%20compressed%20the%20cube%20mid-stack%2C%20suggesting%20that%20the%20*anti-subspace*%20and%20pairwise%20*separation*%20terms%20from%20M1%20may%20be%20needed.%20But%20in%20this%20experiment%2C%20most%20of%20the%20extent%20was%20recovered%20by%20*anti-subspace*%20alone.%0A%0A%20%20%20%20Restoring%20the%20extent%20is%20not%20something%20the%20repulsion%20does%20specifically%2C%20yet%20the%20spread%20improves%20over%20the%20factorial%20conditions%20in%20the%20same%20order%20as%20the%20margin%20%24m%24.%20It%20seems%20the%20color-independent%20shift%20was%20what%20compressed%20the%20cube%2C%20so%20anything%20that%20reduces%20the%20shift%20restores%20it.%0A%0A%20%20%20%20**Compression%20recurs%20at%20high%20term%20weight%20(ceiling%20arm).**%20At%20%24%5Clambda_%5Ctext%7B%7Ba%7D%7D%20%3D%201%24%20the%20cube%20is%20narrower%20even%20in%20the%20token%20embedding%20(%7B_at(%22span-anti-hi%22%2C%20%22spread%22%2C%200)%3A.2f%7D%20against%20%7B_at(%22lam0%22%2C%20%22spread%22%2C%200)%3A.2f%7D%20everywhere%20else).%20So%20a%20%60separate%60-style%20term%20may%20yet%20be%20needed%20in%20some%20configurations.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Secondary%20measurements%0A%0A%20%20%20%20We%20reuse%20the%20%22where%20is%20redness%20readable%22%20measurement%20from%20ex-2.1.6%2C%20without%20a%20gate.%20Two%20probes%20read%20the%20same%20target%20from%20complementary%20parts%20of%20the%20residual%20stream%3A%20one%20from%20the%20anchor%20coordinate%20alone%2C%20and%20one%20from%20everything%20else.%20The%20repulsive%20term%20pushes%20unlabeled%20colors%20off%20the%20axis%2C%20so%20it%20acts%20on%20both.%0A%0A%20%20%20%20The%20two%20have%20different%20reference%20points.%20The%20anchor%20coordinate%20starts%20empty%20and%20can%20reach%201%2C%20so%20that%20probe%20measures%20how%20much%20redness%20anchoring%20put%20there.%20The%20other%2063%20directions%20encode%20the%20color%20cube%20regardless%20of%20what%20the%20anchor%20does.%20Redness%20is%20a%20function%20of%20color%2C%20so%20that%20probe%20has%20an%20RGB%20floor%20it%20cannot%20go%20far%20below%3A%20it%20reports%20whether%20the%20cube%20survived%20rather%20than%20whether%20the%20concept%20moved.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(CONDS%3A%20list%5Bstr%5D%2C%20LABELS%2C%20cells)%3A%0A%20%20%20%20_leak%20%3D%20%7Bc%3A%20np.mean(%5Bcells%5Bf%22%7Bc%7D-s%7Bs%7D%22%5D%5B%22leak_r2%22%5D%20for%20s%20in%20ex.SEEDS%5D%2C%20axis%3D0)%20for%20c%20in%20CONDS%7D%0A%20%20%20%20_axis%20%3D%20%7Bc%3A%20np.mean(%5Bcells%5Bf%22%7Bc%7D-s%7Bs%7D%22%5D%5B%22axis_r2%22%5D%20for%20s%20in%20ex.SEEDS%5D%2C%20axis%3D0)%20for%20c%20in%20CONDS%7D%0A%20%20%20%20_depths%20%3D%20np.arange(len(_leak%5B%22lam0%22%5D))%0A%20%20%20%20_floor%20%3D%20ex.redness_rgb_floor()%0A%0A%20%20%20%20%40themed(%0A%20%20%20%20%20%20%20%20name%3D%22leakage%22%2C%0A%20%20%20%20%20%20%20%20alt_text%3Df%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20Two%20panels%20against%20layer%20depth%2C%20sharing%20a%20vertical%20R%C2%B2%20scale.%20Left%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20how%20well%20redness%20reads%20from%20the%20other%2063%20directions%20once%20the%20anchor%0A%20%20%20%20%20%20%20%20%20%20%20%20coordinate%20is%20removed%2C%20for%20each%20condition.%20Every%20line%20sits%20in%20a%0A%20%20%20%20%20%20%20%20%20%20%20%20narrow%20band%20near%20the%20top%2C%20at%20the%20caret%20marking%20the%20R%C2%B2%20%3D%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B_floor%3A.2f%7D%20floor.%20Right%3A%20the%20same%20target%20read%20from%20the%20anchor%0A%20%20%20%20%20%20%20%20%20%20%20%20coordinate%20alone%2C%20where%20the%20conditions%20separate%20widely%20and%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20control%20sits%20near%20zero.%0A%20%20%20%20%20%20%20%20%22%22%22%2C%0A%20%20%20%20%20%20%20%20caption%3Drf%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20How%20strongly%20redness%20is%20encoded%20at%20op1%2C%20read%20two%20ways%20on%20one%20R%C2%B2%20scale.%0A%20%20%20%20%20%20%20%20%20%20%20%20**Left%3A**%20held-out%20R%C2%B2%20for%20a%20ridge%20probe%20predicting%20redness%20from%20the%20residual%20stream%20at%20op1%20with%20the%20%24%5Chat%20v_%7B%7B%5Ctext%7B%7Bred%7D%7D%7D%7D%24%20coordinate%20deleted.%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20caret%20marks%20R%C2%B2%20%3D%20%7B_floor%3A.2f%7D%2C%20the%20score%20the%20same%20probe%20gets%20from%20the%20raw%20RGB%20values%2C%20which%20no%20condition%20can%20fall%20far%20below%20while%20the%20cube%20is%20intact.%0A%20%20%20%20%20%20%20%20%20%20%20%20**Right%3A**%20the%20same%20target%20read%20from%20the%20anchor%20coordinate%20alone%2C%20as%20squared%20correlation%2C%20which%20starts%20at%20zero%20and%20has%20room%20to%20reach%201.%0A%20%20%20%20%20%20%20%20%20%20%20%20Per-layer%20seed%20means.%20The%20sample%20is%20the%20216%20op1%20colors%2C%20with%20a%205-fold%20split%20so%20no%20color%20is%20scored%20by%20a%20probe%20that%20saw%20it%20during%20fitting.%0A%20%20%20%20%20%20%20%20%20%20%20%20Neither%20panel%20has%20a%20pass%2Ffail%20threshold.%0A%20%20%20%20%20%20%20%20%22%22%22%2C%0A%20%20%20%20)%0A%20%20%20%20def%20_plot()%20-%3E%20plt.Figure%3A%0A%20%20%20%20%20%20%20%20from%20typing%20import%20cast%0A%0A%20%20%20%20%20%20%20%20from%20mini.vis%20import%20AxesRow%0A%0A%20%20%20%20%20%20%20%20fig%2C%20axes%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(8.4%2C%203.0)%2C%20sharey%3DTrue)%0A%20%20%20%20%20%20%20%20axes%20%3D%20cast(AxesRow%2C%20axes)%0A%20%20%20%20%20%20%20%20_ink%20%3D%20dict(zip(CONDS%2C%20light_dark(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%22%23999%22%2C%20%22%23f2b134%22%2C%20%22%23c1332a%22%2C%20%22%23e08a2e%22%2C%20%22%237a2320%22%2C%20%22%233d7ea6%22%2C%20%22%235c3d8f%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%22%23888%22%2C%20%22%23ffcc66%22%2C%20%22%23f0665a%22%2C%20%22%23ffab5e%22%2C%20%22%23b8564d%22%2C%20%22%236ab0d4%22%2C%20%22%23a78bd6%22%5D%2C%0A%20%20%20%20%20%20%20%20)%2C%20strict%3DTrue))%20%20%23%20fmt%3A%20skip%0A%20%20%20%20%20%20%20%20for%20ax%2C%20data%2C%20title%20in%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20(axes%5B0%5D%2C%20_leak%2C%20%22from%20the%20other%2063%20directions%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(axes%5B1%5D%2C%20_axis%2C%20%22from%20the%20anchor%20alone%22)%2C%0A%20%20%20%20%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20cond%20in%20CONDS%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ax.plot(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_depths%2C%20data%5Bcond%5D%2C%20color%3D_ink%5Bcond%5D%2C%20marker%3D%22o%22%2C%20ms%3D3.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20lw%3D1.8%20if%20cond%20in%20ex.FACTORIAL%20else%201.3%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ls%3D%22-%22%20if%20cond%20in%20ex.FACTORIAL%20or%20cond%20%3D%3D%20%22lam0%22%20else%20(0%2C%20(4%2C%203))%2C%20label%3DLABELS%5Bcond%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%20%20%23%20fmt%3A%20skip%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.set_title(title%2C%20fontsize%3D10)%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.set_xticks(_depths)%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.set_xlabel(%22layer%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.set_ylim(-0.05%2C%201.0)%0A%20%20%20%20%20%20%20%20%23%20The%20floor%20is%20a%20property%20of%20the%20target%2C%20not%20of%20any%20run%3A%20a%20caret%20on%20the%0A%20%20%20%20%20%20%20%20%23%20axis%20says%20where%20it%20is%20without%20drawing%20a%20rule%20across%20the%20conditions.%0A%20%20%20%20%20%20%20%20axes%5B0%5D.plot(%0A%20%20%20%20%20%20%20%20%20%20%20%200%2C%20_floor%2C%20marker%3D5%2C%20ms%3D6%2C%20color%3Dlight_dark(%22%23555%22%2C%20%22%23aaa%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20transform%3Daxes%5B0%5D.get_yaxis_transform()%2C%20clip_on%3DFalse%2C%20zorder%3D5%2C%0A%20%20%20%20%20%20%20%20)%20%20%23%20fmt%3A%20skip%0A%20%20%20%20%20%20%20%20axes%5B0%5D.set_ylabel(%22R%C2%B2%20for%20redness%22)%0A%20%20%20%20%20%20%20%20axes%5B0%5D.legend(fontsize%3D7%2C%20frameon%3DFalse%2C%20ncols%3D2%2C%20loc%3D%22lower%20left%22)%0A%20%20%20%20%20%20%20%20return%20fig%0A%0A%20%20%20%20mo.Html(_plot())%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(CONDS%3A%20list%5Bstr%5D%2C%20cells)%3A%0A%20%20%20%20_axis%20%3D%20%7Bc%3A%20float(np.mean(%5Bcells%5Bf%22%7Bc%7D-s%7Bs%7D%22%5D%5B%22axis_r2%22%5D%20for%20s%20in%20ex.SEEDS%5D))%20for%20c%20in%20CONDS%7D%0A%20%20%20%20_floor%20%3D%20ex.redness_rgb_floor()%0A%20%20%20%20%23%20Per-layer%20seed%20means%2C%20for%20the%20depth%20trend%3A%20averaging%20over%20layers%20hides%20it%2C%0A%20%20%20%20%23%20since%20the%20conditions%20cross%20the%20floor%20in%20opposite%20directions.%0A%20%20%20%20_by_depth%20%3D%20%7Bc%3A%20np.mean(%5Bcells%5Bf%22%7Bc%7D-s%7Bs%7D%22%5D%5B%22leak_r2%22%5D%20for%20s%20in%20ex.SEEDS%5D%2C%20axis%3D0)%20for%20c%20in%20CONDS%7D%0A%20%20%20%20mo.md(rf%22%22%22%0A%20%20%20%20**The%20axis%20became%20much%20more%20readable%3B%20everywhere%20else%20sits%20at%20the%20RGB%20floor.**%20On%20the%20anchor%20coordinate%20alone%2C%20redness%20goes%20from%20R%C2%B2%20%3D%20%7B_axis%5B%22lam0%22%5D%3A.2f%7D%20in%20the%20control%20to%20%7B_axis%5B%22op1-bare%22%5D%3A.2f%7D%20and%20%7B_axis%5B%22op1-anti%22%5D%3A.2f%7D%20in%20the%20op1%20conditions.%20That%20is%20double%20what%20the%20bare%20span%20pull%20achieved%20(%7B_axis%5B%22span-bare%22%5D%3A.2f%7D)%2C%20and%20it%20tracks%20the%20margin%20ordering%20closely.%20So%20the%20conditions%20that%20score%20well%20on%20selectivity%20are%20also%20the%20ones%20that%20put%20the%20most%20redness%20on%20the%20axis.%0A%0A%20%20%20%20Read%20from%20the%20other%2063%20directions%2C%20every%20condition%20at%20every%20depth%20stays%20within%20%7Bmax(abs(v%20-%20_floor).max()%20for%20v%20in%20_by_depth.values())%3A.2f%7D%20of%20R%C2%B2%20%3D%20%7B_floor%3A.2f%7D%2C%20which%20is%20what%20the%20same%20probe%20gets%20from%20the%20raw%20RGB%20values.%20Call%20that%20the%20RGB%20floor%3A%20redness%20is%20a%20function%20of%20color%20and%20the%20task%20needs%20the%20color%20cube%2C%20so%20a%20linear%20readout%20recovers%20about%20this%20much%20wherever%20the%20anchor%20put%20it.%20Redness%20found%20outside%20the%20anchor%20is%20the%20cube%20being%20read%2C%20not%20a%20second%20copy%20of%20the%20concept.%20The%20control%20is%20flat%20at%20%7B_by_depth%5B%22lam0%22%5D.min()%3A.2f%7D%E2%80%93%7B_by_depth%5B%22lam0%22%5D.max()%3A.2f%7D%20at%20every%20depth%2C%20just%20under%20the%20floor%2C%20because%20its%20color%20code%20is%20marginally%20lossier%20than%20the%20raw%20channels.%0A%0A%20%20%20%20The%20other%20conditions%20drift%20away%20from%20the%20floor%20with%20depth%2C%20in%20both%20directions.%20The%20op1%20conditions%20start%20*below*%20it%20at%20the%20token%20embedding%20(%7B_by_depth%5B%22op1-anti%22%5D%5B0%5D%3A.2f%7D)%20and%20finish%20*above*%20it%20at%20the%20last%20layer%20(%7B_by_depth%5B%22op1-anti%22%5D%5B-1%5D%3A.2f%7D).%20Above%20the%20floor%20is%20reachable%20because%20the%20residual%20stream%20encodes%20color%20nonlinearly%20and%20redness%20is%20quadratic%20in%20RGB%2C%20so%20a%20linear%20probe%20does%20better%20there%20than%20on%20the%20raw%20channels.%20%60span-bare%60%20runs%20the%20other%20way%2C%20from%20%7B_by_depth%5B%22span-bare%22%5D%5B0%5D%3A.2f%7D%20down%20to%20%7B_by_depth%5B%22span-bare%22%5D%5B-1%5D%3A.2f%7D.%20Falling%20below%20the%20floor%20means%20color%20itself%20was%20lost%2C%20the%20same%20cube%20compression%20its%20spread%20reports.%0A%0A%20%20%20%20This%20measurement%20deletes%201%20direction%20of%2064%2C%20so%20it%20has%20almost%20no%20room%20to%20move%2C%20and%20where%20it%20sits%20is%20set%20by%20what%20the%20task%20requires%20rather%20than%20by%20where%20the%20anchor%20put%20anything.%20It%20is%20a%20check%20that%20the%20color%20cube%20survived%2C%20beside%20task%20accuracy%2C%20rather%20than%20evidence%20about%20the%20anchor.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Arms%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(CONTROL_ACC%2C%20acc%2C%20alpha_bar%2C%20cells%2C%20grading%2C%20m_op1%2C%20traj)%3A%0A%20%20%20%20def%20_ret(cond%3A%20str)%20-%3E%20float%3A%0A%20%20%20%20%20%20%20%20return%20float(np.mean(%5Btraj(cond%2C%20s%2C%20%22m_op1%22)%5B-1%5D%20%2F%20traj(cond%2C%20s%2C%20%22m_op1%22).max()%20for%20s%20in%20ex.SEEDS%5D))%0A%0A%20%20%20%20def%20_leak(cond%3A%20str)%20-%3E%20float%3A%0A%20%20%20%20%20%20%20%20return%20float(np.mean(%5Bcells%5Bf%22%7Bcond%7D-s%7Bs%7D%22%5D%5B%22leak_r2%22%5D%20for%20s%20in%20ex.SEEDS%5D))%0A%0A%20%20%20%20_dm%20%3D%20m_op1(%22span-anti-late%22).mean()%20-%20m_op1(%22span-anti%22).mean()%0A%20%20%20%20mo.md(rf%22%22%22%0A%20%20%20%20%23%23%23%20The%20timing%20arm%0A%0A%20%20%20%20%60span-anti-late%60%20differs%20from%20%60span-anti%60%20in%20one%20way%3A%20the%20epoch%20at%20which%20the%20repulsive%20term%20finishes%20annealing%20down%20to%20its%20hold%20ratio%2C%20moved%20from%20%7Bex.ANTI_ANNEAL_END%3Ag%7D%20to%20%7Bex.ANTI_ANNEAL_END_LATE%3Ag%7D.%20That%20one%20change%20improves%20on%20the%20M1%20schedule%20on%20every%20statistic%20that%20H2%20and%20H4%20score%2C%20which%20we%20did%20not%20expect%3A%0A%0A%20%20%20%20-%20margin%20%7Bm_op1(%22span-anti-late%22).mean()%3A.3f%7D%20against%20%7Bm_op1(%22span-anti%22).mean()%3A.3f%7D.%20The%20difference%20of%20%7B_dm%3A.2f%7D%20is%20about%20%7B_dm%20%2F%20ex.NOISE_SEED_MEAN%3A.0f%7D%20noise%20units%2C%20and%20about%20the%20size%20of%20the%20whole%20anti-subspace%20main%20effect%3B%0A%20%20%20%20-%20retention%20%7B_ret(%22span-anti-late%22)%3A.2f%7D%20against%20%7B_ret(%22span-anti%22)%3A.2f%7D%2C%20moving%20it%20from%20the%20sliding%20group%20to%20the%20holding%20one%3B%0A%20%20%20%20-%20grading%20R%C2%B2%20%7Bgrading(%22span-anti-late%22)%5B2%5D%3A.2f%7D%20against%20%7Bgrading(%22span-anti%22)%5B2%5D%3A.2f%7D%3B%0A%20%20%20%20-%20containment%20%7Balpha_bar(%22span-anti-late%22).mean()%3A.3f%7D%20against%20%7Balpha_bar(%22span-anti%22).mean()%3A.3f%7D%2C%20the%20lowest%20of%20any%20anchored%20condition.%20Least%20surprising%20of%20the%20four%3A%20more%20repulsion%20for%20longer%20lowers%20the%20very%20quantity%20it%20penalizes.%0A%0A%20%20%20%20Redness%20read%20from%20the%20other%2063%20directions%20is%20the%20one%20measurement%20that%20does%20not%20follow%3A%20this%20arm%20is%20the%20highest%20of%20any%20condition%20(%7B_leak(%22span-anti-late%22)%3A.2f%7D%20against%20%7B_leak(%22span-anti%22)%3A.2f%7D).%20That%20is%20a%20weak%20observation%2C%20and%20it%20is%20why%20the%20claim%20above%20is%20scoped%20to%20the%20scored%20statistics.%20A%20value%20above%20the%20floor%20says%20the%20residual%20stream%20is%20a%20more%20probe-friendly%20encoding%20of%20color%2C%20which%20says%20nothing%20about%20the%20anchor%20either%20way.%0A%0A%20%20%20%20So%20stretching%20one%20anneal%20by%202%C3%97%20was%20worth%20more%20than%20adding%20the%20term%20in%20the%20first%20place.%20It%20looks%20worth%20a%20dedicated%20sweep%20over%20the%20anneal%20endpoint.%20Note%20that%20we%20only%20measured%20one%20alternative%20timing%2C%20and%20it%20is%20confounded%20with%20total%20repulsive%20strength%2C%20since%20holding%20near%20peak%20for%20longer%20also%20delivers%20more%20repulsion%20overall.%0A%0A%20%20%20%20%23%23%23%20The%20ceiling%20arm%0A%0A%20%20%20%20More%20weight%20turns%20out%20not%20to%20be%20better.%20%60span-anti-hi%60%20runs%20the%20full%20recipe%20at%20%24%5Clambda_%5Ctext%7B%7Ba%7D%7D%20%3D%20%7Bex.CEILING_LAMBDA%3Ag%7D%24%2C%20ten%20times%20the%20scoring%20rung%2C%20with%20the%20repulsive%20term%20scaled%20in%20proportion.%0A%0A%20%20%20%20We%20still%20have%20not%20found%20the%20task%20ceiling.%20Holdout%20accuracy%20is%20within%20%7Babs(acc(%22span-anti-hi%22).mean()%20-%20CONTROL_ACC)%3A.4f%7D%20of%20control%2C%20so%20even%20at%20ten%20times%20the%20scoring%20weight%20the%20task%20shows%20no%20cost.%20Whatever%20bounds%20the%20anchor%20weight%20for%20D2.2%2C%20it%20is%20not%20the%20task%20loss%20at%20this%20scale%2C%20and%20finding%20the%20real%20ceiling%20would%20need%20a%20dedicated%20sweep%20well%20above%20%24%5Clambda_%5Ctext%7B%7Ba%7D%7D%20%3D%201%24.%0A%0A%20%20%20%20But%20we%20have%20passed%20the%20selectivity%20ceiling.%20At%20ten%20times%20the%20weight%20the%20margin%20is%20%7Bm_op1(%22span-anti-hi%22).mean()%3A.3f%7D%2C%20level%20with%20the%20%7Bm_op1(%22span-anti%22).mean()%3A.3f%7D%20of%20%60span-anti%60%20at%20a%20tenth%20of%20the%20weight.%20The%20other%20three%20measurements%20are%20all%20worse%3A%20%24%5Cbar%5Calpha%24%20back%20up%20to%20%7Balpha_bar(%22span-anti-hi%22).mean()%3A.3f%7D%2C%20retention%20down%20to%20%7B_ret(%22span-anti-hi%22)%3A.2f%7D%2C%20and%20the%20cube%20compressed%20even%20in%20the%20token%20embedding.%20So%20a%20heavier%20pull%20gives%20more%20alignment%20but%20no%20more%20selectivity%3A%20at%20this%20weight%2C%20moving%20everything%20becomes%20the%20cheapest%20way%20to%20satisfy%20the%20term.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Exploratory%20analyses%0A%0A%20%20%20%20This%20section%20is%20post%20hoc%3A%20we%20planned%20it%20after%20seeing%20the%20results%2C%20and%20it%20scores%20no%20hypothesis.%0A%0A%20%20%20%20%23%23%23%20Why%20doesn't%20the%20repulsive%20term%20push%20*red*%20off%20the%20anchor%20too%3F%0A%0A%20%20%20%20The%20anti-subspace%20term%20does%20not%20distinguish%20between%20concepts%3A%20it%20penalizes%20%24%5Ccos%5E2(h%2C%20%5Chat%20v_%7B%5Ctext%7Bred%7D%7D)%24%20at%20every%20position%20of%20every%20line%2C%20labeled%20or%20not.%20That%20makes%20the%20timing%20arm%20look%20puzzling.%20Holding%20that%20penalty%20near%20its%20peak%20for%20another%20forty%20epochs%20ought%20to%20push%20the%20anchored%20concept%20off%20the%20anchor%20along%20with%20everything%20else.%20Instead%2C%20that%20arm%20has%20the%20highest%20margin%20of%20any%20%60span%60%20condition.%0A%0A%20%20%20%20Splitting%20the%20margin%20into%20its%20two%20halves%20shows%20the%20term%20does%20act%20on%20*red*%3B%20the%20pull%20toward%20the%20anchor%20is%20simply%20stronger.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(CONDS%3A%20list%5Bstr%5D%2C%20arrays)%3A%0A%20%20%20%20_top%20%3D%20np.argsort(ex.REDNESS)%5B-10%3A%5D%20%20%23%20the%20ten%20reddest%20colors%2C%20carrying%2085%25%20of%20the%20label%20mass%0A%0A%20%20%20%20def%20_alpha(cond%3A%20str)%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20return%20np.mean(%5Barrays%5Bf%22%7Bcond%7D-s%7Bs%7D%2Falpha%22%5D%20for%20s%20in%20ex.SEEDS%5D%2C%20axis%3D0)%5B%3A%2C%20%3A%2C%200%5D.mean(axis%3D0)%0A%0A%20%20%20%20def%20_row(cond%3A%20str)%20-%3E%20str%3A%0A%20%20%20%20%20%20%20%20a%20%3D%20_alpha(cond)%0A%20%20%20%20%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Ctr%3E%3Cth%3E%7Bcond%7D%3C%2Fth%3E%3Ctd%20class%3D'num'%3E%7Ba%5B_top%5D.mean()%3A.3f%7D%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Ctd%20class%3D'num'%3E%7Ba.mean()%3A.3f%7D%3C%2Ftd%3E%3Ctd%20class%3D'num'%3E%7Bfloat(ex.LABEL_W%20%40%20a)%20-%20a.mean()%3A.3f%7D%3C%2Ftd%3E%3C%2Ftr%3E%22%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20_table%20%3D%20f%22%22%22%0A%20%20%20%20%3Cdiv%20class%3D%22report-table-scroll%22%3E%3Ctable%20class%3D%22report-table%22%3E%0A%20%20%20%20%20%20%3Cthead%3E%3Ctr%3E%3Cth%3Econdition%3C%2Fth%3E%3Cth%20class%3D%22num%22%3E%E1%BE%B1%2C%20ten%20reddest%3C%2Fth%3E%0A%20%20%20%20%20%20%3Cth%20class%3D%22num%22%3E%E1%BE%B1%2C%20all%20216%3C%2Fth%3E%3Cth%20class%3D%22num%22%3Emargin%3C%2Fth%3E%3C%2Ftr%3E%3C%2Fthead%3E%0A%20%20%20%20%20%20%3Ctbody%3E%7B%22%22.join(_row(c)%20for%20c%20in%20CONDS)%7D%3C%2Ftbody%3E%0A%20%20%20%20%3C%2Ftable%3E%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22%0A%20%20%20%20_caption%20%3D%20f%22%22%22%0A%20%20%20%20The%20margin%20split%20into%20the%20two%20quantities%20it%20differences.%20The%20first%20column%20is%0A%20%20%20%20the%20mean%20alignment%20of%20the%20ten%20reddest%20colors%20%E2%80%94%20the%20ones%20carrying%0A%20%20%20%20%7Bex.LABEL_W%5B_top%5D.sum()%3A.0%25%7D%20of%20the%20label%20mass%2C%20so%20effectively%20%22where%20the%0A%20%20%20%20anchored%20concept%20sits%22.%20The%20second%20is%20the%20mean%20over%20all%20216%2C%20the%20quantity%20the%0A%20%20%20%20repulsive%20term%20penalizes.%20Comparing%20%3Ccode%3Espan-anti%3C%2Fcode%3E%20with%0A%20%20%20%20%3Ccode%3Espan-anti-late%3C%2Fcode%3E%20is%20the%20case%20of%20interest%3A%20sustained%20repulsion%20costs%0A%20%20%20%20the%20reddest%20colors%20a%20little%20and%20the%20rest%20of%20the%20cube%20a%20great%20deal.%0A%20%20%20%20%22%22%22%0A%20%20%20%20mo.Html(figure_html(_table%2C%20caption%3D_caption%2C%20class_%3D%22report-figure%22))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(arrays)%3A%0A%20%20%20%20_top%20%3D%20np.argsort(ex.REDNESS)%5B-10%3A%5D%0A%0A%20%20%20%20def%20_alpha(cond%3A%20str)%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20return%20np.mean(%5Barrays%5Bf%22%7Bcond%7D-s%7Bs%7D%2Falpha%22%5D%20for%20s%20in%20ex.SEEDS%5D%2C%20axis%3D0)%5B%3A%2C%20%3A%2C%200%5D.mean(axis%3D0)%0A%0A%20%20%20%20_dred%20%3D%20_alpha(%22span-anti%22)%5B_top%5D.mean()%20-%20_alpha(%22span-anti-late%22)%5B_top%5D.mean()%0A%20%20%20%20_dall%20%3D%20_alpha(%22span-anti%22).mean()%20-%20_alpha(%22span-anti-late%22).mean()%0A%20%20%20%20_span_ratio%20%3D%20ex.LIVE_PER_BATCH%20%2F%20ex.PULLED_PER_BATCH%5Bex.SPAN_FULL%5D%0A%20%20%20%20_op1_ratio%20%3D%20ex.LIVE_PER_BATCH%20%2F%20ex.PULLED_PER_BATCH%5Bex.SPAN_OP1%5D%0A%0A%20%20%20%20%23%20For%20the%20balance%20subsection%3A%20the%20first%20post-warmup%20epoch%20at%20which%20the%0A%20%20%20%20%23%20anti%2Fanchor%20weight%20ratio%20falls%20below%20a%20level%2C%20from%20the%20run's%20own%20schedules.%0A%20%20%20%20_sched_e%20%3D%20np.linspace(0%2C%20ex.SCHEDULER.epochs%2C%204001)%0A%0A%20%20%20%20def%20_ratio_below(level%3A%20float%2C%20anneal_end%3A%20float%20%3D%20ex.ANTI_ANNEAL_END)%20-%3E%20float%3A%0A%20%20%20%20%20%20%20%20r%20%3D%20ex.anti_subspace_weight(_sched_e%2C%20anneal_end%3Danneal_end)%20%2F%20np.maximum(ex.anchor_weight(_sched_e)%2C%201e-9)%0A%20%20%20%20%20%20%20%20past%20%3D%20_sched_e%20%3E%20ex.SCHEDULER.warmup_epochs%0A%20%20%20%20%20%20%20%20return%20float(_sched_e%5Bpast%5D%5Bnp.argmax(r%5Bpast%5D%20%3C%20level)%5D)%0A%0A%20%20%20%20mo.md(rf%22%22%22%0A%20%20%20%20Delaying%20the%20%24%5Clambda_%7B%7B%5Cbar%7B%7B%5Ctext%7B%7Bs%7D%7D%7D%7D%7D%7D%24%20anneal%20costs%20the%20reddest%20colors%20%7B_dred%3A.3f%7D%20of%20alignment.%20It%20costs%20the%20cube%20as%20a%20whole%20%7B_dall%3A.3f%7D%2C%20which%20is%20%7B_dall%20%2F%20_dred%3A.0f%7D%20times%20as%20much.%20So%20the%20term%20is%20doing%20what%20its%20definition%20says%2C%20*red*%20included.%20The%20margin%20improves%20because%20the%20same%20indiscriminate%20push%20matters%20far%20more%20for%20the%20unlabeled%20bulk%20than%20for%20the%20labeled%20reds.%0A%0A%20%20%20%20Why%20is%20the%20push%20so%20much%20gentler%20on%20the%20reds%3F%20It%20comes%20down%20to%20how%20the%20two%20terms%20are%20normalized.%20Neither%20weight%20depends%20on%20the%20labels%3A%20%24%5Clambda_%5Ctext%7B%7Ba%7D%7D%24%20and%20%24%5Clambda_%7B%7B%5Cbar%7B%7B%5Ctext%7B%7Bs%7D%7D%7D%7D%7D%7D%24%20are%20functions%20of%20the%20epoch%20alone%2C%20identical%20in%20every%20batch.%20What%20differs%20is%20the%20denominator%20*inside*%20each%20term.%20Both%20terms%20are%20means%2C%20but%20over%20different%20sets%3A%20the%20anchor%20averages%20over%20the%20positions%20it%20pulls%2C%20and%20the%20repulsion%20averages%20over%20every%20live%20position.%20Measured%20on%20the%20real%20sampler%2C%20a%20batch%20has%20%7Bex.LIVE_PER_BATCH%3A%2C.0f%7D%20live%20positions.%20The%20anchor%20fires%20in%20%7Bex.FIRING_RATE%5Bex.SPAN_FULL%5D%3A.0%25%7D%20of%20batches%2C%20and%20when%20it%20does%2C%20it%20averages%20%7Bex.PULLED_PER_BATCH%5Bex.SPAN_FULL%5D%3A.1f%7D%20pulled%20positions.%20So%20a%20labeled%20state%20feels%20a%20pull%20scaled%20by%20%241%2F%7Bex.PULLED_PER_BATCH%5Bex.SPAN_FULL%5D%3A.1f%7D%24%20against%20a%20push%20scaled%20by%20%241%2F%7Bex.LIVE_PER_BATCH%3A%2C.0f%7D%24%2C%20about%20%7B_span_ratio%3A%2C.0f%7D%3A1%20before%20weights.%20Even%20at%20the%20opening%20%24%5Clambda_%7B%7B%5Cbar%7B%7B%5Ctext%7B%7Bs%7D%7D%7D%7D%7D%7D%20%3D%20%7Bex.ANTI_PEAK_RATIO%3Ag%7D%5Clambda_%5Ctext%7B%7Ba%7D%7D%24%2C%20and%20after%20the%20%242%5Ccos%24%20factor%20from%20differentiating%20%24%5Ccos%5E2%24%2C%20the%20pull%20at%20a%20pulled%20position%20is%20still%20a%20couple%20of%20hundred%20times%20stronger%20than%20the%20push.%20An%20*unlabeled*%20state%20has%20no%20pull%20at%20all.%20It%20feels%20only%20the%20push%2C%20and%20goes%20wherever%20the%20task%20will%20let%20it.%0A%0A%20%20%20%20Because%20the%20anchor%20is%20a%20mean%20rather%20than%20a%20sum%2C%20the%20per-position%20pull%20is%20also%20insensitive%20to%20*how%20many*%20labels%20a%20batch%20happens%20to%20carry%3A%20a%20batch%20with%20one%20labeled%20line%20pulls%20its%20positions%20as%20hard%20as%20a%20batch%20with%20three.%20The%20label%20rate%20only%20sets%20how%20often%20the%20term%20fires%20at%20all.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20%23%20REVIEW%3A%20two%20narrowings%20in%20the%20discussion%20below.%0A%20%20%20%20%23%20(1)%20%22That%20fills%20the%20gap%20in%20D2.1%22%20now%20names%20its%20scope%20(three%20seeds%2C%20one%0A%20%20%20%20%23%20%20%20%20%20synthetic%20testbed)%2C%20since%20every%20margin%20number%20in%20this%20report%20comes%0A%20%20%20%20%23%20%20%20%20%20from%20%60v216%60%20at%20d64-L4.%0A%20%20%20%20%23%20(2)%20Dropped%20%22the%20margin-by-position%20profile%20suggests%20the%20model%20itself%0A%20%20%20%20%23%20%20%20%20%20knows%20where%20it%20is%22%3A%20%60m_by_position%60%20is%20recorded%20by%20%60eval_one%60%20but%20no%0A%20%20%20%20%23%20%20%20%20%20figure%20or%20table%20in%20this%20report%20shows%20it%2C%20so%20a%20reader%20cannot%20check%20the%0A%20%20%20%20%23%20%20%20%20%20claim.%20Verify%3A%20if%20a%20per-position%20panel%20is%20added%2C%20this%20can%20come%20back.%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Discussion%0A%0A%20%20%20%20This%20experiment%20demonstrated%20a%20selective%20anchor%20in%20a%20transformer%3A%20%60op1-anti%60%20clears%20the%20margin%20gate%20with%20a%20graded%20response%20against%20the%20M1-derived%20shape%20and%20no%20measurable%20task%20cost.%20That%20fills%20the%20gap%20in%20D2.1%20for%20this%20testbed%2C%20and%20it%20did%20so%20without%20either%20of%20the%20two%20obvious%20next%20steps%20%E2%80%94%20a%20heavier%20pull%20(the%20ceiling%20arm%20shows%20that%20makes%20matters%20worse)%20or%20the%20remaining%20M1%20repulsive%20terms.%0A%0A%20%20%20%20Both%20candidate%20mechanisms%20from%20the%20ex-2.1.6%20discussion%20turn%20out%20to%20be%20real%2C%20but%20their%20relative%20sizes%20are%20the%20reverse%20of%20what%20that%20discussion%20expected%2C%20with%20the%20tested%20hyperparameters.%20Narrowing%20the%20pull%20to%20the%20one%20position%20that%20carries%20the%20labeled%20color%20helps%20more%20than%20adding%20the%20M1%20repulsive%20term%2C%20and%20the%20conditions%20that%20pull%20the%20whole%20span%20are%20the%20ones%20whose%20margin%20slides%20later%20in%20training.%0A%0A%20%20%20%20However%2C%20the%20span%20pull%20is%20not%20an%20arbitrary%20choice%20we%20can%20simply%20drop.%20Sequence-level%20labeling%20forces%20it%2C%20because%20a%20document%20label%20marks%20no%20position%20as%20the%20relevant%20one.%20Our%20op1-only%20pull%20is%20possible%20only%20because%20this%20synthetic%20language%20has%20a%20known%20position%20that%20carries%20the%20concept%2C%20which%20is%20what%20a%20real%20corpus%20does%20not%20give%20you.%0A%0A%20%20%20%20The%20repulsive%20term%20is%20worth%20keeping%2C%20even%20though%20it%20failed%20H4(a).%20It%20reduced%20the%20cube-wide%20drift%20but%20did%20not%20contain%20it%2C%20and%20%24%5Cbar%5Calpha%24%20climbed%20again%20once%20the%20anneal%20brought%20the%20weight%20down.%20But%20using%20a%20later%20anneal%20improved%20margin%2C%20containment%2C%20retention%2C%20and%20grading%2C%20by%20more%20than%20adding%20the%20term%20was%20worth%20in%20the%20first%20place.%20The%20M1%20keyframes%20were%20inherited%20from%20a%205-dimensional%20autoencoder%20bottleneck%20and%20mapped%20onto%20our%20100%20epochs%20by%20fraction%20of%20training%2C%20so%20there%20was%20never%20a%20reason%20to%20expect%20them%20to%20be%20right%20for%20this%20architecture.%0A%0A%20%20%20%20Possible%20follow-ups%3A%0A%20%20%20%20-%20A%20sweep%20over%20weight%20ratios%20and%20anneal%20scheduling%0A%20%20%20%20-%20Try%20different%20pooling%20over%20the%20span%20to%20allow%20uneven%20pull%20without%20having%20to%20specify%20positions%20up-front%0A%0A%20%20%20%20One%20thing%20this%20experiment%20does%20*not*%20license.%20Redness%20stays%20as%20readable%20from%20the%20other%2063%20directions%20as%20it%20is%20in%20the%20control%2C%20unchanged%20from%20ex-2.1.6%20in%20every%20condition.%20A%20selective%20anchor%20is%20not%20the%20same%20as%20an%20exclusive%20one%2C%20so%20nothing%20here%20bounds%20what%20suppressing%20the%20axis%20would%20do%20to%20the%20model's%20access%20to%20*red*.%20That%20is%20the%20question%20for%20the%20intervention%20experiments.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A