regression-demo

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.12%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22matplotlib%3D%3D3.10.1%22%2C%0A%23%20%20%20%20%20%22numpy%3D%3D2.2.5%22%2C%0A%23%20%20%20%20%20%22popsregression%3D%3D0.3.5%22%2C%0A%23%20%20%20%20%20%22scikit-learn%3D%3D1.6.1%22%2C%0A%23%20%20%20%20%20%22seaborn%3D%3D0.13.2%22%2C%0A%23%20%20%20%20%20%22pillow%22%2C%0A%23%20%20%20%20%20%22qrcode%3D%3D8.2%22%2C%0A%23%20%20%20%20%20%22scipy%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.19.6%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html('''%0A%20%20%20%20%3Cstyle%3E%0A%20%20%20%20%20%20%20%20body%2C%20.marimo-container%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20margin-top%3A%200%20!important%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20padding-top%3A%200%20!important%3B%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20%20%20%2F*%20Main%20layout%20container%20-%20use%20full%20viewport%20height%20*%2F%0A%20%20%20%20%20%20%20%20body%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3A%20100vh%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20overflow%3A%20hidden%3B%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20%20%20.marimo-container%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3A%20100vh%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20display%3A%20flex%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20flex-direction%3A%20column%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20overflow%3A%20hidden%3B%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20%20%20%2F*%20Header%20section%20-%20fixed%20height%20*%2F%0A%20%20%20%20%20%20%20%20.app-header%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20flex-shrink%3A%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2010px%200%3B%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20%20%20%2F*%20Dashboard%20section%20-%20fixed%20height%20with%20internal%20scrolling%20if%20needed%20*%2F%0A%20%20%20%20%20%20%20%20.app-dashboard%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20flex-shrink%3A%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20max-height%3A%2040vh%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20overflow-y%3A%20auto%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2010px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20background-color%3A%20%23f8f9fa%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%208px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3A%200%20auto%2010px%20auto%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20max-width%3A%2090%25%3B%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20%20%20%2F*%20Plot%20section%20-%20takes%20remaining%20space%20*%2F%0A%20%20%20%20%20%20%20%20.app-plot%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20flex-grow%3A%201%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20flex-shrink%3A%201%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20overflow%3A%20hidden%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20display%3A%20flex%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20flex-direction%3A%20column%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20min-height%3A%200%3B%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20%20%20%2F*%20Ensure%20matplotlib%20figures%20scale%20properly%20*%2F%0A%20%20%20%20%20%20%20%20.app-plot%20img%2C%0A%20%20%20%20%20%20%20%20.app-plot%20svg%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20max-width%3A%20100%25%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20max-height%3A%20100%25%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20object-fit%3A%20contain%3B%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%3C%2Fstyle%3E%0A%20%20%20%20''')%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%0A%20%20%20%20from%20sklearn.model_selection%20import%20train_test_split%0A%20%20%20%20from%20sklearn.linear_model%20import%20BayesianRidge%0A%20%20%20%20from%20sklearn.preprocessing%20import%20PolynomialFeatures%0A%20%20%20%20from%20POPSRegression%20import%20POPSRegression%0A%20%20%20%20from%20scipy.linalg%20import%20cho_factor%2C%20cho_solve%0A%0A%20%20%20%20%23%20Customize%20default%20plotting%20style%0A%20%20%20%20import%20seaborn%20as%20sns%0A%20%20%20%20sns.set_context('talk')%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20BayesianRidge%2C%0A%20%20%20%20%20%20%20%20POPSRegression%2C%0A%20%20%20%20%20%20%20%20PolynomialFeatures%2C%0A%20%20%20%20%20%20%20%20cho_factor%2C%0A%20%20%20%20%20%20%20%20cho_solve%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20%20%20%20%20plt%2C%0A%20%20%20%20%20%20%20%20train_test_split%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20def%20g(X%2C%20noise_variance%2C%20function_type%3D'sin'%2C%20custom_code%3DNone)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Generate%20data%20from%20different%20ground%20truth%20functions%22%22%22%0A%20%20%20%20%20%20%20%20if%20function_type%20%3D%3D%20'sin'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20y%20%3D%20np.sin(X)%0A%20%20%20%20%20%20%20%20elif%20function_type%20%3D%3D%20'witch'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Witch%20of%20Agnesi%3A%201%2F(1%2Bx%C2%B2)%0A%20%20%20%20%20%20%20%20%20%20%20%20y%20%3D%201.0%20%2F%20(1.0%20%2B%20X**2)%0A%20%20%20%20%20%20%20%20elif%20function_type%20%3D%3D%20'sinc'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20sinc(x)%20%3D%20sin(x)%2Fx%2C%20handle%20x%3D0%20carefully%0A%20%20%20%20%20%20%20%20%20%20%20%20y%20%3D%20np.where(X%20%3D%3D%200%2C%201.0%2C%20np.sin(X)%20%2F%20X)%0A%20%20%20%20%20%20%20%20elif%20function_type%20%3D%3D%20'step'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Step%20function%0A%20%20%20%20%20%20%20%20%20%20%20%20y%20%3D%20np.where(X%20%3C%200%2C%20-0.5%2C%200.5)%0A%20%20%20%20%20%20%20%20elif%20function_type%20%3D%3D%20'runge'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Runge%20function%3A%201%2F(1%2B25x%C2%B2)%20-%20pathological%20for%20polynomial%20interpolation%0A%20%20%20%20%20%20%20%20%20%20%20%20y%20%3D%201.0%20%2F%20(1.0%20%2B%2025.0%20*%20X**2)%0A%20%20%20%20%20%20%20%20elif%20function_type%20%3D%3D%20'lj'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Lennard-Jones%20potential%3A%20V(r)%20%3D%204%CE%B5%5B(%CF%83%2Fr)%5E12%20-%20(%CF%83%2Fr)%5E6%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20r%20%3D%20x%2F5%20%2B%201.5%20maps%20x%3D0%20to%20r%3D1.5%20(at%20sigma)%2C%20x%3D5%20to%20r%3D2.5%2C%20x%3D10%20to%20r%3D3.5%0A%20%20%20%20%20%20%20%20%20%20%20%20sigma%20%3D%201.5%0A%20%20%20%20%20%20%20%20%20%20%20%20r%20%3D%20X%20%2F%205.0%20%2B%201.5%0A%20%20%20%20%20%20%20%20%20%20%20%20r%20%3D%20np.maximum(r%2C%200.3)%20%20%23%20Avoid%20singularity%0A%20%20%20%20%20%20%20%20%20%20%20%20y%20%3D%204.0%20*%20((sigma%20%2F%20r)%20**%2012%20-%20(sigma%20%2F%20r)%20**%206)%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Clip%20extreme%20values%20for%20display%0A%20%20%20%20%20%20%20%20%20%20%20%20y%20%3D%20np.clip(y%2C%20-1.5%2C%201.5)%0A%20%20%20%20%20%20%20%20elif%20function_type%20%3D%3D%20'custom'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Execute%20user%20code%20in%20restricted%20namespace%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20math%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20scipy%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Safe%20subset%20of%20builtins%20needed%20for%20basic%20operations%0A%20%20%20%20%20%20%20%20%20%20%20%20safe_builtins%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'range'%3A%20range%2C%20'len'%3A%20len%2C%20'sum'%3A%20sum%2C%20'min'%3A%20min%2C%20'max'%3A%20max%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'abs'%3A%20abs%2C%20'round'%3A%20round%2C%20'int'%3A%20int%2C%20'float'%3A%20float%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'list'%3A%20list%2C%20'tuple'%3A%20tuple%2C%20'zip'%3A%20zip%2C%20'enumerate'%3A%20enumerate%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'True'%3A%20True%2C%20'False'%3A%20False%2C%20'None'%3A%20None%2C%20'print'%3A%20print%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20namespace%20%3D%20%7B'np'%3A%20np%2C%20'scipy'%3A%20scipy%2C%20'math'%3A%20math%2C%20'X'%3A%20X%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20exec(custom_code%2C%20%7B%22__builtins__%22%3A%20safe_builtins%7D%2C%20namespace)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20'y'%20not%20in%20namespace%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(%22Code%20must%20define%20'y'%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%20%3D%20namespace%5B'y'%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Validate%20output%20shape%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%20%3D%20np.atleast_1d(np.asarray(y%2C%20dtype%3Dfloat))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20y.shape%20!%3D%20X.shape%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%20%3D%20np.broadcast_to(y%2C%20X.shape).copy()%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20Exception%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Return%20NaN%20on%20error%20-%20will%20suppress%20plotting%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%20%3D%20np.full_like(X%2C%20np.nan)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20y%20%3D%20np.sin(X)%20%20%23%20Default%20to%20sin%0A%0A%20%20%20%20%20%20%20%20return%20y%20%2B%20np.random.normal(scale%3Dnp.sqrt(noise_variance)%2C%20size%3DX.shape)%0A%20%20%20%20return%20(g%2C)%0A%0A%0A%40app.cell%0Adef%20_(BayesianRidge%2C%20np)%3A%0A%20%20%20%20class%20MyBayesianRidge(BayesianRidge)%3A%0A%20%20%20%20%20%20%20%20def%20predict(self%2C%20X%2C%20return_std%3DFalse%2C%20aleatoric%3DFalse)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20y_pred%20%3D%20super().predict(X)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20return_std%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20y_pred%0A%20%20%20%20%20%20%20%20%20%20%20%20y_var%20%3D%20np.sum((X%20%40%20self.sigma_)%20*%20X%2C%20axis%3D1)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20aleatoric%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_var%20%2B%3D%201.0%20%2F%20self.alpha_%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20y_pred%2C%20np.sqrt(y_var)%0A%0A%20%20%20%20%20%20%20%20def%20log_marginal_likelihood(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Compute%20log%20marginal%20likelihood%20for%20the%20fitted%20Bayesian%20Ridge%20model%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20hasattr(self%2C%20'coef_')%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(%22Model%20must%20be%20fitted%20first%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20hasattr(self%2C%20'scores_')%20and%20len(self.scores_)%20%3E%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20self.scores_%5B-1%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%200.0%0A%0A%20%20%20%20%20%20%20%20def%20loo_log_likelihood(self%2C%20X%2C%20y%2C%20aleatoric%3DFalse)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Compute%20Leave-One-Out%20cross-validation%20log%20likelihood%20(per%20point%20average).%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20hasattr(self%2C%20'coef_')%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(%22Model%20must%20be%20fitted%20first%22)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20n%20%3D%20len(y)%0A%20%20%20%20%20%20%20%20%20%20%20%20y_pred%20%3D%20X%20%40%20self.coef_%0A%20%20%20%20%20%20%20%20%20%20%20%20pred_var%20%3D%20np.sum((X%20%40%20self.sigma_)%20*%20X%2C%20axis%3D1)%0A%20%20%20%20%20%20%20%20%20%20%20%20noise_var%20%3D%201.0%20%2F%20self.alpha_%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20aleatoric%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pred_var%20%3D%20pred_var%20%2B%20noise_var%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20h%20%3D%20np.sum((X%20%40%20self.sigma_)%20*%20X%2C%20axis%3D1)%20*%20self.alpha_%0A%20%20%20%20%20%20%20%20%20%20%20%20h%20%3D%20np.clip(h%2C%200%2C%200.999)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20residuals%20%3D%20y%20-%20y_pred%0A%20%20%20%20%20%20%20%20%20%20%20%20loo_residuals%20%3D%20residuals%20%2F%20(1%20-%20h)%0A%20%20%20%20%20%20%20%20%20%20%20%20loo_var%20%3D%20(pred_var%20%2B%20noise_var)%20%2F%20(1%20-%20h)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20loo_var%20%3D%20np.maximum(loo_var%2C%201e-10)%0A%20%20%20%20%20%20%20%20%20%20%20%20log_lik%20%3D%20-0.5%20*%20(np.log(2%20*%20np.pi%20*%20loo_var)%20%2B%20loo_residuals**2%20%2F%20loo_var)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20np.mean(log_lik)%0A%0A%20%20%20%20%20%20%20%20def%20sample_posterior(self%2C%20X%2C%20n_samples%3D10)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Draw%20samples%20from%20the%20posterior%20predictive%20distribution.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20hasattr(self%2C%20'coef_')%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(%22Model%20must%20be%20fitted%20first%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20coef_samples%20%3D%20np.random.multivariate_normal(self.coef_%2C%20self.sigma_%2C%20size%3Dn_samples)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20X%20%40%20coef_samples.T%0A%0A%20%20%20%20class%20ConformalPrediction(MyBayesianRidge)%3A%0A%20%20%20%20%20%20%20%20def%20get_scores(self%2C%20X%2C%20y%2C%20aleatoric%3DFalse)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20y_pred%2C%20y_std%20%3D%20self.predict(X%2C%20return_std%3DTrue%2C%20rescale%3DFalse%2C%20aleatoric%3Daleatoric)%0A%20%20%20%20%20%20%20%20%20%20%20%20residuals%20%3D%20(y_pred%20-%20y)%20%2F%20y_std%0A%20%20%20%20%20%20%20%20%20%20%20%20scores%20%3D%20np.abs(residuals)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20scores%0A%0A%20%20%20%20%20%20%20%20def%20calibrate(self%2C%20X_calib%2C%20y_calib%2C%20zeta%3D0.05%2C%20aleatoric%3DFalse)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20scores%20%3D%20self.get_scores(X_calib%2C%20y_calib%2C%20aleatoric%3Daleatoric)%0A%20%20%20%20%20%20%20%20%20%20%20%20n%20%3D%20float(len(y_calib))%0A%20%20%20%20%20%20%20%20%20%20%20%20self.qhat%20%3D%20np.quantile(scores%2C%20np.ceil((n%2B1)*(1.0-zeta))%2Fn%2C%20method%3D'higher')%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20self.qhat%0A%0A%20%20%20%20%20%20%20%20def%20predict(self%2C%20X%2C%20return_std%3DFalse%2C%20aleatoric%3DFalse%2C%20rescale%3DTrue)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20res%20%3D%20super().predict(X%2C%20return_std%3Dreturn_std%2C%20aleatoric%3Daleatoric)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20return_std%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20res%0A%20%20%20%20%20%20%20%20%20%20%20%20y_pred%2C%20y_std%20%3D%20res%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20rescale%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_std%20%3D%20y_std%20*%20self.qhat%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20y_pred%2C%20y_std%0A%20%20%20%20return%20ConformalPrediction%2C%20MyBayesianRidge%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20from%20sklearn.neural_network%20import%20MLPRegressor%0A%0A%20%20%20%20class%20NeuralNetworkRegression%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Ensemble%20of%20MLPRegressors%20for%20uncertainty%20quantification%0A%0A%20%20%20%20%20%20%20%20Uses%20sklearn's%20MLPRegressor%20with%20ensemble%20for%20uncertainty%20estimation%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20def%20__init__(self%2C%20hidden_layer_sizes%3D(20%2C)%2C%20alpha%3D0.001%2C%20n_ensemble%3D5%2C%20max_iter%3D1000%2C%20tol%3D1e-3%2C%20activation%3D'tanh'%2C%20ensemble_method%3D'seed')%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20Parameters%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20-----------%0A%20%20%20%20%20%20%20%20%20%20%20%20hidden_layer_sizes%20%3A%20tuple%2C%20default%3D(20%2C)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Number%20of%20neurons%20in%20each%20hidden%20layer%2C%20e.g.%2C%20(20%2C)%20or%20(20%2C%2010)%0A%20%20%20%20%20%20%20%20%20%20%20%20alpha%20%3A%20float%2C%20default%3D0.001%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20L2%20regularization%20strength%0A%20%20%20%20%20%20%20%20%20%20%20%20n_ensemble%20%3A%20int%2C%20default%3D5%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Number%20of%20networks%20in%20ensemble%20for%20uncertainty%20estimation%0A%20%20%20%20%20%20%20%20%20%20%20%20max_iter%20%3A%20int%2C%20default%3D1000%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Maximum%20number%20of%20iterations%20for%20LBFGS%20solver%0A%20%20%20%20%20%20%20%20%20%20%20%20tol%20%3A%20float%2C%20default%3D1e-3%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Tolerance%20for%20optimization%20(relaxed%20for%20faster%20convergence)%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20self.hidden_layer_sizes%20%3D%20hidden_layer_sizes%0A%20%20%20%20%20%20%20%20%20%20%20%20self.alpha%20%3D%20alpha%0A%20%20%20%20%20%20%20%20%20%20%20%20self.n_ensemble%20%3D%20n_ensemble%0A%20%20%20%20%20%20%20%20%20%20%20%20self.max_iter%20%3D%20max_iter%0A%20%20%20%20%20%20%20%20%20%20%20%20self.tol%20%3D%20tol%0A%20%20%20%20%20%20%20%20%20%20%20%20self.activation%20%3D%20activation%0A%20%20%20%20%20%20%20%20%20%20%20%20self.ensemble_method%20%3D%20ensemble_method%0A%20%20%20%20%20%20%20%20%20%20%20%20self.ensemble_%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20self.x_mean_%20%3D%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20self.x_std_%20%3D%20None%0A%0A%20%20%20%20%20%20%20%20def%20fit(self%2C%20X%2C%20y)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Fit%20ensemble%20of%20neural%20networks%20using%20either%20different%20seeds%20or%20bootstrap%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Standardize%20inputs%20for%20better%20NN%20training%0A%20%20%20%20%20%20%20%20%20%20%20%20self.x_mean_%20%3D%20np.mean(X%2C%20axis%3D0%2C%20keepdims%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20self.x_std_%20%3D%20np.std(X%2C%20axis%3D0%2C%20keepdims%3DTrue)%20%2B%201e-8%20%20%23%20Avoid%20division%20by%20zero%0A%20%20%20%20%20%20%20%20%20%20%20%20X_scaled%20%3D%20(X%20-%20self.x_mean_)%20%2F%20self.x_std_%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Train%20ensemble%0A%20%20%20%20%20%20%20%20%20%20%20%20self.ensemble_%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20i%20in%20range(self.n_ensemble)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20self.ensemble_method%20%3D%3D%20'bootstrap'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Bootstrap%3A%20resample%20data%20with%20replacement%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20n_samples%20%3D%20len(X_scaled)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20indices%20%3D%20np.random.choice(n_samples%2C%20size%3Dn_samples%2C%20replace%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20X_boot%20%3D%20X_scaled%5Bindices%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_boot%20%3D%20y%5Bindices%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Use%20same%20random%20seed%20for%20all%20bootstrap%20models%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20random_state%20%3D%2042%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Random%20seed%3A%20use%20different%20random%20initialization%20for%20each%20model%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20X_boot%20%3D%20X_scaled%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_boot%20%3D%20y%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20random_state%20%3D%20i%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20model%20%3D%20MLPRegressor(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hidden_layer_sizes%3Dself.hidden_layer_sizes%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20activation%3Dself.activation%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20solver%3D'lbfgs'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alpha%3Dself.alpha%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20max_iter%3Dself.max_iter%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tol%3Dself.tol%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20random_state%3Drandom_state%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20warm_start%3DFalse%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20model.fit(X_boot%2C%20y_boot)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.ensemble_.append(model)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20self%0A%0A%20%20%20%20%20%20%20%20def%20predict(self%2C%20X%2C%20return_std%3DFalse%2C%20aleatoric%3DFalse)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20Predict%20using%20ensemble%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20Parameters%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20-----------%0A%20%20%20%20%20%20%20%20%20%20%20%20X%20%3A%20array-like%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Input%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20return_std%20%3A%20bool%2C%20default%3DFalse%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20If%20True%2C%20return%20(predictions%2C%20std_dev)%0A%20%20%20%20%20%20%20%20%20%20%20%20aleatoric%20%3A%20bool%2C%20default%3DFalse%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20If%20True%2C%20add%20noise%20variance%20to%20uncertainty%20(not%20implemented%20for%20NN)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20Returns%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20--------%0A%20%20%20%20%20%20%20%20%20%20%20%20y_pred%20%3A%20array%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Mean%20predictions%20across%20ensemble%0A%20%20%20%20%20%20%20%20%20%20%20%20y_std%20%3A%20array%20(if%20return_std%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Standard%20deviation%20across%20ensemble%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Standardize%20inputs%20using%20training%20statistics%0A%20%20%20%20%20%20%20%20%20%20%20%20X_scaled%20%3D%20(X%20-%20self.x_mean_)%20%2F%20self.x_std_%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Get%20predictions%20from%20all%20ensemble%20members%0A%20%20%20%20%20%20%20%20%20%20%20%20predictions%20%3D%20np.array(%5Bmodel.predict(X_scaled)%20for%20model%20in%20self.ensemble_%5D)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Compute%20mean%20and%20std%20across%20ensemble%0A%20%20%20%20%20%20%20%20%20%20%20%20y_pred%20%3D%20np.mean(predictions%2C%20axis%3D0)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20return_std%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_std%20%3D%20np.std(predictions%2C%20axis%3D0)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Note%3A%20aleatoric%20uncertainty%20not%20implemented%20for%20NN%20ensemble%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20The%20ensemble%20variance%20already%20captures%20both%20epistemic%20and%20some%20aleatoric%20uncertainty%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20y_pred%2C%20y_std%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20y_pred%0A%0A%20%20%20%20%20%20%20%20def%20predict_ensemble(self%2C%20X)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20Return%20predictions%20from%20all%20ensemble%20members%20for%20CRPS%20computation.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20Parameters%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20-----------%0A%20%20%20%20%20%20%20%20%20%20%20%20X%20%3A%20array-like%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Input%20data%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20Returns%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20--------%0A%20%20%20%20%20%20%20%20%20%20%20%20ensemble_predictions%20%3A%20array%20(n_samples%2C%20n_ensemble)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Predictions%20from%20each%20ensemble%20member%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20X_scaled%20%3D%20(X%20-%20self.x_mean_)%20%2F%20self.x_std_%0A%20%20%20%20%20%20%20%20%20%20%20%20predictions%20%3D%20np.array(%5Bmodel.predict(X_scaled)%20for%20model%20in%20self.ensemble_%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Transpose%20to%20get%20shape%20(n_samples%2C%20n_ensemble)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20predictions.T%0A%20%20%20%20return%20(NeuralNetworkRegression%2C)%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20from%20sklearn.linear_model%20import%20QuantileRegressor%0A%0A%20%20%20%20class%20QuantileRegressionUQ%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Quantile%20regression%20for%20uncertainty%20quantification%0A%0A%20%20%20%20%20%20%20%20Directly%20predicts%20prediction%20intervals%20by%20fitting%20models%20at%20different%20quantiles.%0A%20%20%20%20%20%20%20%20Non-parametric%20approach%20that%20doesn't%20assume%20a%20specific%20distribution.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20def%20__init__(self%2C%20confidence%3D0.9%2C%20fit_intercept%3DFalse%2C%20alpha%3D1.0)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20Parameters%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20-----------%0A%20%20%20%20%20%20%20%20%20%20%20%20confidence%20%3A%20float%2C%20default%3D0.9%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Confidence%20level%20for%20prediction%20intervals%20(e.g.%2C%200.9%20for%2090%25%20intervals)%0A%20%20%20%20%20%20%20%20%20%20%20%20fit_intercept%20%3A%20bool%2C%20default%3DFalse%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Whether%20to%20fit%20intercept%20(usually%20False%20when%20using%20polynomial%20basis)%0A%20%20%20%20%20%20%20%20%20%20%20%20alpha%20%3A%20float%2C%20default%3D1.0%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Regularization%20strength%20(higher%20%3D%20more%20regularization)%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20self.confidence%20%3D%20confidence%0A%20%20%20%20%20%20%20%20%20%20%20%20self.fit_intercept%20%3D%20fit_intercept%0A%20%20%20%20%20%20%20%20%20%20%20%20self.significance%20%3D%201%20-%20confidence%20%20%23%20Significance%20level%0A%20%20%20%20%20%20%20%20%20%20%20%20self.alpha%20%3D%20alpha%20%20%23%20Regularization%20parameter%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Three%20quantile%20models%3A%20lower%2C%20median%2C%20upper%0A%20%20%20%20%20%20%20%20%20%20%20%20self.model_lower%20%3D%20QuantileRegressor(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20quantile%3Dself.significance%2F2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alpha%3Dalpha%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20solver%3D'highs'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fit_intercept%3Dfit_intercept%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20self.model_median%20%3D%20QuantileRegressor(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20quantile%3D0.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alpha%3Dalpha%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20solver%3D'highs'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fit_intercept%3Dfit_intercept%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20self.model_upper%20%3D%20QuantileRegressor(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20quantile%3D1%20-%20self.significance%2F2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alpha%3Dalpha%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20solver%3D'highs'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fit_intercept%3Dfit_intercept%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20def%20fit(self%2C%20X%2C%20y)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Fit%20three%20quantile%20regression%20models%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20warnings%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Suppress%20convergence%20warnings%20and%20catch%20fit%20failures%0A%20%20%20%20%20%20%20%20%20%20%20%20with%20warnings.catch_warnings()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20warnings.filterwarnings('ignore')%20%20%23%20Suppress%20all%20warnings%20during%20fit%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.model_lower.fit(X%2C%20y)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.model_median.fit(X%2C%20y)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.model_upper.fit(X%2C%20y)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.fit_succeeded_%20%3D%20True%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20except%20Exception%20as%20e%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20If%20fitting%20fails%2C%20mark%20as%20failed%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Predictions%20will%20fall%20back%20to%20simple%20mean%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.fit_succeeded_%20%3D%20False%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.fallback_mean_%20%3D%20np.mean(y)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.fallback_std_%20%3D%20np.std(y)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20self%0A%0A%20%20%20%20%20%20%20%20def%20predict(self%2C%20X%2C%20return_std%3DFalse%2C%20aleatoric%3DFalse)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20Predict%20using%20quantile%20regression%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20Parameters%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20-----------%0A%20%20%20%20%20%20%20%20%20%20%20%20X%20%3A%20array-like%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Input%20features%0A%20%20%20%20%20%20%20%20%20%20%20%20return_std%20%3A%20bool%2C%20default%3DFalse%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20If%20True%2C%20return%20(predictions%2C%20std_deviations)%0A%20%20%20%20%20%20%20%20%20%20%20%20aleatoric%20%3A%20bool%2C%20default%3DFalse%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Not%20used%20for%20quantile%20regression%20(intervals%20already%20include%20all%20uncertainty)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20Returns%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20--------%0A%20%20%20%20%20%20%20%20%20%20%20%20y_pred%20%3A%20array%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Median%20predictions%0A%20%20%20%20%20%20%20%20%20%20%20%20y_std%20%3A%20array%20(if%20return_std%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Approximate%20standard%20deviation%20from%20prediction%20interval%20width%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20If%20fitting%20failed%2C%20return%20fallback%20predictions%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20self.fit_succeeded_%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20n_samples%20%3D%20X.shape%5B0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_pred%20%3D%20np.full(n_samples%2C%20self.fallback_mean_)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20return_std%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_std%20%3D%20np.full(n_samples%2C%20self.fallback_std_)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20y_pred%2C%20y_std%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20y_pred%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20y_pred%20%3D%20self.model_median.predict(X)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20return_std%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20y_pred%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20y_lower%20%3D%20self.model_lower.predict(X)%0A%20%20%20%20%20%20%20%20%20%20%20%20y_upper%20%3D%20self.model_upper.predict(X)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Approximate%20std%20from%20interval%20width%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20For%20normal%20distribution%2C%2090%25%20interval%20is%20roughly%20%C2%B11.645%CF%83%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20So%20interval%20width%20%E2%89%88%202*1.645%CF%83%20%E2%86%92%20%CF%83%20%E2%89%88%20width%20%2F%203.29%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20For%2095%25%3A%20width%20%2F%203.92%2C%20for%2080%25%3A%20width%20%2F%202.56%0A%20%20%20%20%20%20%20%20%20%20%20%20from%20scipy.stats%20import%20norm%0A%20%20%20%20%20%20%20%20%20%20%20%20z_score%20%3D%20norm.ppf(1%20-%20self.significance%2F2)%0A%20%20%20%20%20%20%20%20%20%20%20%20y_std%20%3D%20(y_upper%20-%20y_lower)%20%2F%20(2%20*%20z_score)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20y_pred%2C%20y_std%0A%0A%20%20%20%20%20%20%20%20def%20predict_quantiles(self%2C%20X)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20Return%20the%20raw%20quantile%20predictions%20for%20CRPS%20computation.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20Returns%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20--------%0A%20%20%20%20%20%20%20%20%20%20%20%20y_lower%20%3A%20array%20-%20lower%20quantile%20predictions%0A%20%20%20%20%20%20%20%20%20%20%20%20y_median%20%3A%20array%20-%20median%20predictions%0A%20%20%20%20%20%20%20%20%20%20%20%20y_upper%20%3A%20array%20-%20upper%20quantile%20predictions%0A%20%20%20%20%20%20%20%20%20%20%20%20alpha%20%3A%20float%20-%20significance%20level%20(1%20-%20confidence)%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20self.fit_succeeded_%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20n_samples%20%3D%20X.shape%5B0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20(np.full(n_samples%2C%20self.fallback_mean_)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20np.full(n_samples%2C%20self.fallback_mean_)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20np.full(n_samples%2C%20self.fallback_mean_)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.significance)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20y_lower%20%3D%20self.model_lower.predict(X)%0A%20%20%20%20%20%20%20%20%20%20%20%20y_median%20%3D%20self.model_median.predict(X)%0A%20%20%20%20%20%20%20%20%20%20%20%20y_upper%20%3D%20self.model_upper.predict(X)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20y_lower%2C%20y_median%2C%20y_upper%2C%20self.significance%0A%20%20%20%20return%20(QuantileRegressionUQ%2C)%0A%0A%0A%40app.cell%0Adef%20_(cho_factor%2C%20cho_solve%2C%20np)%3A%0A%20%20%20%20%23%20Pure%20numpy%2Fscipy%20GP%20implementation%20for%20WebAssembly%20compatibility%0A%0A%20%20%20%20def%20bump_kernel(X1%2C%20X2%2C%20lengthscale%2C%20support_radius%2C%20signal_variance%3D1.0)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Wendland%20C2%20compactly%20supported%20kernel%22%22%22%0A%20%20%20%20%20%20%20%20dists%20%3D%20np.abs(X1%5B%3A%2C%20None%5D%20-%20X2%5BNone%2C%20%3A%5D)%0A%20%20%20%20%20%20%20%20r%20%3D%20dists%20%2F%20(lengthscale%20*%20support_radius)%0A%20%20%20%20%20%20%20%20r_clipped%20%3D%20np.clip(r%2C%200.0%2C%201.0)%0A%20%20%20%20%20%20%20%20K%20%3D%20signal_variance%20*%20np.where(r%20%3C%201.0%2C%20(1.0%20-%20r_clipped)**4%20*%20(4.0%20*%20r_clipped%20%2B%201.0)%2C%200.0)%0A%20%20%20%20%20%20%20%20return%20K%0A%0A%20%20%20%20def%20polynomial_kernel(X1%2C%20X2%2C%20degree%2C%20sigma)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Polynomial%20kernel%22%22%22%0A%20%20%20%20%20%20%20%20%23%20Normalize%20inputs%0A%20%20%20%20%20%20%20%20x1_norm%20%3D%20X1%20*%200.1%0A%20%20%20%20%20%20%20%20x2_norm%20%3D%20X2%20*%200.1%0A%20%20%20%20%20%20%20%20K%20%3D%20(sigma%20%2B%20x1_norm%5B%3A%2C%20None%5D%20*%20x2_norm%5BNone%2C%20%3A%5D)**degree%0A%20%20%20%20%20%20%20%20return%20K%0A%0A%20%20%20%20def%20rbf_kernel(X1%2C%20X2%2C%20lengthscale%2C%20signal_variance%3D1.0)%3A%0A%20%20%20%20%20%20%20%20%22%22%22RBF%2Fsquared%20exponential%20kernel%22%22%22%0A%20%20%20%20%20%20%20%20dists_sq%20%3D%20(X1%5B%3A%2C%20None%5D%20-%20X2%5BNone%2C%20%3A%5D)**2%0A%20%20%20%20%20%20%20%20K%20%3D%20signal_variance%20*%20np.exp(-0.5%20*%20dists_sq%20%2F%20lengthscale**2)%0A%20%20%20%20%20%20%20%20return%20K%0A%0A%20%20%20%20def%20matern_kernel(X1%2C%20X2%2C%20lengthscale%2C%20signal_variance%3D1.0%2C%20nu%3D1.5)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Mat%C3%A9rn%20kernel%20with%20nu%3D1.5%20(Mat%C3%A9rn-3%2F2)%22%22%22%0A%20%20%20%20%20%20%20%20dists%20%3D%20np.abs(X1%5B%3A%2C%20None%5D%20-%20X2%5BNone%2C%20%3A%5D)%0A%20%20%20%20%20%20%20%20r%20%3D%20dists%20%2F%20lengthscale%0A%20%20%20%20%20%20%20%20sqrt3_r%20%3D%20np.sqrt(3.0)%20*%20r%0A%20%20%20%20%20%20%20%20K%20%3D%20signal_variance%20*%20(1.0%20%2B%20sqrt3_r)%20*%20np.exp(-sqrt3_r)%0A%20%20%20%20%20%20%20%20return%20K%0A%0A%20%20%20%20def%20custom_kernel(X1%2C%20X2%2C%20lengthscale%2C%20signal_variance%2C%20custom_code)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Execute%20user-defined%20kernel%20code.%22%22%22%0A%20%20%20%20%20%20%20%20import%20math%0A%20%20%20%20%20%20%20%20import%20scipy%0A%0A%20%20%20%20%20%20%20%20safe_builtins%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20'range'%3A%20range%2C%20'len'%3A%20len%2C%20'sum'%3A%20sum%2C%20'min'%3A%20min%2C%20'max'%3A%20max%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'abs'%3A%20abs%2C%20'round'%3A%20round%2C%20'int'%3A%20int%2C%20'float'%3A%20float%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'list'%3A%20list%2C%20'tuple'%3A%20tuple%2C%20'zip'%3A%20zip%2C%20'enumerate'%3A%20enumerate%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'True'%3A%20True%2C%20'False'%3A%20False%2C%20'None'%3A%20None%2C%20'print'%3A%20print%2C%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20namespace%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'np'%3A%20np%2C%20'scipy'%3A%20scipy%2C%20'math'%3A%20math%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'X1'%3A%20np.atleast_1d(X1)%2C%20'X2'%3A%20np.atleast_1d(X2)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'lengthscale'%3A%20lengthscale%2C%20'signal_variance'%3A%20signal_variance%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20exec(custom_code%2C%20%7B%22__builtins__%22%3A%20safe_builtins%7D%2C%20namespace)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20'K'%20not%20in%20namespace%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20None%2C%20%22Code%20must%20define%20'K'%22%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20K%20%3D%20np.atleast_2d(np.asarray(namespace%5B'K'%5D%2C%20dtype%3Dfloat))%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20expected_shape%20%3D%20(len(np.atleast_1d(X1))%2C%20len(np.atleast_1d(X2)))%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20K.shape%20!%3D%20expected_shape%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20None%2C%20f%22K%20shape%20%7BK.shape%7D%20doesn't%20match%20expected%20%7Bexpected_shape%7D%22%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20np.any(np.isnan(K))%20or%20np.any(np.isinf(K))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20None%2C%20%22Kernel%20matrix%20contains%20NaN%20or%20Inf%20values%22%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20K%2C%20None%0A%0A%20%20%20%20%20%20%20%20except%20Exception%20as%20e%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20None%2C%20str(e)%0A%0A%20%20%20%20def%20compute_kernel_matrix(X1%2C%20X2%2C%20kernel_type%2C%20params)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Helper%20to%20compute%20kernel%20matrix%20given%20type%20and%20params%22%22%22%0A%20%20%20%20%20%20%20%20if%20kernel_type%20%3D%3D%20'custom'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20K%2C%20error%20%3D%20custom_kernel(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20X1%2C%20X2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20params.get('lengthscale'%2C%201.0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20params.get('signal_variance'%2C%201.0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20params.get('custom_code'%2C%20'')%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20error%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(f%22Custom%20kernel%20error%3A%20%7Berror%7D%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20K%0A%20%20%20%20%20%20%20%20elif%20kernel_type%20%3D%3D%20'bump'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20bump_kernel(X1%2C%20X2%2C%20params%5B'lengthscale'%5D%2C%20params%5B'support_radius'%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20params.get('signal_variance'%2C%201.0))%0A%20%20%20%20%20%20%20%20elif%20kernel_type%20%3D%3D%20'polynomial'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20polynomial_kernel(X1%2C%20X2%2C%20params%5B'degree'%5D%2C%20params%5B'sigma'%5D)%0A%20%20%20%20%20%20%20%20elif%20kernel_type%20%3D%3D%20'rbf'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20rbf_kernel(X1%2C%20X2%2C%20params%5B'lengthscale'%5D%2C%20params.get('signal_variance'%2C%201.0))%0A%20%20%20%20%20%20%20%20elif%20kernel_type%20%3D%3D%20'matern'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20matern_kernel(X1%2C%20X2%2C%20params%5B'lengthscale'%5D%2C%20params.get('signal_variance'%2C%201.0))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(f%22Unknown%20kernel%20type%3A%20%7Bkernel_type%7D%22)%0A%0A%20%20%20%20def%20gp_marginal_likelihood(X_train%2C%20y_train%2C%20K_train%2C%20noise)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Compute%20log%20marginal%20likelihood%0A%0A%20%20%20%20%20%20%20%20log%20p(y%7CX)%20%3D%20-0.5%20*%20y%5ET%20K%5E%7B-1%7D%20y%20-%200.5%20*%20log%7CK%7C%20-%20n%2F2%20*%20log(2%CF%80)%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20n%20%3D%20len(y_train)%0A%20%20%20%20%20%20%20%20K_noisy%20%3D%20K_train%20%2B%20noise%20*%20np.eye(n)%0A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20L%2C%20lower%20%3D%20cho_factor(K_noisy%2C%20lower%3DTrue)%0A%20%20%20%20%20%20%20%20except%20np.linalg.LinAlgError%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20-np.inf%0A%0A%20%20%20%20%20%20%20%20%23%20y%5ET%20K%5E%7B-1%7D%20y%0A%20%20%20%20%20%20%20%20alpha%20%3D%20cho_solve((L%2C%20lower)%2C%20y_train)%0A%20%20%20%20%20%20%20%20data_fit%20%3D%20-0.5%20*%20np.dot(y_train%2C%20alpha)%0A%0A%20%20%20%20%20%20%20%20%23%20log%7CK%7C%0A%20%20%20%20%20%20%20%20complexity%20%3D%20-np.sum(np.log(np.diag(L)))%0A%0A%20%20%20%20%20%20%20%20%23%20constant%0A%20%20%20%20%20%20%20%20constant%20%3D%20-0.5%20*%20n%20*%20np.log(2%20*%20np.pi)%0A%0A%20%20%20%20%20%20%20%20return%20data_fit%20%2B%20complexity%20%2B%20constant%0A%0A%20%20%20%20def%20gp_joint_marginal_likelihood(X_train%2C%20y_train%2C%20K_train%2C%20noise%2C%20Phi_train%2C%20mean_regularization_strength)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Compute%20log%20marginal%20likelihood%20with%20joint%20Bayesian%20inference%20over%20basis%20mean%20coefficients%0A%0A%20%20%20%20%20%20%20%20Model%3A%20y%20%3D%20%CE%A6%CE%B2%20%2B%20f%20%2B%20%CE%B5%0A%20%20%20%20%20%20%20%20where%20%CE%B2%20~%20N(0%2C%20%CE%BB%E2%81%BB%C2%B9I)%2C%20f%20~%20GP(0%2C%20K)%2C%20%CE%B5%20~%20N(0%2C%20%CF%83%C2%B2I)%0A%0A%20%20%20%20%20%20%20%20Marginal%3A%20y%20~%20N(0%2C%20K_total)%20where%20K_total%20%3D%20%CE%A6%CE%9B%E2%81%BB%C2%B9%CE%A6%E1%B5%80%20%2B%20K%20%2B%20%CF%83%C2%B2I%0A%0A%20%20%20%20%20%20%20%20log%20p(y%7CX)%20%3D%20-0.5%20*%20y%5ET%20K_total%5E%7B-1%7D%20y%20-%200.5%20*%20log%7CK_total%7C%20-%20n%2F2%20*%20log(2%CF%80)%0A%0A%20%20%20%20%20%20%20%20Parameters%3A%0A%20%20%20%20%20%20%20%20-----------%0A%20%20%20%20%20%20%20%20X_train%20%3A%20array%20(n_train%2C)%0A%20%20%20%20%20%20%20%20y_train%20%3A%20array%20(n_train%2C)%0A%20%20%20%20%20%20%20%20K_train%20%3A%20array%20(n_train%2C%20n_train)%20-%20GP%20kernel%20on%20training%20data%0A%20%20%20%20%20%20%20%20noise%20%3A%20float%20-%20observation%20noise%20variance%0A%20%20%20%20%20%20%20%20Phi_train%20%3A%20array%20(n_train%2C%20n_features)%20-%20pre-computed%20basis%20feature%20matrix%0A%20%20%20%20%20%20%20%20mean_regularization_strength%20%3A%20float%20-%20regularization%20strength%20for%20basis%20coefficients%0A%0A%20%20%20%20%20%20%20%20Returns%3A%0A%20%20%20%20%20%20%20%20--------%0A%20%20%20%20%20%20%20%20log_marginal_likelihood%20%3A%20float%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20n%20%3D%20len(y_train)%0A%0A%20%20%20%20%20%20%20%20if%20Phi_train%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20No%20basis%20mean%20-%20should%20not%20happen%2C%20but%20handle%20gracefully%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20gp_marginal_likelihood(X_train%2C%20y_train%2C%20K_train%2C%20noise)%0A%0A%20%20%20%20%20%20%20%20%23%20Normalize%20basis%20features%20for%20numerical%20stability%0A%20%20%20%20%20%20%20%20Phi_train_std%20%3D%20np.std(Phi_train%2C%20axis%3D0%2C%20keepdims%3DTrue)%0A%20%20%20%20%20%20%20%20Phi_train_std%5BPhi_train_std%20%3C%201e-10%5D%20%3D%201.0%0A%20%20%20%20%20%20%20%20Phi_train_normalized%20%3D%20Phi_train%20%2F%20Phi_train_std%0A%0A%20%20%20%20%20%20%20%20%23%20Prior%20precision%20for%20basis%20coefficients%0A%20%20%20%20%20%20%20%20lambda_prior%20%3D%20mean_regularization_strength%0A%20%20%20%20%20%20%20%20Lambda_inv%20%3D%20(1.0%20%2F%20lambda_prior)%20*%20np.eye(Phi_train_normalized.shape%5B1%5D)%0A%0A%20%20%20%20%20%20%20%20%23%20Adjust%20for%20normalization%0A%20%20%20%20%20%20%20%20Lambda_inv_normalized%20%3D%20Lambda_inv%20%2F%20(Phi_train_std.T%20%40%20Phi_train_std%20%2B%201e-10)%0A%0A%20%20%20%20%20%20%20%20%23%20Build%20total%20covariance%3A%20K_total%20%3D%20%CE%A6%CE%9B%E2%81%BB%C2%B9%CE%A6%E1%B5%80%20%2B%20K_GP%20%2B%20%CF%83%C2%B2I%0A%20%20%20%20%20%20%20%20K_beta%20%3D%20Phi_train_normalized%20%40%20Lambda_inv_normalized%20%40%20Phi_train_normalized.T%0A%20%20%20%20%20%20%20%20K_total%20%3D%20K_beta%20%2B%20K_train%20%2B%20noise%20*%20np.eye(n)%0A%0A%20%20%20%20%20%20%20%20%23%20Add%20small%20jitter%20for%20numerical%20stability%0A%20%20%20%20%20%20%20%20jitter%20%3D%201e-8%0A%20%20%20%20%20%20%20%20K_total%20%2B%3D%20jitter%20*%20np.eye(n)%0A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20L%2C%20lower%20%3D%20cho_factor(K_total%2C%20lower%3DTrue)%0A%20%20%20%20%20%20%20%20except%20np.linalg.LinAlgError%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20-np.inf%0A%0A%20%20%20%20%20%20%20%20%23%20y%5ET%20K_total%5E%7B-1%7D%20y%0A%20%20%20%20%20%20%20%20alpha%20%3D%20cho_solve((L%2C%20lower)%2C%20y_train)%0A%20%20%20%20%20%20%20%20data_fit%20%3D%20-0.5%20*%20np.dot(y_train%2C%20alpha)%0A%0A%20%20%20%20%20%20%20%20%23%20log%7CK_total%7C%0A%20%20%20%20%20%20%20%20complexity%20%3D%20-np.sum(np.log(np.diag(L)))%0A%0A%20%20%20%20%20%20%20%20%23%20constant%0A%20%20%20%20%20%20%20%20constant%20%3D%20-0.5%20*%20n%20*%20np.log(2%20*%20np.pi)%0A%0A%20%20%20%20%20%20%20%20return%20data_fit%20%2B%20complexity%20%2B%20constant%0A%0A%20%20%20%20def%20gp_predict(X_train%2C%20y_train%2C%20X_test%2C%20K_train%2C%20K_test_train%2C%20K_test%2C%20noise)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20GP%20prediction%20using%20Cholesky%20decomposition%0A%0A%20%20%20%20%20%20%20%20Parameters%3A%0A%20%20%20%20%20%20%20%20-----------%0A%20%20%20%20%20%20%20%20X_train%20%3A%20array%20(n_train%2C)%0A%20%20%20%20%20%20%20%20y_train%20%3A%20array%20(n_train%2C)%0A%20%20%20%20%20%20%20%20X_test%20%3A%20array%20(n_test%2C)%0A%20%20%20%20%20%20%20%20K_train%20%3A%20array%20(n_train%2C%20n_train)%20-%20kernel%20on%20training%20data%0A%20%20%20%20%20%20%20%20K_test_train%20%3A%20array%20(n_test%2C%20n_train)%20-%20cross%20kernel%0A%20%20%20%20%20%20%20%20K_test%20%3A%20array%20(n_test%2C%20n_test)%20-%20kernel%20on%20test%20data%0A%20%20%20%20%20%20%20%20noise%20%3A%20float%20-%20observation%20noise%20variance%0A%0A%20%20%20%20%20%20%20%20Returns%3A%0A%20%20%20%20%20%20%20%20--------%0A%20%20%20%20%20%20%20%20y_mean%20%3A%20array%20(n_test%2C)%0A%20%20%20%20%20%20%20%20y_std%20%3A%20array%20(n_test%2C)%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20n_train%20%3D%20len(X_train)%0A%0A%20%20%20%20%20%20%20%20%23%20Add%20noise%20to%20diagonal%0A%20%20%20%20%20%20%20%20K_noisy%20%3D%20K_train%20%2B%20noise%20*%20np.eye(n_train)%0A%0A%20%20%20%20%20%20%20%20%23%20Cholesky%20decomposition%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20L%2C%20lower%20%3D%20cho_factor(K_noisy%2C%20lower%3DTrue)%0A%20%20%20%20%20%20%20%20except%20np.linalg.LinAlgError%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Fallback%3A%20add%20more%20noise%0A%20%20%20%20%20%20%20%20%20%20%20%20K_noisy%20%2B%3D%201e-3%20*%20np.eye(n_train)%0A%20%20%20%20%20%20%20%20%20%20%20%20L%2C%20lower%20%3D%20cho_factor(K_noisy%2C%20lower%3DTrue)%0A%0A%20%20%20%20%20%20%20%20%23%20Solve%20for%20alpha%20%3D%20K%5E%7B-1%7D%20y%0A%20%20%20%20%20%20%20%20alpha%20%3D%20cho_solve((L%2C%20lower)%2C%20y_train)%0A%0A%20%20%20%20%20%20%20%20%23%20Predictive%20mean%0A%20%20%20%20%20%20%20%20y_mean%20%3D%20K_test_train%20%40%20alpha%0A%0A%20%20%20%20%20%20%20%20%23%20Predictive%20variance%0A%20%20%20%20%20%20%20%20v%20%3D%20cho_solve((L%2C%20lower)%2C%20K_test_train.T)%0A%20%20%20%20%20%20%20%20y_var%20%3D%20np.diag(K_test)%20-%20np.sum(K_test_train%20*%20v.T%2C%20axis%3D1)%0A%20%20%20%20%20%20%20%20y_var%20%3D%20np.maximum(y_var%2C%200.0)%20%20%23%20Ensure%20non-negative%0A%20%20%20%20%20%20%20%20y_std%20%3D%20np.sqrt(y_var)%0A%0A%20%20%20%20%20%20%20%20return%20y_mean%2C%20y_std%0A%0A%20%20%20%20def%20gp_sample_posterior(X_train%2C%20y_train%2C%20X_test%2C%20K_train%2C%20K_test_train%2C%20K_test%2C%20noise%2C%20n_samples%3D10)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Draw%20samples%20from%20the%20GP%20posterior%20predictive%20distribution.%22%22%22%0A%20%20%20%20%20%20%20%20n_train%20%3D%20len(X_train)%0A%20%20%20%20%20%20%20%20n_test%20%3D%20len(X_test)%0A%0A%20%20%20%20%20%20%20%20K_noisy%20%3D%20K_train%20%2B%20noise%20*%20np.eye(n_train)%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20L_train%2C%20lower%20%3D%20cho_factor(K_noisy%2C%20lower%3DTrue)%0A%20%20%20%20%20%20%20%20except%20np.linalg.LinAlgError%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20K_noisy%20%2B%3D%201e-3%20*%20np.eye(n_train)%0A%20%20%20%20%20%20%20%20%20%20%20%20L_train%2C%20lower%20%3D%20cho_factor(K_noisy%2C%20lower%3DTrue)%0A%0A%20%20%20%20%20%20%20%20alpha%20%3D%20cho_solve((L_train%2C%20lower)%2C%20y_train)%0A%20%20%20%20%20%20%20%20y_mean%20%3D%20K_test_train%20%40%20alpha%0A%0A%20%20%20%20%20%20%20%20v%20%3D%20cho_solve((L_train%2C%20lower)%2C%20K_test_train.T)%0A%20%20%20%20%20%20%20%20K_post%20%3D%20K_test%20-%20K_test_train%20%40%20v%0A%20%20%20%20%20%20%20%20K_post%20%2B%3D%201e-6%20*%20np.eye(n_test)%0A%20%20%20%20%20%20%20%20K_post%20%3D%200.5%20*%20(K_post%20%2B%20K_post.T)%0A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20L_post%20%3D%20np.linalg.cholesky(K_post)%0A%20%20%20%20%20%20%20%20except%20np.linalg.LinAlgError%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20K_post%20%2B%3D%201e-4%20*%20np.eye(n_test)%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20L_post%20%3D%20np.linalg.cholesky(K_post)%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20np.linalg.LinAlgError%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20np.tile(y_mean%5B%3A%2C%20None%5D%2C%20(1%2C%20n_samples))%0A%0A%20%20%20%20%20%20%20%20z%20%3D%20np.random.randn(n_test%2C%20n_samples)%0A%20%20%20%20%20%20%20%20return%20y_mean%5B%3A%2C%20None%5D%20%2B%20L_post%20%40%20z%0A%0A%20%20%20%20def%20gp_loo_log_likelihood(y_train%2C%20K_train%2C%20noise)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Compute%20Leave-One-Out%20cross-validation%20log%20likelihood%20for%20GP%20(per%20point%20average).%0A%0A%20%20%20%20%20%20%20%20Uses%20efficient%20closed-form%20formula%3A%0A%20%20%20%20%20%20%20%20-%20%CE%B1%20%3D%20K%5E%7B-1%7D%20y%0A%20%20%20%20%20%20%20%20-%20K_inv_ii%20%3D%20diagonal%20of%20K%5E%7B-1%7D%0A%20%20%20%20%20%20%20%20-%20LOO%20mean%3A%20%CE%BC_i%20%3D%20y_i%20-%20%CE%B1_i%20%2F%20K_inv_ii%0A%20%20%20%20%20%20%20%20-%20LOO%20variance%3A%20%CF%83%C2%B2_i%20%3D%201%20%2F%20K_inv_ii%0A%0A%20%20%20%20%20%20%20%20Parameters%3A%0A%20%20%20%20%20%20%20%20-----------%0A%20%20%20%20%20%20%20%20y_train%20%3A%20array%20(n%2C)%20-%20training%20targets%0A%20%20%20%20%20%20%20%20K_train%20%3A%20array%20(n%2C%20n)%20-%20kernel%20matrix%20on%20training%20data%0A%20%20%20%20%20%20%20%20noise%20%3A%20float%20-%20observation%20noise%20variance%0A%0A%20%20%20%20%20%20%20%20Returns%3A%0A%20%20%20%20%20%20%20%20--------%0A%20%20%20%20%20%20%20%20float%20-%20average%20LOO%20log%20likelihood%20per%20point%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20n%20%3D%20len(y_train)%0A%0A%20%20%20%20%20%20%20%20%23%20Add%20noise%20to%20kernel%0A%20%20%20%20%20%20%20%20K_noisy%20%3D%20K_train%20%2B%20noise%20*%20np.eye(n)%0A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Compute%20K%5E%7B-1%7D%20and%20K%5E%7B-1%7Dy%0A%20%20%20%20%20%20%20%20%20%20%20%20L%2C%20lower%20%3D%20cho_factor(K_noisy%2C%20lower%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20alpha%20%3D%20cho_solve((L%2C%20lower)%2C%20y_train)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Compute%20diagonal%20of%20K%5E%7B-1%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20K_inv%20%3D%20cho_solve((L%2C%20lower)%2C%20np.eye(n))%0A%20%20%20%20%20%20%20%20%20%20%20%20K_inv_diag%20%3D%20np.diag(K_inv)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Ensure%20positive%20diagonal%20(numerical%20stability)%0A%20%20%20%20%20%20%20%20%20%20%20%20K_inv_diag%20%3D%20np.maximum(K_inv_diag%2C%201e-10)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20LOO%20predictions%0A%20%20%20%20%20%20%20%20%20%20%20%20loo_mean%20%3D%20y_train%20-%20alpha%20%2F%20K_inv_diag%0A%20%20%20%20%20%20%20%20%20%20%20%20loo_var%20%3D%201.0%20%2F%20K_inv_diag%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20LOO%20residuals%0A%20%20%20%20%20%20%20%20%20%20%20%20loo_residuals%20%3D%20y_train%20-%20loo_mean%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Gaussian%20log%20likelihood%0A%20%20%20%20%20%20%20%20%20%20%20%20log_lik%20%3D%20-0.5%20*%20(np.log(2%20*%20np.pi%20*%20loo_var)%20%2B%20loo_residuals**2%20%2F%20loo_var)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20np.mean(log_lik)%0A%0A%20%20%20%20%20%20%20%20except%20np.linalg.LinAlgError%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20-np.inf%0A%0A%20%20%20%20def%20optimize_gp_hyperparameters(X_train%2C%20y_train%2C%20kernel_type%2C%20initial_params%2C%20max_iter%3D50%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20use_basis_mean%3DFalse%2C%20Phi_train%3DNone%2C%20joint_inference%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mean_regularization_strength%3D0.1%2C%20custom_code%3DNone)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Optimize%20GP%20hyperparameters%20by%20maximizing%20marginal%20likelihood%0A%0A%20%20%20%20%20%20%20%20Parameters%3A%0A%20%20%20%20%20%20%20%20-----------%0A%20%20%20%20%20%20%20%20X_train%20%3A%20array%20(n_train%2C)%0A%20%20%20%20%20%20%20%20y_train%20%3A%20array%20(n_train%2C)%0A%20%20%20%20%20%20%20%20kernel_type%20%3A%20str%0A%20%20%20%20%20%20%20%20initial_params%20%3A%20dict%20with%20initial%20hyperparameter%20values%0A%20%20%20%20%20%20%20%20max_iter%20%3A%20int%2C%20maximum%20optimization%20iterations%0A%20%20%20%20%20%20%20%20use_basis_mean%20%3A%20bool%2C%20whether%20to%20use%20basis%20mean%20function%0A%20%20%20%20%20%20%20%20Phi_train%20%3A%20array%20(n_train%2C%20n_basis)%20or%20None%20-%20pre-computed%20basis%20features%0A%20%20%20%20%20%20%20%20joint_inference%20%3A%20bool%2C%20if%20True%20optimize%20mean%20regularization%20jointly%0A%20%20%20%20%20%20%20%20mean_regularization_strength%20%3A%20float%2C%20initial%20mean%20regularization%20strength%0A%20%20%20%20%20%20%20%20custom_code%20%3A%20str%20or%20None%2C%20custom%20kernel%20code%20(required%20if%20kernel_type%3D'custom')%0A%0A%20%20%20%20%20%20%20%20Returns%3A%0A%20%20%20%20%20%20%20%20--------%0A%20%20%20%20%20%20%20%20optimized_params%20%3A%20dict%20with%20optimized%20hyperparameters%0A%20%20%20%20%20%20%20%20log_marginal_likelihood%20%3A%20float%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20from%20scipy.optimize%20import%20minimize%0A%0A%20%20%20%20%20%20%20%20X_train%20%3D%20np.atleast_1d(X_train).reshape(-1)%0A%20%20%20%20%20%20%20%20y_train%20%3D%20np.atleast_1d(y_train).reshape(-1)%0A%0A%20%20%20%20%20%20%20%20%23%20Define%20bounds%20and%20parameterization%20(work%20in%20log%20space%20for%20positive%20params)%0A%20%20%20%20%20%20%20%20if%20kernel_type%20%3D%3D%20'rbf'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20use_basis_mean%20and%20joint_inference%20and%20Phi_train%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Optimize%3A%20log_lengthscale%2C%20log_signal_variance%2C%20log_noise%2C%20log_mean_regularization%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20def%20pack_params(lengthscale%2C%20signal_variance%2C%20noise%2C%20mean_reg)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20np.array(%5Bnp.log(lengthscale)%2C%20np.log(signal_variance)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20np.log(noise)%2C%20np.log(mean_reg)%5D)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20def%20unpack_params(x)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20%7B'lengthscale'%3A%20np.exp(x%5B0%5D)%2C%20'signal_variance'%3A%20np.exp(x%5B1%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'noise'%3A%20np.exp(x%5B2%5D)%2C%20'mean_regularization'%3A%20np.exp(x%5B3%5D)%7D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x0%20%3D%20pack_params(initial_params.get('lengthscale'%2C%201.0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20initial_params.get('signal_variance'%2C%201.0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20initial_params.get('noise'%2C%200.1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mean_regularization_strength)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bounds%20%3D%20%5B(-2%2C%202)%2C%20(-2%2C%202)%2C%20(-6%2C%200)%2C%20(-6%2C%201)%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Optimize%3A%20log_lengthscale%2C%20log_signal_variance%2C%20log_noise%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20def%20pack_params(lengthscale%2C%20signal_variance%2C%20noise)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20np.array(%5Bnp.log(lengthscale)%2C%20np.log(signal_variance)%2C%20np.log(noise)%5D)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20def%20unpack_params(x)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20%7B'lengthscale'%3A%20np.exp(x%5B0%5D)%2C%20'signal_variance'%3A%20np.exp(x%5B1%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'noise'%3A%20np.exp(x%5B2%5D)%7D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x0%20%3D%20pack_params(initial_params.get('lengthscale'%2C%201.0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20initial_params.get('signal_variance'%2C%201.0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20initial_params.get('noise'%2C%200.1))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bounds%20%3D%20%5B(-2%2C%202)%2C%20(-2%2C%202)%2C%20(-6%2C%200)%5D%0A%0A%20%20%20%20%20%20%20%20elif%20kernel_type%20%3D%3D%20'matern'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Same%20hyperparameters%20as%20RBF%3A%20lengthscale%2C%20signal_variance%20and%20noise%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20use_basis_mean%20and%20joint_inference%20and%20Phi_train%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20def%20pack_params(lengthscale%2C%20signal_variance%2C%20noise%2C%20mean_reg)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20np.array(%5Bnp.log(lengthscale)%2C%20np.log(signal_variance)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20np.log(noise)%2C%20np.log(mean_reg)%5D)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20def%20unpack_params(x)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20%7B'lengthscale'%3A%20np.exp(x%5B0%5D)%2C%20'signal_variance'%3A%20np.exp(x%5B1%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'noise'%3A%20np.exp(x%5B2%5D)%2C%20'mean_regularization'%3A%20np.exp(x%5B3%5D)%7D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x0%20%3D%20pack_params(initial_params.get('lengthscale'%2C%201.0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20initial_params.get('signal_variance'%2C%201.0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20initial_params.get('noise'%2C%200.1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mean_regularization_strength)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bounds%20%3D%20%5B(-2%2C%202)%2C%20(-2%2C%202)%2C%20(-6%2C%200)%2C%20(-6%2C%201)%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20def%20pack_params(lengthscale%2C%20signal_variance%2C%20noise)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20np.array(%5Bnp.log(lengthscale)%2C%20np.log(signal_variance)%2C%20np.log(noise)%5D)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20def%20unpack_params(x)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20%7B'lengthscale'%3A%20np.exp(x%5B0%5D)%2C%20'signal_variance'%3A%20np.exp(x%5B1%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'noise'%3A%20np.exp(x%5B2%5D)%7D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x0%20%3D%20pack_params(initial_params.get('lengthscale'%2C%201.0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20initial_params.get('signal_variance'%2C%201.0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20initial_params.get('noise'%2C%200.1))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bounds%20%3D%20%5B(-2%2C%202)%2C%20(-2%2C%202)%2C%20(-6%2C%200)%5D%0A%0A%20%20%20%20%20%20%20%20elif%20kernel_type%20%3D%3D%20'bump'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20use_basis_mean%20and%20joint_inference%20and%20Phi_train%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20def%20pack_params(lengthscale%2C%20signal_variance%2C%20support_radius%2C%20noise%2C%20mean_reg)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20np.array(%5Bnp.log(lengthscale)%2C%20np.log(signal_variance)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20np.log(support_radius)%2C%20np.log(noise)%2C%20np.log(mean_reg)%5D)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20def%20unpack_params(x)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20%7B'lengthscale'%3A%20np.exp(x%5B0%5D)%2C%20'signal_variance'%3A%20np.exp(x%5B1%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'support_radius'%3A%20np.exp(x%5B2%5D)%2C%20'noise'%3A%20np.exp(x%5B3%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'mean_regularization'%3A%20np.exp(x%5B4%5D)%7D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x0%20%3D%20pack_params(initial_params.get('lengthscale'%2C%201.0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20initial_params.get('signal_variance'%2C%201.0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20initial_params.get('support_radius'%2C%202.0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20initial_params.get('noise'%2C%200.1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mean_regularization_strength)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bounds%20%3D%20%5B(-2%2C%202)%2C%20(-2%2C%202)%2C%20(-1%2C%202)%2C%20(-6%2C%200)%2C%20(-6%2C%201)%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20def%20pack_params(lengthscale%2C%20signal_variance%2C%20support_radius%2C%20noise)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20np.array(%5Bnp.log(lengthscale)%2C%20np.log(signal_variance)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20np.log(support_radius)%2C%20np.log(noise)%5D)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20def%20unpack_params(x)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20%7B'lengthscale'%3A%20np.exp(x%5B0%5D)%2C%20'signal_variance'%3A%20np.exp(x%5B1%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'support_radius'%3A%20np.exp(x%5B2%5D)%2C%20'noise'%3A%20np.exp(x%5B3%5D)%7D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x0%20%3D%20pack_params(initial_params.get('lengthscale'%2C%201.0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20initial_params.get('signal_variance'%2C%201.0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20initial_params.get('support_radius'%2C%202.0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20initial_params.get('noise'%2C%200.1))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bounds%20%3D%20%5B(-2%2C%202)%2C%20(-2%2C%202)%2C%20(-1%2C%202)%2C%20(-6%2C%200)%5D%0A%0A%20%20%20%20%20%20%20%20elif%20kernel_type%20%3D%3D%20'polynomial'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Optimize%3A%20log_sigma%2C%20log_noise%20(keep%20degree%20fixed)%0A%20%20%20%20%20%20%20%20%20%20%20%20degree%20%3D%20initial_params.get('degree'%2C%205)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20use_basis_mean%20and%20joint_inference%20and%20Phi_train%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20def%20pack_params(sigma%2C%20noise%2C%20mean_reg)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20np.array(%5Bnp.log(sigma)%2C%20np.log(noise)%2C%20np.log(mean_reg)%5D)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20def%20unpack_params(x)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20%7B'degree'%3A%20degree%2C%20'sigma'%3A%20np.exp(x%5B0%5D)%2C%20'noise'%3A%20np.exp(x%5B1%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'mean_regularization'%3A%20np.exp(x%5B2%5D)%7D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x0%20%3D%20pack_params(initial_params.get('sigma'%2C%200.1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20initial_params.get('noise'%2C%200.1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mean_regularization_strength)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bounds%20%3D%20%5B(-3%2C%201)%2C%20(-6%2C%200)%2C%20(-6%2C%201)%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20def%20pack_params(sigma%2C%20noise)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20np.array(%5Bnp.log(sigma)%2C%20np.log(noise)%5D)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20def%20unpack_params(x)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20%7B'degree'%3A%20degree%2C%20'sigma'%3A%20np.exp(x%5B0%5D)%2C%20'noise'%3A%20np.exp(x%5B1%5D)%7D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x0%20%3D%20pack_params(initial_params.get('sigma'%2C%200.1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20initial_params.get('noise'%2C%200.1))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bounds%20%3D%20%5B(-3%2C%201)%2C%20(-6%2C%200)%5D%0A%0A%20%20%20%20%20%20%20%20elif%20kernel_type%20%3D%3D%20'custom'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20custom_code%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(%22custom_code%20required%20for%20custom%20kernel%22)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20use_basis_mean%20and%20joint_inference%20and%20Phi_train%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20def%20pack_params(lengthscale%2C%20signal_variance%2C%20noise%2C%20mean_reg)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20np.array(%5Bnp.log(lengthscale)%2C%20np.log(signal_variance)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20np.log(noise)%2C%20np.log(mean_reg)%5D)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20def%20unpack_params(x)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20%7B'lengthscale'%3A%20np.exp(x%5B0%5D)%2C%20'signal_variance'%3A%20np.exp(x%5B1%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'noise'%3A%20np.exp(x%5B2%5D)%2C%20'mean_regularization'%3A%20np.exp(x%5B3%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'custom_code'%3A%20custom_code%7D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x0%20%3D%20pack_params(initial_params.get('lengthscale'%2C%201.0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20initial_params.get('signal_variance'%2C%201.0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20initial_params.get('noise'%2C%200.1)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mean_regularization_strength)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bounds%20%3D%20%5B(-2%2C%202)%2C%20(-2%2C%202)%2C%20(-6%2C%200)%2C%20(-6%2C%201)%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20def%20pack_params(lengthscale%2C%20signal_variance%2C%20noise)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20np.array(%5Bnp.log(lengthscale)%2C%20np.log(signal_variance)%2C%20np.log(noise)%5D)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20def%20unpack_params(x)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20%7B'lengthscale'%3A%20np.exp(x%5B0%5D)%2C%20'signal_variance'%3A%20np.exp(x%5B1%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'noise'%3A%20np.exp(x%5B2%5D)%2C%20'custom_code'%3A%20custom_code%7D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x0%20%3D%20pack_params(initial_params.get('lengthscale'%2C%201.0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20initial_params.get('signal_variance'%2C%201.0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20initial_params.get('noise'%2C%200.1))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bounds%20%3D%20%5B(-2%2C%202)%2C%20(-2%2C%202)%2C%20(-6%2C%200)%5D%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(f%22Unknown%20kernel%20type%3A%20%7Bkernel_type%7D%22)%0A%0A%20%20%20%20%20%20%20%20%23%20Negative%20log%20marginal%20likelihood%20(to%20minimize)%0A%20%20%20%20%20%20%20%20def%20neg_log_marginal_likelihood(x)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20params%20%3D%20unpack_params(x)%0A%20%20%20%20%20%20%20%20%20%20%20%20noise%20%3D%20params.pop('noise')%0A%20%20%20%20%20%20%20%20%20%20%20%20mean_reg%20%3D%20params.pop('mean_regularization'%2C%20None)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20K_train%20%3D%20compute_kernel_matrix(X_train%2C%20X_train%2C%20kernel_type%2C%20params)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Use%20joint%20marginal%20likelihood%20if%20optimizing%20mean%20regularization%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20mean_reg%20is%20not%20None%20and%20use_basis_mean%20and%20joint_inference%20and%20Phi_train%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20log_ml%20%3D%20gp_joint_marginal_likelihood(X_train%2C%20y_train%2C%20K_train%2C%20noise%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Phi_train%2C%20mean_reg)%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20log_ml%20%3D%20gp_marginal_likelihood(X_train%2C%20y_train%2C%20K_train%2C%20noise)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Return%20negative%20for%20minimization%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20-log_ml%0A%0A%20%20%20%20%20%20%20%20%23%20Optimize%20-%20use%20L-BFGS-B%20with%20Nelder-Mead%20fallback%20for%20custom%20kernels%0A%20%20%20%20%20%20%20%20if%20kernel_type%20%3D%3D%20'custom'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Custom%20kernels%20may%20have%20non-smooth%20objectives%3B%20try%20L-BFGS-B%20first%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20result%20%3D%20minimize(neg_log_marginal_likelihood%2C%20x0%2C%20bounds%3Dbounds%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20method%3D'L-BFGS-B'%2C%20options%3D%7B'maxiter'%3A%20max_iter%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20result.success%20or%20not%20np.isfinite(result.fun)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20raise%20RuntimeError(%22L-BFGS-B%20failed%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20Exception%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Fallback%20to%20derivative-free%20Nelder-Mead%20(no%20native%20bounds)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20def%20bounded_objective(x)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x_clipped%20%3D%20np.clip(x%2C%20%5Bb%5B0%5D%20for%20b%20in%20bounds%5D%2C%20%5Bb%5B1%5D%20for%20b%20in%20bounds%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20neg_log_marginal_likelihood(x_clipped)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20result%20%3D%20minimize(bounded_objective%2C%20x0%2C%20method%3D'Nelder-Mead'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20options%3D%7B'maxiter'%3A%20max_iter%20*%2010%2C%20'xatol'%3A%201e-4%2C%20'fatol'%3A%201e-4%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Clip%20result%20to%20bounds%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20result.x%20%3D%20np.clip(result.x%2C%20%5Bb%5B0%5D%20for%20b%20in%20bounds%5D%2C%20%5Bb%5B1%5D%20for%20b%20in%20bounds%5D)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20result%20%3D%20minimize(neg_log_marginal_likelihood%2C%20x0%2C%20bounds%3Dbounds%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20method%3D'L-BFGS-B'%2C%20options%3D%7B'maxiter'%3A%20max_iter%7D)%0A%0A%20%20%20%20%20%20%20%20optimized_params%20%3D%20unpack_params(result.x)%0A%20%20%20%20%20%20%20%20log_ml%20%3D%20-result.fun%0A%0A%20%20%20%20%20%20%20%20return%20optimized_params%2C%20log_ml%0A%0A%20%20%20%20def%20fit_gp_numpy(X_train%2C%20y_train%2C%20X_test%2C%20kernel_type%3D'rbf'%2C%20use_basis_mean%3DFalse%2C%20Phi_train%3DNone%2C%20Phi_test%3DNone%2C%20joint_inference%3DFalse%2C%20mean_regularization_strength%3D0.1%2C%20**kernel_params)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Fit%20GP%20using%20pure%20numpy%2Fscipy%0A%0A%20%20%20%20%20%20%20%20Parameters%3A%0A%20%20%20%20%20%20%20%20-----------%0A%20%20%20%20%20%20%20%20X_train%20%3A%20array%20(n_train%2C)%0A%20%20%20%20%20%20%20%20y_train%20%3A%20array%20(n_train%2C)%0A%20%20%20%20%20%20%20%20X_test%20%3A%20array%20(n_test%2C)%0A%20%20%20%20%20%20%20%20kernel_type%20%3A%20str%2C%20one%20of%20'rbf'%2C%20'bump'%2C%20'polynomial'%0A%20%20%20%20%20%20%20%20use_basis_mean%20%3A%20bool%2C%20whether%20to%20use%20basis%20mean%20function%0A%20%20%20%20%20%20%20%20Phi_train%20%3A%20array%20(n_train%2C%20n_basis)%20or%20None%20-%20pre-computed%20basis%20features%20for%20training%0A%20%20%20%20%20%20%20%20Phi_test%20%3A%20array%20(n_test%2C%20n_basis)%20or%20None%20-%20pre-computed%20basis%20features%20for%20testing%0A%20%20%20%20%20%20%20%20joint_inference%20%3A%20bool%2C%20if%20True%20do%20joint%20Bayesian%20inference%20over%20mean%20params%20and%20GP%0A%20%20%20%20%20%20%20%20**kernel_params%20%3A%20kernel%20hyperparameters%0A%0A%20%20%20%20%20%20%20%20Returns%3A%0A%20%20%20%20%20%20%20%20--------%0A%20%20%20%20%20%20%20%20y_mean%20%3A%20array%20(n_test%2C)%20-%20full%20GP%20predictions%20(with%20basis%20mean%20added%20back)%0A%20%20%20%20%20%20%20%20y_std%20%3A%20array%20(n_test%2C)%20-%20total%20uncertainty%20(GP%20%2B%20mean%20if%20joint%20inference)%0A%20%20%20%20%20%20%20%20basis_mean%20%3A%20array%20(n_test%2C)%20or%20None%20-%20basis%20mean%20function%20(for%20plotting)%0A%20%20%20%20%20%20%20%20y_std_gp%20%3A%20array%20(n_test%2C)%20or%20None%20-%20GP%20uncertainty%20component%20only%20(for%20joint%20inference)%0A%20%20%20%20%20%20%20%20y_std_mean%20%3A%20array%20(n_test%2C)%20or%20None%20-%20mean%20uncertainty%20component%20only%20(for%20joint%20inference)%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20X_train%20%3D%20np.atleast_1d(X_train).reshape(-1)%0A%20%20%20%20%20%20%20%20y_train%20%3D%20np.atleast_1d(y_train).reshape(-1)%0A%20%20%20%20%20%20%20%20X_test%20%3D%20np.atleast_1d(X_test).reshape(-1)%0A%0A%20%20%20%20%20%20%20%20%23%20Basis%20mean%20function%20(if%20requested)%0A%20%20%20%20%20%20%20%20if%20use_basis_mean%20and%20Phi_train%20is%20not%20None%20and%20Phi_test%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20from%20sklearn.linear_model%20import%20BayesianRidge%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20joint_inference%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Joint%20Bayesian%20inference%3A%20marginalize%20over%20basis%20coefficients%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Model%3A%20y%20%3D%20%CE%A6%CE%B2%20%2B%20f%20%2B%20%CE%B5%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20where%20%CE%B2%20~%20N(0%2C%20%CE%BB%E2%81%BB%C2%B9I)%2C%20f%20~%20GP(0%2C%20K)%2C%20%CE%B5%20~%20N(0%2C%20%CF%83%C2%B2I)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Marginal%3A%20y%20~%20N(0%2C%20%CE%A6%CE%9B%E2%81%BB%C2%B9%CE%A6%E1%B5%80%20%2B%20K%20%2B%20%CF%83%C2%B2I)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20This%20integrates%20out%20uncertainty%20in%20%CE%B2!%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Prior%20precision%20for%20basis%20coefficients%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20lambda_prior%20%3D%20mean_regularization_strength%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Lambda_inv%20%3D%20(1.0%20%2F%20lambda_prior)%20*%20np.eye(Phi_train.shape%5B1%5D)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Normalize%20basis%20features%20to%20improve%20conditioning%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Phi_train_std%20%3D%20np.std(Phi_train%2C%20axis%3D0%2C%20keepdims%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Phi_train_std%5BPhi_train_std%20%3C%201e-10%5D%20%3D%201.0%20%20%23%20Avoid%20division%20by%20zero%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Phi_train_normalized%20%3D%20Phi_train%20%2F%20Phi_train_std%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Phi_test_normalized%20%3D%20Phi_test%20%2F%20Phi_train_std%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Update%20Lambda_inv%20to%20account%20for%20normalization%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Lambda_inv_normalized%20%3D%20Lambda_inv%20%2F%20(Phi_train_std.T%20%40%20Phi_train_std%20%2B%201e-10)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Store%20normalized%20features%20for%20joint%20inference%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Phi_train%20%3D%20Phi_train_normalized%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Phi_test%20%3D%20Phi_test_normalized%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Lambda_inv%20%3D%20Lambda_inv_normalized%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Posterior%20mean%20will%20be%20computed%20after%20we%20have%20K_total%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20use_basis_mean%20%3D%20True%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_train_residual%20%3D%20None%20%20%23%20Not%20used%20in%20joint%20path%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mean_test%20%3D%20None%20%20%23%20Will%20be%20computed%20in%20joint%20inference%20path%20after%20seeing%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Sequential%20inference%3A%20fit%20basis%20model%20first%20(point%20estimate)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20basis_model%20%3D%20BayesianRidge(fit_intercept%3DFalse)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20basis_model.fit(Phi_train%2C%20y_train)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Get%20basis%20mean%20predictions%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mean_train%20%3D%20basis_model.predict(Phi_train)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mean_test%20%3D%20basis_model.predict(Phi_test)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Subtract%20mean%20from%20training%20data%20(fit%20GP%20on%20residuals)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_train_residual%20%3D%20y_train%20-%20mean_train%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20y_train_residual%20%3D%20y_train%0A%20%20%20%20%20%20%20%20%20%20%20%20mean_test%20%3D%20np.zeros_like(X_test)%0A%20%20%20%20%20%20%20%20%20%20%20%20use_basis_mean%20%3D%20False%20%20%23%20Track%20if%20we're%20using%20it%20for%20return%20value%0A%20%20%20%20%20%20%20%20%20%20%20%20joint_inference%20%3D%20False%20%20%23%20Not%20using%20joint%20inference%0A%0A%20%20%20%20%20%20%20%20%23%20Get%20noise%20level%0A%20%20%20%20%20%20%20%20noise%20%3D%20kernel_params.get('noise'%2C%200.1)%0A%0A%20%20%20%20%20%20%20%20%23%20Compute%20kernel%20matrices%0A%20%20%20%20%20%20%20%20if%20kernel_type%20%3D%3D%20'bump'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20lengthscale%20%3D%20kernel_params.get('lengthscale'%2C%201.0)%0A%20%20%20%20%20%20%20%20%20%20%20%20signal_variance%20%3D%20kernel_params.get('signal_variance'%2C%201.0)%0A%20%20%20%20%20%20%20%20%20%20%20%20support_radius%20%3D%20kernel_params.get('support_radius'%2C%202.0)%0A%20%20%20%20%20%20%20%20%20%20%20%20noise%20%3D%20max(noise%2C%201e-4)%20%20%23%20Higher%20noise%20for%20stability%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20K_train%20%3D%20bump_kernel(X_train%2C%20X_train%2C%20lengthscale%2C%20support_radius%2C%20signal_variance)%0A%20%20%20%20%20%20%20%20%20%20%20%20K_test_train%20%3D%20bump_kernel(X_test%2C%20X_train%2C%20lengthscale%2C%20support_radius%2C%20signal_variance)%0A%20%20%20%20%20%20%20%20%20%20%20%20K_test%20%3D%20bump_kernel(X_test%2C%20X_test%2C%20lengthscale%2C%20support_radius%2C%20signal_variance)%0A%0A%20%20%20%20%20%20%20%20elif%20kernel_type%20%3D%3D%20'polynomial'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20degree%20%3D%20min(kernel_params.get('degree'%2C%2010)%2C%208)%20%20%23%20Cap%20at%208%0A%20%20%20%20%20%20%20%20%20%20%20%20sigma%20%3D%20kernel_params.get('sigma'%2C%200.1)%0A%20%20%20%20%20%20%20%20%20%20%20%20noise%20%3D%20max(noise%2C%201e-3)%20%20%23%20Higher%20noise%20for%20stability%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20K_train%20%3D%20polynomial_kernel(X_train%2C%20X_train%2C%20degree%2C%20sigma)%0A%20%20%20%20%20%20%20%20%20%20%20%20K_test_train%20%3D%20polynomial_kernel(X_test%2C%20X_train%2C%20degree%2C%20sigma)%0A%20%20%20%20%20%20%20%20%20%20%20%20K_test%20%3D%20polynomial_kernel(X_test%2C%20X_test%2C%20degree%2C%20sigma)%0A%0A%20%20%20%20%20%20%20%20elif%20kernel_type%20%3D%3D%20'rbf'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20lengthscale%20%3D%20kernel_params.get('lengthscale'%2C%201.0)%0A%20%20%20%20%20%20%20%20%20%20%20%20signal_variance%20%3D%20kernel_params.get('signal_variance'%2C%201.0)%0A%20%20%20%20%20%20%20%20%20%20%20%20noise%20%3D%20max(noise%2C%201e-6)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20K_train%20%3D%20rbf_kernel(X_train%2C%20X_train%2C%20lengthscale%2C%20signal_variance)%0A%20%20%20%20%20%20%20%20%20%20%20%20K_test_train%20%3D%20rbf_kernel(X_test%2C%20X_train%2C%20lengthscale%2C%20signal_variance)%0A%20%20%20%20%20%20%20%20%20%20%20%20K_test%20%3D%20rbf_kernel(X_test%2C%20X_test%2C%20lengthscale%2C%20signal_variance)%0A%0A%20%20%20%20%20%20%20%20elif%20kernel_type%20%3D%3D%20'matern'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20lengthscale%20%3D%20kernel_params.get('lengthscale'%2C%201.0)%0A%20%20%20%20%20%20%20%20%20%20%20%20signal_variance%20%3D%20kernel_params.get('signal_variance'%2C%201.0)%0A%20%20%20%20%20%20%20%20%20%20%20%20noise%20%3D%20max(noise%2C%201e-6)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20K_train%20%3D%20matern_kernel(X_train%2C%20X_train%2C%20lengthscale%2C%20signal_variance)%0A%20%20%20%20%20%20%20%20%20%20%20%20K_test_train%20%3D%20matern_kernel(X_test%2C%20X_train%2C%20lengthscale%2C%20signal_variance)%0A%20%20%20%20%20%20%20%20%20%20%20%20K_test%20%3D%20matern_kernel(X_test%2C%20X_test%2C%20lengthscale%2C%20signal_variance)%0A%0A%20%20%20%20%20%20%20%20elif%20kernel_type%20%3D%3D%20'custom'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20lengthscale%20%3D%20kernel_params.get('lengthscale'%2C%201.0)%0A%20%20%20%20%20%20%20%20%20%20%20%20signal_variance%20%3D%20kernel_params.get('signal_variance'%2C%201.0)%0A%20%20%20%20%20%20%20%20%20%20%20%20custom_code%20%3D%20kernel_params.get('custom_code'%2C%20'')%0A%20%20%20%20%20%20%20%20%20%20%20%20noise%20%3D%20max(noise%2C%201e-6)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20K_train%2C%20err%20%3D%20custom_kernel(X_train%2C%20X_train%2C%20lengthscale%2C%20signal_variance%2C%20custom_code)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20err%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(f%22Custom%20kernel%20error%3A%20%7Berr%7D%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20K_test_train%2C%20err%20%3D%20custom_kernel(X_test%2C%20X_train%2C%20lengthscale%2C%20signal_variance%2C%20custom_code)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20err%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(f%22Custom%20kernel%20error%3A%20%7Berr%7D%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20K_test%2C%20err%20%3D%20custom_kernel(X_test%2C%20X_test%2C%20lengthscale%2C%20signal_variance%2C%20custom_code)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20err%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(f%22Custom%20kernel%20error%3A%20%7Berr%7D%22)%0A%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(f%22Unknown%20kernel%20type%3A%20%7Bkernel_type%7D%22)%0A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20joint_inference%20and%20use_basis_mean%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Joint%20Bayesian%20inference%20path%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Build%20total%20covariance%3A%20K_total%20%3D%20%CE%A6%CE%9B%E2%81%BB%C2%B9%CE%A6%E1%B5%80%20%2B%20K_GP%20%2B%20%CF%83%C2%B2I%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20K_beta%20%3D%20Phi_train%20%40%20Lambda_inv%20%40%20Phi_train.T%20%20%23%20Uncertainty%20from%20%CE%B2%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20K_total%20%3D%20K_beta%20%2B%20K_train%20%2B%20noise%20*%20np.eye(len(X_train))%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Adaptive%20jitter%20for%20numerical%20stability%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Start%20with%20small%20jitter%20and%20increase%20if%20needed%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20jitter%20%3D%201e-8%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20max_attempts%20%3D%205%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20attempt%20in%20range(max_attempts)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Solve%20for%20%CE%B1%20%3D%20K_total%E2%81%BB%C2%B9%20y%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20L%20%3D%20np.linalg.cholesky(K_total%20%2B%20jitter%20*%20np.eye(len(X_train)))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alpha%20%3D%20np.linalg.solve(L.T%2C%20np.linalg.solve(L%2C%20y_train))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20break%20%20%23%20Success!%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20except%20np.linalg.LinAlgError%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20attempt%20%3C%20max_attempts%20-%201%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Increase%20jitter%20and%20try%20again%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20jitter%20*%3D%2010%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20continue%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Final%20attempt%20failed%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20raise%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Prediction%20mean%3A%20%5B%CE%A6(x*)%20k(x*%2CX)%5D%20%CE%B1%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20This%20automatically%20includes%20contribution%20from%20both%20%CE%B2%20and%20GP%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20K_test_beta%20%3D%20Phi_test%20%40%20Lambda_inv%20%40%20Phi_train.T%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20K_combined%20%3D%20K_test_beta%20%2B%20K_test_train%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_mean%20%3D%20K_combined%20%40%20alpha%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Prediction%20variance%3A%20includes%20both%20%CE%B2%20and%20GP%20uncertainty%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20%CE%A3(x*)%20%3D%20%CE%A6(x*)%CE%9B%E2%81%BB%C2%B9%CE%A6(x*)%E1%B5%80%20%2B%20k(x*%2Cx*)%20-%20K_combined%20K_total%E2%81%BB%C2%B9%20K_combined%E1%B5%80%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20v%20%3D%20np.linalg.solve(L%2C%20K_combined.T)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20K_test_beta_diag%20%3D%20np.sum((Phi_test%20%40%20Lambda_inv)%20*%20Phi_test%2C%20axis%3D1)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Separate%20the%20uncertainty%20components%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%201.%20Prior%20uncertainty%20from%20polynomial%20mean%20(before%20seeing%20data)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_var_mean_prior%20%3D%20K_test_beta_diag%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%202.%20Prior%20uncertainty%20from%20GP%20(before%20seeing%20data)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_var_gp_prior%20%3D%20np.diag(K_test)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%203.%20Reduction%20in%20uncertainty%20from%20observing%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_var_reduction%20%3D%20np.sum(v**2%2C%20axis%3D0)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Total%20posterior%20variance%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_var_total%20%3D%20y_var_mean_prior%20%2B%20y_var_gp_prior%20-%20y_var_reduction%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_var_total%20%3D%20np.maximum(y_var_total%2C%201e-10)%20%20%23%20Numerical%20stability%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_std_total%20%3D%20np.sqrt(y_var_total)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20For%20visualization%3A%20approximate%20the%20split%20between%20mean%20and%20GP%20contributions%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20This%20is%20approximate%20because%20they're%20coupled%20through%20the%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fraction_mean%20%3D%20y_var_mean_prior%20%2F%20(y_var_mean_prior%20%2B%20y_var_gp_prior%20%2B%201e-10)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fraction_gp%20%3D%20y_var_gp_prior%20%2F%20(y_var_mean_prior%20%2B%20y_var_gp_prior%20%2B%201e-10)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_std_mean_component%20%3D%20y_std_total%20*%20np.sqrt(fraction_mean)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_std_gp_component%20%3D%20y_std_total%20*%20np.sqrt(fraction_gp)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Compute%20posterior%20mean%20of%20polynomial%20coefficients%20for%20visualization%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20E%5B%CE%B2%7Cy%5D%20%3D%20%CE%9B%E2%81%BB%C2%B9%CE%A6%E1%B5%80%20K_total%E2%81%BB%C2%B9%20y%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20This%20gives%20us%20the%20posterior%20mean%20estimate%20of%20the%20polynomial%20component%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Phi_beta_coef%20%3D%20Lambda_inv%20%40%20Phi_train.T%20%40%20alpha%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mean_test_posterior%20%3D%20Phi_test%20%40%20Phi_beta_coef%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20For%20plotting%3A%20return%20the%20polynomial%20posterior%20mean%20for%20visualization%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Note%3A%20In%20joint%20inference%2C%20this%20represents%20E%5B%CE%A6%CE%B2%7Cy%5D%2C%20the%20posterior%20mean%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20of%20the%20polynomial%20component%20after%20seeing%20the%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20y_mean%2C%20y_std_total%2C%20mean_test_posterior%2C%20y_std_gp_component%2C%20y_std_mean_component%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20except%20np.linalg.LinAlgError%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20print(%22Warning%3A%20Cholesky%20failed%20for%20joint%20inference%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20np.zeros_like(X_test)%2C%20np.ones_like(X_test)%2C%20None%2C%20None%2C%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Sequential%20inference%20path%3A%20fit%20GP%20on%20residuals%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_mean_residual%2C%20y_std%20%3D%20gp_predict(X_train%2C%20y_train_residual%2C%20X_test%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20K_train%2C%20K_test_train%2C%20K_test%2C%20noise)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Add%20polynomial%20mean%20back%20to%20predictions%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_mean%20%3D%20y_mean_residual%20%2B%20mean_test%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Check%20for%20NaNs%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20np.any(np.isnan(y_mean))%20or%20np.any(np.isnan(y_std))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20print(f%22Warning%3A%20NaNs%20in%20GP%20prediction%20with%20%7Bkernel_type%7D%20kernel%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20np.zeros_like(X_test)%2C%20np.ones_like(X_test)%2C%20None%2C%20None%2C%20None%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Return%20polynomial%20mean%20for%20plotting%20(None%20if%20not%20using%20it)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Sequential%20inference%20doesn't%20separate%20uncertainty%20components%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20y_mean%2C%20y_std%2C%20(mean_test%20if%20use_basis_mean%20and%20not%20joint_inference%20else%20None)%2C%20None%2C%20None%0A%0A%20%20%20%20%20%20%20%20except%20Exception%20as%20e%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22Error%20in%20GP%20fitting%20with%20%7Bkernel_type%7D%20kernel%3A%20%7Be%7D%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20np.zeros_like(X_test)%2C%20np.ones_like(X_test)%2C%20None%2C%20None%2C%20None%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20bump_kernel%2C%0A%20%20%20%20%20%20%20%20compute_kernel_matrix%2C%0A%20%20%20%20%20%20%20%20custom_kernel%2C%0A%20%20%20%20%20%20%20%20fit_gp_numpy%2C%0A%20%20%20%20%20%20%20%20gp_loo_log_likelihood%2C%0A%20%20%20%20%20%20%20%20gp_marginal_likelihood%2C%0A%20%20%20%20%20%20%20%20gp_sample_posterior%2C%0A%20%20%20%20%20%20%20%20matern_kernel%2C%0A%20%20%20%20%20%20%20%20optimize_gp_hyperparameters%2C%0A%20%20%20%20%20%20%20%20polynomial_kernel%2C%0A%20%20%20%20%20%20%20%20rbf_kernel%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20%22%22%22Helper%20functions%20for%20probabilistic%20metrics%3A%20Log%20Likelihood%20and%20CRPS%22%22%22%0A%20%20%20%20from%20scipy.stats%20import%20norm%0A%0A%20%20%20%20def%20gaussian_log_likelihood_per_point(y_true%2C%20mu%2C%20sigma)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Compute%20average%20log%20likelihood%20per%20data%20point%20for%20Gaussian%20predictions.%0A%0A%20%20%20%20%20%20%20%20Parameters%3A%0A%20%20%20%20%20%20%20%20-----------%0A%20%20%20%20%20%20%20%20y_true%20%3A%20array%20-%20true%20values%0A%20%20%20%20%20%20%20%20mu%20%3A%20array%20-%20predicted%20means%0A%20%20%20%20%20%20%20%20sigma%20%3A%20array%20-%20predicted%20standard%20deviations%0A%0A%20%20%20%20%20%20%20%20Returns%3A%0A%20%20%20%20%20%20%20%20--------%0A%20%20%20%20%20%20%20%20float%20-%20average%20log%20likelihood%20per%20point%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%23%20Avoid%20log(0)%20by%20clamping%20sigma%0A%20%20%20%20%20%20%20%20sigma%20%3D%20np.maximum(sigma%2C%201e-10)%0A%20%20%20%20%20%20%20%20log_lik%20%3D%20-0.5%20*%20(np.log(2%20*%20np.pi%20*%20sigma**2)%20%2B%20(y_true%20-%20mu)**2%20%2F%20sigma**2)%0A%20%20%20%20%20%20%20%20return%20np.mean(log_lik)%0A%0A%20%20%20%20def%20crps_gaussian(y_true%2C%20mu%2C%20sigma)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Continuous%20Ranked%20Probability%20Score%20for%20Gaussian%20predictions%20(closed%20form).%0A%0A%20%20%20%20%20%20%20%20Lower%20CRPS%20is%20better%20(0%20is%20perfect).%0A%0A%20%20%20%20%20%20%20%20Parameters%3A%0A%20%20%20%20%20%20%20%20-----------%0A%20%20%20%20%20%20%20%20y_true%20%3A%20array%20-%20true%20values%0A%20%20%20%20%20%20%20%20mu%20%3A%20array%20-%20predicted%20means%0A%20%20%20%20%20%20%20%20sigma%20%3A%20array%20-%20predicted%20standard%20deviations%0A%0A%20%20%20%20%20%20%20%20Returns%3A%0A%20%20%20%20%20%20%20%20--------%0A%20%20%20%20%20%20%20%20float%20-%20mean%20CRPS%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20sigma%20%3D%20np.maximum(sigma%2C%201e-10)%0A%20%20%20%20%20%20%20%20z%20%3D%20(y_true%20-%20mu)%20%2F%20sigma%0A%20%20%20%20%20%20%20%20crps%20%3D%20sigma%20*%20(z%20*%20(2%20*%20norm.cdf(z)%20-%201)%20%2B%202%20*%20norm.pdf(z)%20-%201%20%2F%20np.sqrt(np.pi))%0A%20%20%20%20%20%20%20%20return%20np.mean(crps)%0A%0A%20%20%20%20def%20crps_quantile_approx(y_true%2C%20y_lower%2C%20y_median%2C%20y_upper%2C%20alpha)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Approximate%20CRPS%20using%20pinball%20losses%20at%203%20quantiles.%0A%0A%20%20%20%20%20%20%20%20For%20quantile%20regression%20which%20doesn't%20output%20a%20full%20distribution.%0A%0A%20%20%20%20%20%20%20%20Parameters%3A%0A%20%20%20%20%20%20%20%20-----------%0A%20%20%20%20%20%20%20%20y_true%20%3A%20array%20-%20true%20values%0A%20%20%20%20%20%20%20%20y_lower%20%3A%20array%20-%20lower%20quantile%20predictions%20(alpha%2F2)%0A%20%20%20%20%20%20%20%20y_median%20%3A%20array%20-%20median%20predictions%20(0.5)%0A%20%20%20%20%20%20%20%20y_upper%20%3A%20array%20-%20upper%20quantile%20predictions%20(1%20-%20alpha%2F2)%0A%20%20%20%20%20%20%20%20alpha%20%3A%20float%20-%20significance%20level%20(e.g.%2C%200.1%20for%2090%25%20intervals)%0A%0A%20%20%20%20%20%20%20%20Returns%3A%0A%20%20%20%20%20%20%20%20--------%0A%20%20%20%20%20%20%20%20float%20-%20approximate%20mean%20CRPS%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%23%20Pinball%20loss%20for%20lower%20quantile%20(alpha%2F2)%0A%20%20%20%20%20%20%20%20tau_low%20%3D%20alpha%20%2F%202%0A%20%20%20%20%20%20%20%20err_low%20%3D%20y_true%20-%20y_lower%0A%20%20%20%20%20%20%20%20pinball_low%20%3D%20np.where(err_low%20%3E%3D%200%2C%20tau_low%20*%20err_low%2C%20(tau_low%20-%201)%20*%20err_low)%0A%0A%20%20%20%20%20%20%20%20%23%20Pinball%20loss%20for%20median%20(0.5)%0A%20%20%20%20%20%20%20%20err_med%20%3D%20y_true%20-%20y_median%0A%20%20%20%20%20%20%20%20pinball_med%20%3D%20np.abs(err_med)%20*%200.5%0A%0A%20%20%20%20%20%20%20%20%23%20Pinball%20loss%20for%20upper%20quantile%20(1%20-%20alpha%2F2)%0A%20%20%20%20%20%20%20%20tau_high%20%3D%201%20-%20alpha%20%2F%202%0A%20%20%20%20%20%20%20%20err_high%20%3D%20y_true%20-%20y_upper%0A%20%20%20%20%20%20%20%20pinball_high%20%3D%20np.where(err_high%20%3E%3D%200%2C%20tau_high%20*%20err_high%2C%20(tau_high%20-%201)%20*%20err_high)%0A%0A%20%20%20%20%20%20%20%20%23%20Average%20pinball%20losses%20as%20CRPS%20approximation%0A%20%20%20%20%20%20%20%20return%20np.mean(pinball_low%20%2B%20pinball_med%20%2B%20pinball_high)%20%2F%203%0A%0A%20%20%20%20def%20crps_ensemble(y_true%2C%20ensemble_predictions)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20CRPS%20using%20empirical%20distribution%20from%20ensemble%20members.%0A%0A%20%20%20%20%20%20%20%20Parameters%3A%0A%20%20%20%20%20%20%20%20-----------%0A%20%20%20%20%20%20%20%20y_true%20%3A%20array%20(n_samples%2C)%20-%20true%20values%0A%20%20%20%20%20%20%20%20ensemble_predictions%20%3A%20array%20(n_samples%2C%20n_members)%20-%20predictions%20from%20each%20ensemble%20member%0A%0A%20%20%20%20%20%20%20%20Returns%3A%0A%20%20%20%20%20%20%20%20--------%0A%20%20%20%20%20%20%20%20float%20-%20mean%20CRPS%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20n_samples%20%3D%20len(y_true)%0A%20%20%20%20%20%20%20%20crps_values%20%3D%20np.zeros(n_samples)%0A%0A%20%20%20%20%20%20%20%20for%20i%20in%20range(n_samples)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20y%20%3D%20y_true%5Bi%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20preds%20%3D%20ensemble_predictions%5Bi%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20CRPS%20%3D%20E%7CX%20-%20y%7C%20-%200.5%20*%20E%7CX%20-%20X'%7C%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20where%20X%2C%20X'%20are%20independent%20draws%20from%20the%20forecast%20distribution%0A%20%20%20%20%20%20%20%20%20%20%20%20crps_values%5Bi%5D%20%3D%20np.mean(np.abs(preds%20-%20y))%20-%200.5%20*%20np.mean(np.abs(preds%5B%3A%2C%20None%5D%20-%20preds%5BNone%2C%20%3A%5D))%0A%0A%20%20%20%20%20%20%20%20return%20np.mean(crps_values)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20crps_ensemble%2C%0A%20%20%20%20%20%20%20%20crps_gaussian%2C%0A%20%20%20%20%20%20%20%20crps_quantile_approx%2C%0A%20%20%20%20%20%20%20%20gaussian_log_likelihood_per_point%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20qrcode%0A%20%20%20%20import%20io%0A%20%20%20%20import%20base64%0A%0A%20%20%20%20%23%20Generate%20QR%20code%0A%20%20%20%20qr%20%3D%20qrcode.QRCode(version%3D1%2C%20box_size%3D10%2C%20border%3D4)%0A%20%20%20%20qr.add_data('https%3A%2F%2Fsciml.warwick.ac.uk%2Fwasm%2Fregression-demo%2F')%0A%20%20%20%20qr.make(fit%3DTrue)%0A%0A%20%20%20%20img%20%3D%20qr.make_image(fill_color%3D%22black%22%2C%20back_color%3D%22white%22)%0A%0A%20%20%20%20%23%20Convert%20to%20base64%0A%20%20%20%20buffer%20%3D%20io.BytesIO()%0A%20%20%20%20img.save(buffer%2C%20format%3D'PNG')%0A%20%20%20%20buffer.seek(0)%0A%20%20%20%20qr_base64%20%3D%20base64.b64encode(buffer.read()).decode()%0A%20%20%20%20return%20(qr_base64%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20qr_base64)%3A%0A%20%20%20%20mo.Html(f'''%0A%20%20%20%20%3Cdiv%20class%3D%22app-header%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20justify-content%3A%20space-between%3B%20align-items%3A%20center%3B%20margin%3A%200%3B%20padding%3A%200%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D'font-size%3A%2024px%3B%20margin%3A%200%3B%20padding%3A%200%3B%20line-height%3A%201.3%3B'%3E%3Cb%3EBayesian%20Regression%20and%20UQ%20Demo%3C%2Fb%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cbr%3E%3Cspan%20style%3D%22font-size%3A%2016px%3B%22%3E%3Ci%3ELive%20demos%3A%3C%2Fi%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ca%20href%3D%22https%3A%2F%2Fsciml.warwick.ac.uk%2F%22%20target%3D%22_blank%22%20style%3D%22color%3A%20%230066cc%3B%20text-decoration%3A%20none%3B%22%3Esciml.warwick.ac.uk%3C%2Fa%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26nbsp%3B%26nbsp%3B%7C%26nbsp%3B%26nbsp%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ci%3ECode%3A%3C%2Fi%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ca%20href%3D%22https%3A%2F%2Fgithub.com%2Fkermodegroup%2Fdemos%22%20target%3D%22_blank%22%20style%3D%22color%3A%20%230066cc%3B%20text-decoration%3A%20none%3B%22%3Egithub.com%2Fkermodegroup%2Fdemos%3C%2Fa%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fspan%3E%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cimg%20src%3D%22data%3Aimage%2Fpng%3Bbase64%2C%7Bqr_base64%7D%22%20alt%3D%22QR%20Code%22%20style%3D%22width%3A%20100px%3B%20height%3A%20100px%3B%20flex-shrink%3A%200%3B%22%20%2F%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20''')%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20%22%22%22Basis%20feature%20functions%20for%20linear%20regression%20models.%22%22%22%0A%0A%20%20%20%20def%20make_rbf_features(X%2C%20n_basis%2C%20x_min%2C%20x_max%2C%20lengthscale%3DNone)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Create%20RBF%20basis%20features%20with%20evenly%20spaced%20centers.%22%22%22%0A%20%20%20%20%20%20%20%20centers%20%3D%20np.linspace(x_min%2C%20x_max%2C%20n_basis)%0A%20%20%20%20%20%20%20%20if%20lengthscale%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20spacing%20%3D%20(x_max%20-%20x_min)%20%2F%20(n_basis%20-%201)%20if%20n_basis%20%3E%201%20else%201.0%0A%20%20%20%20%20%20%20%20%20%20%20%20sigma%20%3D%20spacing%20*%200.5%20%20%23%20Width%20parameter%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sigma%20%3D%20lengthscale%0A%20%20%20%20%20%20%20%20x%20%3D%20X%5B%3A%2C%200%5D%0A%20%20%20%20%20%20%20%20features%20%3D%20np.column_stack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20np.exp(-((x%20-%20c)**2)%20%2F%20(2%20*%20sigma**2))%20for%20c%20in%20centers%0A%20%20%20%20%20%20%20%20%5D)%0A%20%20%20%20%20%20%20%20return%20features%2C%20centers%2C%20sigma%0A%0A%20%20%20%20def%20make_fourier_features(X%2C%20n_basis%2C%20x_min%2C%20x_max%2C%20lengthscale%3DNone)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Create%20Fourier%20basis%20features%20(1%2C%20sin%2C%20cos%20pairs).%22%22%22%0A%20%20%20%20%20%20%20%20if%20lengthscale%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20L%20%3D%20(x_max%20-%20x_min)%20%2F%202%20%20%23%20Half-period%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20L%20%3D%20lengthscale%0A%20%20%20%20%20%20%20%20x%20%3D%20X%5B%3A%2C%200%5D%0A%20%20%20%20%20%20%20%20features%20%3D%20%5Bnp.ones(len(x))%5D%20%20%23%20Constant%20term%0A%20%20%20%20%20%20%20%20freq%20%3D%201%0A%20%20%20%20%20%20%20%20while%20len(features)%20%3C%20n_basis%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20features.append(np.sin(freq%20*%20np.pi%20*%20x%20%2F%20L))%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20len(features)%20%3C%20n_basis%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20features.append(np.cos(freq%20*%20np.pi%20*%20x%20%2F%20L))%0A%20%20%20%20%20%20%20%20%20%20%20%20freq%20%2B%3D%201%0A%20%20%20%20%20%20%20%20return%20np.column_stack(features%5B%3An_basis%5D)%2C%20L%0A%0A%20%20%20%20def%20make_lj_features(X%2C%20n_basis%2C%20x_min%2C%20x_max)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Create%20LJ-inspired%20basis%20features%3A%20constant%2C%201%2Fr%5E12%2C%201%2Fr%5E6%2C%20and%20inverse%20powers.%22%22%22%0A%20%20%20%20%20%20%20%20offset%20%3D%201.5%20%20%23%20Hard-coded%20to%20match%20LJ%20ground%20truth%0A%20%20%20%20%20%20%20%20x%20%3D%20X%5B%3A%2C%200%5D%0A%20%20%20%20%20%20%20%20%23%20Use%20same%20mapping%20as%20LJ%20ground%20truth%3A%20r%20%3D%20x%2F5%20%2B%20offset%0A%20%20%20%20%20%20%20%20r%20%3D%20x%20%2F%205.0%20%2B%20offset%0A%20%20%20%20%20%20%20%20r%20%3D%20np.maximum(r%2C%200.1)%20%20%23%20Safety%20clamp%0A%0A%20%20%20%20%20%20%20%20features%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20%23%20Order%3A%20constant%2C%201%2Fr%5E12%20(repulsive)%2C%201%2Fr%5E6%20(attractive)%2C%20then%20inverse%20powers%0A%20%20%20%20%20%20%20%20if%20n_basis%20%3E%3D%201%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20features.append(np.ones(len(r)))%20%20%23%20Constant%20for%20vertical%20offset%0A%20%20%20%20%20%20%20%20if%20n_basis%20%3E%3D%202%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20features.append(1.0%20%2F%20r**12)%20%20%23%20Repulsive%20term%0A%20%20%20%20%20%20%20%20if%20n_basis%20%3E%3D%203%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20features.append(1.0%20%2F%20r**6)%20%20%20%23%20Attractive%20term%0A%20%20%20%20%20%20%20%20%23%20Additional%20inverse%20power%20terms%3A%201%2Fr%2C%201%2Fr%5E2%2C%201%2Fr%5E3%2C%20...%0A%20%20%20%20%20%20%20%20power%20%3D%201%0A%20%20%20%20%20%20%20%20while%20len(features)%20%3C%20n_basis%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20features.append(1.0%20%2F%20r**power)%0A%20%20%20%20%20%20%20%20%20%20%20%20power%20%2B%3D%201%0A%0A%20%20%20%20%20%20%20%20return%20np.column_stack(features%5B%3An_basis%5D)%2C%20offset%0A%0A%20%20%20%20def%20make_custom_features(X%2C%20n_basis%2C%20custom_code)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Execute%20user%20code%20to%20create%20custom%20basis%20features.%22%22%22%0A%20%20%20%20%20%20%20%20import%20math%0A%20%20%20%20%20%20%20%20import%20scipy%0A%20%20%20%20%20%20%20%20%23%20Safe%20subset%20of%20builtins%20needed%20for%20basic%20operations%0A%20%20%20%20%20%20%20%20safe_builtins%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20'range'%3A%20range%2C%20'len'%3A%20len%2C%20'sum'%3A%20sum%2C%20'min'%3A%20min%2C%20'max'%3A%20max%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'abs'%3A%20abs%2C%20'round'%3A%20round%2C%20'int'%3A%20int%2C%20'float'%3A%20float%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'list'%3A%20list%2C%20'tuple'%3A%20tuple%2C%20'zip'%3A%20zip%2C%20'enumerate'%3A%20enumerate%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'True'%3A%20True%2C%20'False'%3A%20False%2C%20'None'%3A%20None%2C%20'print'%3A%20print%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20namespace%20%3D%20%7B'np'%3A%20np%2C%20'scipy'%3A%20scipy%2C%20'math'%3A%20math%2C%20'X'%3A%20X%2C%20'P'%3A%20n_basis%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20exec(custom_code%2C%20%7B%22__builtins__%22%3A%20safe_builtins%7D%2C%20namespace)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20'features'%20not%20in%20namespace%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20None%2C%20%22Code%20must%20define%20'features'%22%0A%20%20%20%20%20%20%20%20%20%20%20%20features%20%3D%20np.atleast_2d(np.asarray(namespace%5B'features'%5D%2C%20dtype%3Dfloat))%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Ensure%20correct%20shape%20(n_samples%2C%20n_features)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20features.shape%5B0%5D%20!%3D%20X.shape%5B0%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20features%20%3D%20features.T%20%20%23%20Try%20transpose%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Check%20for%20NaN%2FInf%20values%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20np.any(np.isnan(features))%20or%20np.any(np.isinf(features))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20None%2C%20%22Features%20contain%20NaN%20or%20Inf%20values%22%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20features%5B%3A%2C%20%3An_basis%5D%2C%20None%20%20%23%20Match%20return%20signature%0A%20%20%20%20%20%20%20%20except%20Exception%20as%20e%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20None%2C%20str(e)%20%20%23%20Return%20error%20message%20instead%20of%20crashing%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20make_custom_features%2C%0A%20%20%20%20%20%20%20%20make_fourier_features%2C%0A%20%20%20%20%20%20%20%20make_lj_features%2C%0A%20%20%20%20%20%20%20%20make_rbf_features%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20ConformalPrediction%2C%0A%20%20%20%20MyBayesianRidge%2C%0A%20%20%20%20N_samples%2C%0A%20%20%20%20NeuralNetworkRegression%2C%0A%20%20%20%20POPSRegression%2C%0A%20%20%20%20PolynomialFeatures%2C%0A%20%20%20%20QuantileRegressionUQ%2C%0A%20%20%20%20aleatoric%2C%0A%20%20%20%20aleatoric_gp%2C%0A%20%20%20%20basis_type_dropdown%2C%0A%20%20%20%20bayesian%2C%0A%20%20%20%20bump_kernel%2C%0A%20%20%20%20compute_kernel_matrix%2C%0A%20%20%20%20conformal%2C%0A%20%20%20%20crps_ensemble%2C%0A%20%20%20%20crps_gaussian%2C%0A%20%20%20%20crps_quantile_approx%2C%0A%20%20%20%20custom_kernel%2C%0A%20%20%20%20fit_gp_numpy%2C%0A%20%20%20%20function_dropdown%2C%0A%20%20%20%20g%2C%0A%20%20%20%20gaussian_log_likelihood_per_point%2C%0A%20%20%20%20get_P%2C%0A%20%20%20%20get_basis_lengthscale%2C%0A%20%20%20%20get_basis_type%2C%0A%20%20%20%20get_calib_frac%2C%0A%20%20%20%20get_custom_basis_code%2C%0A%20%20%20%20get_custom_function_code%2C%0A%20%20%20%20get_custom_kernel_code%2C%0A%20%20%20%20get_filter_invert%2C%0A%20%20%20%20get_filter_max%2C%0A%20%20%20%20get_filter_min%2C%0A%20%20%20%20get_gp_joint_inference%2C%0A%20%20%20%20get_gp_kernel_type%2C%0A%20%20%20%20get_gp_lengthscale%2C%0A%20%20%20%20get_gp_mean_regularization%2C%0A%20%20%20%20get_gp_signal_variance%2C%0A%20%20%20%20get_gp_support_radius%2C%0A%20%20%20%20get_last_enabled_method%2C%0A%20%20%20%20get_leverage_percentile%2C%0A%20%20%20%20get_n_samples_gp%2C%0A%20%20%20%20get_n_samples_linear%2C%0A%20%20%20%20get_n_samples_nn%2C%0A%20%20%20%20get_nn_activation%2C%0A%20%20%20%20get_nn_ensemble_method%2C%0A%20%20%20%20get_nn_ensemble_size%2C%0A%20%20%20%20get_nn_hidden_units%2C%0A%20%20%20%20get_nn_num_layers%2C%0A%20%20%20%20get_nn_regularization%2C%0A%20%20%20%20get_percentile_clipping%2C%0A%20%20%20%20get_pops_posterior%2C%0A%20%20%20%20get_quantile_confidence%2C%0A%20%20%20%20get_quantile_regularization%2C%0A%20%20%20%20get_seed%2C%0A%20%20%20%20get_show_samples_gp%2C%0A%20%20%20%20get_show_samples_linear%2C%0A%20%20%20%20get_show_samples_nn%2C%0A%20%20%20%20get_zeta%2C%0A%20%20%20%20gp_loo_log_likelihood%2C%0A%20%20%20%20gp_marginal_likelihood%2C%0A%20%20%20%20gp_regression%2C%0A%20%20%20%20gp_sample_posterior%2C%0A%20%20%20%20gp_use_basis_mean%2C%0A%20%20%20%20make_custom_features%2C%0A%20%20%20%20make_fourier_features%2C%0A%20%20%20%20make_lj_features%2C%0A%20%20%20%20make_rbf_features%2C%0A%20%20%20%20matern_kernel%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20neural_network%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20polynomial_kernel%2C%0A%20%20%20%20pops%2C%0A%20%20%20%20quantile%2C%0A%20%20%20%20rbf_kernel%2C%0A%20%20%20%20seed%2C%0A%20%20%20%20sigma%2C%0A%20%20%20%20train_test_split%2C%0A)%3A%0A%20%20%20%20def%20get_data(N_samples%3D500%2C%20sigma%3D0.1%2C%20function_type%3D'sin'%2C%20custom_code%3DNone)%3A%0A%20%20%20%20%20%20%20%20x_train%20%3D%20np.append(np.random.uniform(-10%2C%2010%2C%20size%3DN_samples)%2C%20np.linspace(-10%2C%2010%2C%202))%0A%20%20%20%20%20%20%20%20%23%20Filter%3A%20normal%20%3D%20exclude%20inside%20range%2C%20inverted%20%3D%20keep%20only%20inside%20range%0A%20%20%20%20%20%20%20%20if%20get_filter_invert()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20x_train%20%3D%20x_train%5B(x_train%20%3E%3D%20get_filter_min())%20%26%20(x_train%20%3C%3D%20get_filter_max())%5D%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20x_train%20%3D%20x_train%5B(x_train%20%3C%20get_filter_min())%20%7C%20(x_train%20%3E%20get_filter_max())%5D%0A%20%20%20%20%20%20%20%20x_train%20%3D%20np.sort(x_train)%0A%20%20%20%20%20%20%20%20y_train%20%3D%20g(x_train%2C%20noise_variance%3Dsigma**2%2C%20function_type%3Dfunction_type%2C%20custom_code%3Dcustom_code)%0A%20%20%20%20%20%20%20%20X_train%20%3D%20x_train%5B%3A%2C%20None%5D%0A%0A%20%20%20%20%20%20%20%20x_test%20%3D%20np.linspace(-10%2C%2010%2C%201000)%0A%20%20%20%20%20%20%20%20y_test%20%3D%20g(x_test%2C%200%2C%20function_type%3Dfunction_type%2C%20custom_code%3Dcustom_code)%0A%20%20%20%20%20%20%20%20X_test%20%3D%20x_test%5B%3A%2C%20None%5D%0A%0A%20%20%20%20%20%20%20%20return%20X_train%2C%20y_train%2C%20X_test%2C%20y_test%0A%0A%20%20%20%20fig%2C%20ax%20%3D%20plt.subplots(figsize%3D(14%2C%205))%0A%20%20%20%20np.random.seed(seed.value)%0A%20%20%20%20_func_type%20%3D%20function_dropdown.value%0A%20%20%20%20_custom_code%20%3D%20get_custom_function_code()%20if%20_func_type%20%3D%3D%20'custom'%20else%20None%0A%20%20%20%20X_data%2C%20y_data%2C%20X_test%2C%20y_test%20%3D%20get_data(N_samples.value%2C%20sigma%3Dsigma.value%2C%20function_type%3D_func_type%2C%20custom_code%3D_custom_code)%0A%0A%20%20%20%20%23%20Check%20if%20filter%20removed%20all%20data%0A%20%20%20%20mo.stop(len(X_data)%20%3C%205%2C%20mo.md(f%22%22%22%0A%20%20%20%20%E2%9A%A0%EF%B8%8F%20**Error%3A%20Filter%20range%20removed%20all%20data!**%0A%0A%20%20%20%20The%20current%20filter%20range%20(%7Bget_filter_min()%3A.1f%7D%20to%20%7Bget_filter_max()%3A.1f%7D)%20excludes%20all%20data%20points.%0A%0A%20%20%20%20Please%20adjust%20the%20filter%20range%20to%20include%20some%20data%20points.%0A%20%20%20%20%22%22%22))%0A%0A%20%20%20%20X_train%2C%20X_calib%2C%20y_train%2C%20y_calib%20%3D%20train_test_split(X_data%2C%20y_data%2C%20test_size%3Dget_calib_frac()%2C%20random_state%3Dget_seed())%0A%20%20%20%20n%20%3D%20len(y_calib)%0A%0A%20%20%20%20%23%20Create%20basis%20features%20based%20on%20selected%20type%0A%20%20%20%20basis_type%20%3D%20basis_type_dropdown.value%20if%20basis_type_dropdown%20else%20get_basis_type()%0A%20%20%20%20P%20%3D%20get_P()%0A%20%20%20%20x_min%2C%20x_max%20%3D%20X_train%5B%3A%2C%200%5D.min()%2C%20X_train%5B%3A%2C%200%5D.max()%0A%0A%20%20%20%20%23%20Store%20basis%20parameters%20for%20visualization%0A%20%20%20%20rbf_centers%2C%20rbf_sigma%2C%20fourier_L%2C%20lj_offset%20%3D%20None%2C%20None%2C%20None%2C%20None%0A%20%20%20%20_custom_basis_error%20%3D%20None%20%20%23%20Track%20custom%20basis%20errors%0A%20%20%20%20_custom_kernel_error%20%3D%20None%20%20%23%20Track%20custom%20kernel%20errors%0A%0A%20%20%20%20if%20basis_type%20%3D%3D%20'polynomial'%3A%0A%20%20%20%20%20%20%20%20poly%20%3D%20PolynomialFeatures(degree%3DP-1%2C%20include_bias%3DTrue)%0A%20%20%20%20%20%20%20%20Phi_train%20%3D%20poly.fit_transform(X_train)%0A%20%20%20%20%20%20%20%20Phi_test%20%3D%20poly.transform(X_test)%0A%20%20%20%20%20%20%20%20Phi_calib%20%3D%20poly.transform(X_calib)%0A%20%20%20%20elif%20basis_type%20%3D%3D%20'rbf'%3A%0A%20%20%20%20%20%20%20%20_lengthscale%20%3D%20get_basis_lengthscale()%0A%20%20%20%20%20%20%20%20Phi_train%2C%20rbf_centers%2C%20rbf_sigma%20%3D%20make_rbf_features(X_train%2C%20P%2C%20x_min%2C%20x_max%2C%20_lengthscale)%0A%20%20%20%20%20%20%20%20Phi_test%2C%20_%2C%20_%20%3D%20make_rbf_features(X_test%2C%20P%2C%20x_min%2C%20x_max%2C%20_lengthscale)%0A%20%20%20%20%20%20%20%20Phi_calib%2C%20_%2C%20_%20%3D%20make_rbf_features(X_calib%2C%20P%2C%20x_min%2C%20x_max%2C%20_lengthscale)%0A%20%20%20%20elif%20basis_type%20%3D%3D%20'fourier'%3A%0A%20%20%20%20%20%20%20%20_lengthscale%20%3D%20get_basis_lengthscale()%0A%20%20%20%20%20%20%20%20Phi_train%2C%20fourier_L%20%3D%20make_fourier_features(X_train%2C%20P%2C%20x_min%2C%20x_max%2C%20_lengthscale)%0A%20%20%20%20%20%20%20%20Phi_test%2C%20_%20%3D%20make_fourier_features(X_test%2C%20P%2C%20x_min%2C%20x_max%2C%20_lengthscale)%0A%20%20%20%20%20%20%20%20Phi_calib%2C%20_%20%3D%20make_fourier_features(X_calib%2C%20P%2C%20x_min%2C%20x_max%2C%20_lengthscale)%0A%20%20%20%20elif%20basis_type%20%3D%3D%20'lj'%3A%0A%20%20%20%20%20%20%20%20%23%20Restrict%20test%20domain%20to%20near%20training%20data%20(avoid%20singularity%20and%20extrapolation%20issues)%0A%20%20%20%20%20%20%20%20_valid_mask%20%3D%20X_test%5B%3A%2C%200%5D%20%3E%3D%20x_min%20-%202.0%20%20%23%202.0%20margin%20before%20training%20data%0A%20%20%20%20%20%20%20%20X_test%20%3D%20X_test%5B_valid_mask%5D%0A%20%20%20%20%20%20%20%20y_test%20%3D%20y_test%5B_valid_mask%5D%0A%20%20%20%20%20%20%20%20%23%20Compute%20basis%20(offset%3D1.5%20is%20hard-coded%20in%20make_lj_features%20to%20match%20ground%20truth)%0A%20%20%20%20%20%20%20%20Phi_train%2C%20_%20%3D%20make_lj_features(X_train%2C%20P%2C%20x_min%2C%20x_max)%0A%20%20%20%20%20%20%20%20Phi_test%2C%20_%20%3D%20make_lj_features(X_test%2C%20P%2C%20x_min%2C%20x_max)%0A%20%20%20%20%20%20%20%20Phi_calib%2C%20_%20%3D%20make_lj_features(X_calib%2C%20P%2C%20x_min%2C%20x_max)%0A%20%20%20%20elif%20basis_type%20%3D%3D%20'custom'%3A%0A%20%20%20%20%20%20%20%20_custom_basis_code%20%3D%20get_custom_basis_code()%0A%20%20%20%20%20%20%20%20Phi_train%2C%20_custom_basis_error%20%3D%20make_custom_features(X_train%2C%20P%2C%20_custom_basis_code)%0A%20%20%20%20%20%20%20%20if%20Phi_train%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Set%20flag%20to%20skip%20fitting%2C%20will%20just%20show%20data%20points%0A%20%20%20%20%20%20%20%20%20%20%20%20_custom_basis_error%20%3D%20_custom_basis_error%20or%20%22Unknown%20error%22%0A%20%20%20%20%20%20%20%20%20%20%20%20Phi_train%20%3D%20np.zeros((X_train.shape%5B0%5D%2C%201))%20%20%23%20Dummy%20to%20avoid%20crashes%0A%20%20%20%20%20%20%20%20%20%20%20%20Phi_test%20%3D%20np.zeros((X_test.shape%5B0%5D%2C%201))%0A%20%20%20%20%20%20%20%20%20%20%20%20Phi_calib%20%3D%20np.zeros((X_calib.shape%5B0%5D%2C%201))%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_custom_basis_error%20%3D%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20Phi_test%2C%20_%20%3D%20make_custom_features(X_test%2C%20P%2C%20_custom_basis_code)%0A%20%20%20%20%20%20%20%20%20%20%20%20Phi_calib%2C%20_%20%3D%20make_custom_features(X_calib%2C%20P%2C%20_custom_basis_code)%0A%0A%20%20%20%20b%20%3D%20MyBayesianRidge(fit_intercept%3DFalse)%0A%20%20%20%20%23%20Try%20new%20API%20with%20posterior%20parameter%2C%20fall%20back%20to%20old%20API%20for%20WASM%20compatibility%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20p%20%3D%20POPSRegression(%0A%20%20%20%20%20%20%20%20%20%20%20%20fit_intercept%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20percentile_clipping%3Dget_percentile_clipping()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20leverage_percentile%3Dget_leverage_percentile()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20posterior%3Dget_pops_posterior()%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20except%20TypeError%3A%0A%20%20%20%20%20%20%20%20%23%20Older%20version%20-%20try%20without%20posterior%2C%20then%20without%20leverage_percentile%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20p%20%3D%20POPSRegression(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fit_intercept%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20percentile_clipping%3Dget_percentile_clipping()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20leverage_percentile%3Dget_leverage_percentile()%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20except%20TypeError%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Oldest%20version%20with%20only%20percentile_clipping%0A%20%20%20%20%20%20%20%20%20%20%20%20p%20%3D%20POPSRegression(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fit_intercept%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20percentile_clipping%3Dget_percentile_clipping()%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20c%20%3D%20ConformalPrediction(fit_intercept%3DFalse)%0A%20%20%20%20q%20%3D%20QuantileRegressionUQ(confidence%3Dget_quantile_confidence()%2C%20fit_intercept%3DFalse%2C%20alpha%3Dget_quantile_regularization())%0A%0A%20%20%20%20ax.plot(X_test%5B%3A%2C%200%5D%2C%20y_test%2C%20'k-'%2C%20label%3D'Truth')%0A%20%20%20%20ax.plot(X_train%5B%3A%2C%200%5D%2C%20y_train%2C%20'b.'%2C%20label%3D'Train')%0A%20%20%20%20ax.plot(X_calib%5B%3A%2C%200%5D%2C%20y_calib%2C%20'c.'%2C%20label%3D'Calibration')%0A%20%20%20%20ax.axvline(get_filter_min()%2C%20ls%3D'--'%2C%20color%3D'k')%0A%20%20%20%20ax.axvline(get_filter_max()%2C%20ls%3D'--'%2C%20color%3D'k')%0A%0A%20%20%20%20gp_log_ml%20%3D%200.0%20%20%23%20Initialize%0A%20%20%20%20bayes_log_ml%20%3D%200.0%20%20%23%20Initialize%0A%20%20%20%20gp_sparsity%20%3D%200.0%20%20%23%20Initialize%20GP%20covariance%20sparsity%0A%0A%20%20%20%20%23%20Test%20custom%20kernel%20if%20selected%0A%20%20%20%20if%20get_gp_kernel_type()%20%3D%3D%20'custom'%3A%0A%20%20%20%20%20%20%20%20_test_K%2C%20_custom_kernel_error%20%3D%20custom_kernel(%0A%20%20%20%20%20%20%20%20%20%20%20%20X_train%5B%3A%2C%200%5D%2C%20X_train%5B%3A%2C%200%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20get_gp_lengthscale()%2C%20get_gp_signal_variance()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20get_custom_kernel_code()%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%23%20Dictionary%20to%20store%20predictions%20and%20metrics%20for%20each%20method%0A%20%20%20%20import%20time%0A%20%20%20%20method_predictions%20%3D%20%7B%7D%20%20%23%20%7Blabel%3A%20(y_pred%2C%20y_std%2C%20fit_time)%7D%0A%0A%20%20%20%20models_to_plot%20%3D%20%5B%5D%0A%20%20%20%20%23%20Skip%20fitting%20if%20there's%20a%20custom%20basis%20error%20or%20NaN%20in%20training%20data%20(custom%20function%20error)%0A%20%20%20%20_has_valid_data%20%3D%20not%20np.any(np.isnan(y_train))%0A%0A%20%20%20%20%23%20Show%20warning%20in%20plot%20if%20there's%20an%20error%0A%20%20%20%20if%20_custom_basis_error%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20ax.text(0.5%2C%200.5%2C%20'%E2%9A%A0%EF%B8%8F%20Custom%20basis%20error'%2C%20transform%3Dax.transAxes%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D14%2C%20ha%3D'center'%2C%20va%3D'center'%2C%20color%3D'orange'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bbox%3Ddict(boxstyle%3D'round'%2C%20facecolor%3D'white'%2C%20alpha%3D0.8%2C%20edgecolor%3D'orange'))%0A%20%20%20%20elif%20_custom_kernel_error%20is%20not%20None%20and%20gp_regression.value%3A%0A%20%20%20%20%20%20%20%20ax.text(0.5%2C%200.5%2C%20'%E2%9A%A0%EF%B8%8F%20Custom%20kernel%20error'%2C%20transform%3Dax.transAxes%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D14%2C%20ha%3D'center'%2C%20va%3D'center'%2C%20color%3D'orange'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bbox%3Ddict(boxstyle%3D'round'%2C%20facecolor%3D'white'%2C%20alpha%3D0.8%2C%20edgecolor%3D'orange'))%0A%20%20%20%20elif%20not%20_has_valid_data%3A%0A%20%20%20%20%20%20%20%20ax.text(0.5%2C%200.5%2C%20'%E2%9A%A0%EF%B8%8F%20Custom%20function%20error'%2C%20transform%3Dax.transAxes%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D14%2C%20ha%3D'center'%2C%20va%3D'center'%2C%20color%3D'orange'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bbox%3Ddict(boxstyle%3D'round'%2C%20facecolor%3D'white'%2C%20alpha%3D0.8%2C%20edgecolor%3D'orange'))%0A%0A%20%20%20%20if%20_custom_basis_error%20is%20None%20and%20_has_valid_data%3A%0A%20%20%20%20%20%20%20%20if%20bayesian.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20models_to_plot.append((b%2C%20Phi_train%2C%20Phi_test%2C%20'C2'%2C%20'Bayesian%20uncertainty'%2C%20True))%0A%20%20%20%20%20%20%20%20if%20conformal.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20models_to_plot.append((c%2C%20Phi_train%2C%20Phi_test%2C%20'C1'%2C%20'Conformal%20prediction'%2C%20True))%0A%20%20%20%20%20%20%20%20if%20pops.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20models_to_plot.append((p%2C%20Phi_train%2C%20Phi_test%2C%20'C0'%2C%20'POPS%20regression'%2C%20True))%0A%20%20%20%20%20%20%20%20if%20quantile.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20models_to_plot.append((q%2C%20Phi_train%2C%20Phi_test%2C%20'C4'%2C%20'Quantile%20regression'%2C%20True))%0A%20%20%20%20%20%20%20%20if%20gp_regression.value%20and%20_custom_kernel_error%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20models_to_plot.append((None%2C%20X_train%2C%20X_test%2C%20'C3'%2C%20'GP%20regression'%2C%20False))%0A%20%20%20%20%20%20%20%20if%20neural_network.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20models_to_plot.append((None%2C%20X_train%2C%20X_test%2C%20'C5'%2C%20'Neural%20network'%2C%20False))%0A%0A%20%20%20%20for%20model_info%20in%20models_to_plot%3A%0A%20%20%20%20%20%20%20%20if%20len(model_info)%20%3D%3D%206%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20model%2C%20X_train_model%2C%20X_test_model%2C%20color%2C%20label%2C%20use_poly%20%3D%20model_info%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20continue%0A%0A%20%20%20%20%20%20%20%20%23%20Start%20timing%20for%20this%20method%0A%20%20%20%20%20%20%20%20start_time%20%3D%20time.time()%0A%0A%20%20%20%20%20%20%20%20if%20label%20%3D%3D%20'GP%20regression'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Fit%20GP%20with%20numpy%0A%20%20%20%20%20%20%20%20%20%20%20%20y_pred%2C%20y_std%2C%20poly_mean%2C%20y_std_gp%2C%20y_std_mean%20%3D%20fit_gp_numpy(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20X_train_model%5B%3A%2C%200%5D%2C%20y_train%2C%20X_test_model%5B%3A%2C%200%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kernel_type%3Dget_gp_kernel_type()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20lengthscale%3Dget_gp_lengthscale()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20signal_variance%3Dget_gp_signal_variance()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20support_radius%3Dget_gp_support_radius()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20degree%3Dget_P()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sigma%3D1.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20noise%3Dsigma.value**2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20use_basis_mean%3Dgp_use_basis_mean.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Phi_train%3DPhi_train%20if%20gp_use_basis_mean.value%20else%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Phi_test%3DPhi_test%20if%20gp_use_basis_mean.value%20else%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20joint_inference%3Dget_gp_joint_inference()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mean_regularization_strength%3Dget_gp_mean_regularization()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20custom_code%3Dget_custom_kernel_code()%20if%20get_gp_kernel_type()%20%3D%3D%20'custom'%20else%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Compute%20log%20marginal%20likelihood%20for%20display%0A%20%20%20%20%20%20%20%20%20%20%20%20params%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'lengthscale'%3A%20get_gp_lengthscale()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'signal_variance'%3A%20get_gp_signal_variance()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'support_radius'%3A%20get_gp_support_radius()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'degree'%3A%20get_P()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'sigma'%3A%201.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'custom_code'%3A%20get_custom_kernel_code()%20if%20get_gp_kernel_type()%20%3D%3D%20'custom'%20else%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20K_train%20%3D%20compute_kernel_matrix(X_train_model%5B%3A%2C%200%5D%2C%20X_train_model%5B%3A%2C%200%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20get_gp_kernel_type()%2C%20params)%0A%20%20%20%20%20%20%20%20%20%20%20%20gp_log_ml%20%3D%20gp_marginal_likelihood(X_train_model%5B%3A%2C%200%5D%2C%20y_train%2C%20K_train%2C%20sigma.value**2)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20sparsity%20of%20covariance%20matrix%20(%25%20of%20elements%20%3C%201e-6)%0A%20%20%20%20%20%20%20%20%20%20%20%20gp_sparsity%20%3D%20100.0%20*%20np.sum(np.abs(K_train)%20%3C%201e-6)%20%2F%20K_train.size%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Plot%20polynomial%20mean%20function%20if%20enabled%20(to%20show%20partitioning)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20poly_mean%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ax.plot(X_test%5B%3A%2C%200%5D%2C%20poly_mean%2C%20'C3--'%2C%20lw%3D2%2C%20label%3D'GP%20prior%20mean'%2C%20alpha%3D0.7)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Plot%20separate%20uncertainty%20components%20if%20joint%20inference%20is%20enabled%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20get_gp_joint_inference()%20and%20y_std_mean%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Plot%20total%20uncertainty%20(darker%20shade)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ax.fill_between(X_test%5B%3A%2C%200%5D%2C%20y_pred%20-%20y_std%2C%20y_pred%20%2B%20y_std%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alpha%3D0.35%2C%20color%3D'purple'%2C%20label%3D'Total%20uncertainty')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Plot%20polynomial%20mean%20uncertainty%20component%20(lighter%20shade)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ax.fill_between(X_test%5B%3A%2C%200%5D%2C%20y_pred%20-%20y_std_mean%2C%20y_pred%20%2B%20y_std_mean%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alpha%3D0.25%2C%20color%3D'orange'%2C%20label%3D'Mean%20uncertainty')%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20aleatoric_gp.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Add%20aleatoric%20noise%20to%20GP%20predictions%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_std%20%3D%20np.sqrt(y_std**2%20%2B%20sigma.value**2)%0A%20%20%20%20%20%20%20%20elif%20label%20%3D%3D%20'Neural%20network'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Fit%20neural%20network%20ensemble%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Build%20hidden%20layer%20architecture%0A%20%20%20%20%20%20%20%20%20%20%20%20num_layers%20%3D%20get_nn_num_layers()%0A%20%20%20%20%20%20%20%20%20%20%20%20hidden_units%20%3D%20get_nn_hidden_units()%0A%20%20%20%20%20%20%20%20%20%20%20%20hidden_layer_sizes%20%3D%20tuple(%5Bhidden_units%5D%20*%20num_layers)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Create%20and%20fit%20neural%20network%0A%20%20%20%20%20%20%20%20%20%20%20%20nn%20%3D%20NeuralNetworkRegression(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hidden_layer_sizes%3Dhidden_layer_sizes%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alpha%3D10**get_nn_regularization()%2C%20%20%23%20Convert%20from%20log10%20scale%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20n_ensemble%3Dget_nn_ensemble_size()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20activation%3Dget_nn_activation()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ensemble_method%3Dget_nn_ensemble_method()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Uses%20default%20max_iter%3D1000%2C%20tol%3D1e-3%20for%20reliable%20convergence%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20nn.fit(X_train_model%2C%20y_train)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Get%20predictions%20with%20uncertainty%0A%20%20%20%20%20%20%20%20%20%20%20%20y_pred%2C%20y_std%20%3D%20nn.predict(X_test_model%2C%20return_std%3DTrue)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Existing%20polynomial-basis%20models%0A%20%20%20%20%20%20%20%20%20%20%20%20model.fit(X_train_model%2C%20y_train)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Store%20log%20ML%20for%20Bayesian%20models%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20label%20in%20%5B'Bayesian%20uncertainty'%2C%20'Conformal%20prediction'%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bayes_log_ml%20%3D%20model.log_marginal_likelihood()%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20kwargs%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'return_std'%3A%20True%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'aleatoric'%3A%20aleatoric.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%20%20%20%20%20%20%20%20%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20label%20%3D%3D%20'Conformal%20prediction'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20qhat%20%3D%20model.calibrate(Phi_calib%2C%20y_calib%2C%20zeta%3Dget_zeta()%2C%20aleatoric%3Daleatoric.value)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kwargs%5B'rescale'%5D%20%3D%20True%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20label%20%3D%3D%20'POPS%20regression'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_pred%2C%20y_std%2C%20y_min%2C%20y_max%20%3D%20model.predict(X_test_model%2C%20return_std%3DTrue%2C%20return_bounds%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Also%20get%20bounds%20at%20train%2Bcalib%20points%20for%20coverage%20calculation%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_%2C%20_%2C%20y_min_train%2C%20y_max_train%20%3D%20model.predict(Phi_train%2C%20return_std%3DTrue%2C%20return_bounds%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_%2C%20_%2C%20y_min_calib%2C%20y_max_calib%20%3D%20model.predict(Phi_calib%2C%20return_std%3DTrue%2C%20return_bounds%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20aleatoric.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Add%20aleatoric%20uncertainty%20to%20all%20bounds%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20aleatoric_std%20%3D%20np.sqrt(1.0%20%2F%20model.alpha_)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_std%20%3D%20np.sqrt(y_std**2%20%2B%20aleatoric_std**2)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_min%20%3D%20y_min%20-%20aleatoric_std%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_max%20%3D%20y_max%20%2B%20aleatoric_std%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_min_train%20%3D%20y_min_train%20-%20aleatoric_std%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_max_train%20%3D%20y_max_train%20%2B%20aleatoric_std%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_min_calib%20%3D%20y_min_calib%20-%20aleatoric_std%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_max_calib%20%3D%20y_max_calib%20%2B%20aleatoric_std%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20label%20%3D%3D%20'Conformal%20prediction'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_pred%2C%20y_std%20%3D%20model.predict(X_test_model%2C%20**kwargs)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Conformal%20bounds%20are%20y_pred%20%C2%B1%20y_std%20(already%20rescaled%20by%20qhat)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_min%20%3D%20y_pred%20-%20y_std%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_max%20%3D%20y_pred%20%2B%20y_std%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Get%20bounds%20at%20train%2Bcalib%20points%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_pred_train%2C%20y_std_train%20%3D%20model.predict(Phi_train%2C%20**kwargs)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_pred_calib_conf%2C%20y_std_calib_conf%20%3D%20model.predict(Phi_calib%2C%20**kwargs)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_min_train%20%3D%20y_pred_train%20-%20y_std_train%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_max_train%20%3D%20y_pred_train%20%2B%20y_std_train%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_min_calib%20%3D%20y_pred_calib_conf%20-%20y_std_calib_conf%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_max_calib%20%3D%20y_pred_calib_conf%20%2B%20y_std_calib_conf%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_pred%2C%20y_std%20%3D%20model.predict(X_test_model%2C%20**kwargs)%0A%0A%20%20%20%20%20%20%20%20%23%20Store%20predictions%20and%20timing%20for%20metrics%20computation%0A%20%20%20%20%20%20%20%20%23%20Also%20get%20predictions%20at%20train%2Bcalib%20points%20for%20coverage%20calculation%0A%20%20%20%20%20%20%20%20fit_time%20%3D%20time.time()%20-%20start_time%0A%0A%20%20%20%20%20%20%20%20if%20label%20%3D%3D%20'POPS%20regression'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20POPS%3A%20use%20min%2Fmax%20bounds%20for%20coverage%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20POPS%20is%20external%2C%20may%20not%20have%20LOO%20method%0A%20%20%20%20%20%20%20%20%20%20%20%20extra_data%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20hasattr(model%2C%20'loo_log_likelihood')%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20extra_data%5B'loo_log_lik'%5D%20%3D%20model.loo_log_likelihood(Phi_train%2C%20y_train%2C%20aleatoric%3Daleatoric.value)%0A%20%20%20%20%20%20%20%20%20%20%20%20method_predictions%5Blabel%5D%20%3D%20(y_pred%2C%20y_std%2C%20fit_time%2C%20y_min%2C%20y_max%2C%20y_min_train%2C%20y_max_train%2C%20y_min_calib%2C%20y_max_calib%2C%20extra_data)%0A%20%20%20%20%20%20%20%20elif%20label%20%3D%3D%20'Conformal%20prediction'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Conformal%3A%20use%20min%2Fmax%20bounds%20for%20coverage%20(already%20computed%20above)%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Conformal%20inherits%20from%20MyBayesianRidge%2C%20has%20LOO%20method%0A%20%20%20%20%20%20%20%20%20%20%20%20extra_data%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20hasattr(model%2C%20'loo_log_likelihood')%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20extra_data%5B'loo_log_lik'%5D%20%3D%20model.loo_log_likelihood(Phi_train%2C%20y_train%2C%20aleatoric%3Daleatoric.value)%0A%20%20%20%20%20%20%20%20%20%20%20%20method_predictions%5Blabel%5D%20%3D%20(y_pred%2C%20y_std%2C%20fit_time%2C%20y_min%2C%20y_max%2C%20y_min_train%2C%20y_max_train%2C%20y_min_calib%2C%20y_max_calib%2C%20extra_data)%0A%20%20%20%20%20%20%20%20elif%20label%20%3D%3D%20'GP%20regression'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20GP%3A%20get%20std%20at%20train%2Fcalib%20points%0A%20%20%20%20%20%20%20%20%20%20%20%20y_pred_train%2C%20y_std_train%20%3D%20fit_gp_numpy(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20X_train%5B%3A%2C%200%5D%2C%20y_train%2C%20X_train%5B%3A%2C%200%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kernel_type%3Dget_gp_kernel_type()%2C%20lengthscale%3Dget_gp_lengthscale()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20signal_variance%3Dget_gp_signal_variance()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20support_radius%3Dget_gp_support_radius()%2C%20degree%3Dget_P()%2C%20sigma%3D1.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20noise%3Dsigma.value**2%2C%20use_basis_mean%3Dgp_use_basis_mean.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Phi_train%3DPhi_train%20if%20gp_use_basis_mean.value%20else%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Phi_test%3DPhi_train%20if%20gp_use_basis_mean.value%20else%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20joint_inference%3Dget_gp_joint_inference()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mean_regularization_strength%3Dget_gp_mean_regularization()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20custom_code%3Dget_custom_kernel_code()%20if%20get_gp_kernel_type()%20%3D%3D%20'custom'%20else%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20)%5B%3A2%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20y_pred_calib%2C%20y_std_calib%20%3D%20fit_gp_numpy(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20X_train%5B%3A%2C%200%5D%2C%20y_train%2C%20X_calib%5B%3A%2C%200%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kernel_type%3Dget_gp_kernel_type()%2C%20lengthscale%3Dget_gp_lengthscale()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20signal_variance%3Dget_gp_signal_variance()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20support_radius%3Dget_gp_support_radius()%2C%20degree%3Dget_P()%2C%20sigma%3D1.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20noise%3Dsigma.value**2%2C%20use_basis_mean%3Dgp_use_basis_mean.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Phi_train%3DPhi_train%20if%20gp_use_basis_mean.value%20else%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Phi_test%3DPhi_calib%20if%20gp_use_basis_mean.value%20else%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20joint_inference%3Dget_gp_joint_inference()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mean_regularization_strength%3Dget_gp_mean_regularization()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20custom_code%3Dget_custom_kernel_code()%20if%20get_gp_kernel_type()%20%3D%3D%20'custom'%20else%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20)%5B%3A2%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Add%20aleatoric%20uncertainty%20if%20GP%20aleatoric%20checkbox%20is%20enabled%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20aleatoric_gp.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_std_train%20%3D%20np.sqrt(y_std_train**2%20%2B%20sigma.value**2)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_std_calib%20%3D%20np.sqrt(y_std_calib**2%20%2B%20sigma.value**2)%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Compute%20LOO%20for%20GP%20using%20K_train%20computed%20earlier%0A%20%20%20%20%20%20%20%20%20%20%20%20gp_loo%20%3D%20gp_loo_log_likelihood(y_train%2C%20K_train%2C%20sigma.value**2)%0A%20%20%20%20%20%20%20%20%20%20%20%20extra_data%20%3D%20%7B'loo_log_lik'%3A%20gp_loo%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20method_predictions%5Blabel%5D%20%3D%20(y_pred%2C%20y_std%2C%20fit_time%2C%20None%2C%20None%2C%20y_pred_train%2C%20y_std_train%2C%20y_pred_calib%2C%20y_std_calib%2C%20extra_data)%0A%20%20%20%20%20%20%20%20elif%20label%20%3D%3D%20'Neural%20network'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20NN%3A%20get%20std%20at%20train%2Fcalib%20points%0A%20%20%20%20%20%20%20%20%20%20%20%20y_pred_train%2C%20y_std_train%20%3D%20nn.predict(X_train%2C%20return_std%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20y_pred_calib%2C%20y_std_calib%20%3D%20nn.predict(X_calib%2C%20return_std%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Store%20ensemble%20predictions%20for%20CRPS%20computation%0A%20%20%20%20%20%20%20%20%20%20%20%20extra_data%20%3D%20%7B'ensemble_preds'%3A%20nn.predict_ensemble(X_test_model)%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20method_predictions%5Blabel%5D%20%3D%20(y_pred%2C%20y_std%2C%20fit_time%2C%20None%2C%20None%2C%20y_pred_train%2C%20y_std_train%2C%20y_pred_calib%2C%20y_std_calib%2C%20extra_data)%0A%20%20%20%20%20%20%20%20elif%20label%20%3D%3D%20'Quantile%20regression'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Quantile%20regression%3A%20store%20quantile%20predictions%20for%20CRPS%0A%20%20%20%20%20%20%20%20%20%20%20%20y_pred_train%2C%20y_std_train%20%3D%20model.predict(Phi_train%2C%20return_std%3DTrue%2C%20aleatoric%3Daleatoric.value)%0A%20%20%20%20%20%20%20%20%20%20%20%20y_pred_calib%2C%20y_std_calib%20%3D%20model.predict(Phi_calib%2C%20return_std%3DTrue%2C%20aleatoric%3Daleatoric.value)%0A%20%20%20%20%20%20%20%20%20%20%20%20y_lower%2C%20y_median%2C%20y_upper%2C%20q_alpha%20%3D%20model.predict_quantiles(X_test_model)%0A%20%20%20%20%20%20%20%20%20%20%20%20extra_data%20%3D%20%7B'y_lower'%3A%20y_lower%2C%20'y_median'%3A%20y_median%2C%20'y_upper'%3A%20y_upper%2C%20'alpha'%3A%20q_alpha%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20method_predictions%5Blabel%5D%20%3D%20(y_pred%2C%20y_std%2C%20fit_time%2C%20None%2C%20None%2C%20y_pred_train%2C%20y_std_train%2C%20y_pred_calib%2C%20y_std_calib%2C%20extra_data)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Other%20polynomial-basis%20methods%20(Bayesian%2C%20POPS%2C%20Conformal)%3A%20Gaussian%20distribution%0A%20%20%20%20%20%20%20%20%20%20%20%20y_pred_train%2C%20y_std_train%20%3D%20model.predict(Phi_train%2C%20return_std%3DTrue%2C%20aleatoric%3Daleatoric.value)%0A%20%20%20%20%20%20%20%20%20%20%20%20y_pred_calib%2C%20y_std_calib%20%3D%20model.predict(Phi_calib%2C%20return_std%3DTrue%2C%20aleatoric%3Daleatoric.value)%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Compute%20LOO%20for%20methods%20that%20support%20it%0A%20%20%20%20%20%20%20%20%20%20%20%20extra_data%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20hasattr(model%2C%20'loo_log_likelihood')%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20extra_data%5B'loo_log_lik'%5D%20%3D%20model.loo_log_likelihood(Phi_train%2C%20y_train%2C%20aleatoric%3Daleatoric.value)%0A%20%20%20%20%20%20%20%20%20%20%20%20method_predictions%5Blabel%5D%20%3D%20(y_pred%2C%20y_std%2C%20fit_time%2C%20None%2C%20None%2C%20y_pred_train%2C%20y_std_train%2C%20y_pred_calib%2C%20y_std_calib%2C%20extra_data)%0A%0A%20%20%20%20%20%20%20%20ax.plot(X_test%5B%3A%2C%200%5D%2C%20y_pred%2C%20color%3Dcolor%2C%20lw%3D3)%0A%0A%20%20%20%20%20%20%20%20%23%20For%20POPS%20and%20Conformal%2C%20shade%20min%2Fmax%20bounds%20instead%20of%20%C2%B11%CF%83%0A%20%20%20%20%20%20%20%20if%20label%20in%20%5B'POPS%20regression'%2C%20'Conformal%20prediction'%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.fill_between(X_test%5B%3A%2C%200%5D%2C%20y_min%2C%20y_max%2C%20alpha%3D0.5%2C%20color%3Dcolor%2C%20label%3Dlabel)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20ax.fill_between(X_test%5B%3A%2C%200%5D%2C%20y_pred%20-%20y_std%2C%20y_pred%20%2B%20y_std%2C%20alpha%3D0.5%2C%20color%3Dcolor%2C%20label%3Dlabel)%0A%0A%20%20%20%20%20%20%20%20%23%20Draw%20posterior%2Fensemble%20samples%20if%20enabled%20(per-method%20controls)%0A%20%20%20%20%20%20%20%20if%20label%20in%20%5B'Bayesian%20uncertainty'%2C%20'Conformal%20prediction'%5D%20and%20get_show_samples_linear()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Sample%20from%20Bayesian%20posterior%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20samples%20%3D%20model.sample_posterior(X_test_model%2C%20n_samples%3Dget_n_samples_linear())%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20i%20in%20range(samples.shape%5B1%5D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ax.plot(X_test%5B%3A%2C%200%5D%2C%20samples%5B%3A%2C%20i%5D%2C%20color%3Dcolor%2C%20alpha%3D0.4%2C%20lw%3D1)%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20Exception%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pass%20%20%23%20Skip%20if%20sampling%20fails%0A%0A%20%20%20%20%20%20%20%20elif%20label%20%3D%3D%20'GP%20regression'%20and%20get_show_samples_gp()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Sample%20from%20GP%20posterior%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_gp_params%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'lengthscale'%3A%20get_gp_lengthscale()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'signal_variance'%3A%20get_gp_signal_variance()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'support_radius'%3A%20get_gp_support_radius()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'degree'%3A%20get_P()%2C%20'sigma'%3A%201.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'custom_code'%3A%20get_custom_kernel_code()%20if%20get_gp_kernel_type()%20%3D%3D%20'custom'%20else%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_K_train%20%3D%20compute_kernel_matrix(X_train%5B%3A%2C%200%5D%2C%20X_train%5B%3A%2C%200%5D%2C%20get_gp_kernel_type()%2C%20_gp_params)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_K_test_train%20%3D%20compute_kernel_matrix(X_test%5B%3A%2C%200%5D%2C%20X_train%5B%3A%2C%200%5D%2C%20get_gp_kernel_type()%2C%20_gp_params)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_K_test%20%3D%20compute_kernel_matrix(X_test%5B%3A%2C%200%5D%2C%20X_test%5B%3A%2C%200%5D%2C%20get_gp_kernel_type()%2C%20_gp_params)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gp_samples%20%3D%20gp_sample_posterior(X_train%5B%3A%2C%200%5D%2C%20y_train%2C%20X_test%5B%3A%2C%200%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_K_train%2C%20_K_test_train%2C%20_K_test%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sigma.value**2%2C%20n_samples%3Dget_n_samples_gp())%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20i%20in%20range(gp_samples.shape%5B1%5D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ax.plot(X_test%5B%3A%2C%200%5D%2C%20gp_samples%5B%3A%2C%20i%5D%2C%20color%3Dcolor%2C%20alpha%3D0.4%2C%20lw%3D1)%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20Exception%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pass%20%20%23%20Skip%20if%20sampling%20fails%0A%0A%20%20%20%20%20%20%20%20elif%20label%20%3D%3D%20'Neural%20network'%20and%20get_show_samples_nn()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Show%20ensemble%20members%20(limited%20by%20samples%20slider)%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ensemble_preds%20%3D%20nn.predict_ensemble(X_test_model)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20n_available%20%3D%20ensemble_preds.shape%5B1%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20n_to_show%20%3D%20min(get_n_samples_nn()%2C%20n_available)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20indices%20%3D%20np.random.choice(n_available%2C%20n_to_show%2C%20replace%3DFalse)%20if%20n_to_show%20%3C%20n_available%20else%20range(n_available)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20i%20in%20indices%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ax.plot(X_test%5B%3A%2C%200%5D%2C%20ensemble_preds%5B%3A%2C%20i%5D%2C%20color%3Dcolor%2C%20alpha%3D0.4%2C%20lw%3D1)%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20Exception%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pass%20%20%23%20Skip%20if%20ensemble%20not%20available%0A%0A%20%20%20%20%20%20%20%20elif%20label%20%3D%3D%20'POPS%20regression'%20and%20get_show_samples_linear()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20POPS%20stores%20ensemble%20in%20posterior_samples%20with%20shape%20(n_features%2C%20n_samples)%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20posterior_samples%20are%20DEVIATIONS%20from%20coef_%2C%20so%20add%20coef_%20to%20get%20actual%20coefficients%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20hasattr(model%2C%20'posterior_samples')%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20samples%20%3D%20model.posterior_samples%20%20%23%20(n_features%2C%20n_samples)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20n_available%20%3D%20samples.shape%5B1%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20n_to_show%20%3D%20min(get_n_samples_linear()%2C%20n_available)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20indices%20%3D%20np.random.choice(n_available%2C%20n_to_show%2C%20replace%3DFalse)%20if%20n_to_show%20%3C%20n_available%20else%20range(n_available)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20i%20in%20indices%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sample_coef%20%3D%20model.coef_%20%2B%20samples%5B%3A%2C%20i%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pops_pred%20%3D%20X_test_model%20%40%20sample_coef%20%2B%20model.intercept_%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ax.plot(X_test%5B%3A%2C%200%5D%2C%20pops_pred%2C%20color%3Dcolor%2C%20alpha%3D0.4%2C%20lw%3D1)%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20Exception%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pass%20%20%23%20POPS%20may%20not%20expose%20samples%20in%20this%20version%0A%0A%20%20%20%20%20%20%20%20%23%20Quantile%20regression%3A%20skip%20(no%20posterior%20to%20sample)%0A%0A%20%20%20%20%23%20No%20title%20needed%20-%20all%20info%20is%20in%20the%20dashboard%20and%20outputs%20bar%0A%20%20%20%20ax.set_xlim(-10%2C%2010)%0A%20%20%20%20ax.set_ylim(-1.5%2C%201.5)%0A%20%20%20%20ax.set_xlabel('%24x%24')%0A%20%20%20%20ax.set_ylabel('%24y%24')%0A%20%20%20%20ax.legend(loc%3D'lower%20left')%0A%0A%20%20%20%20%23%20Apply%20tight_layout%20before%20adding%20inset%20(to%20avoid%20warning)%0A%20%20%20%20plt.tight_layout()%0A%0A%20%20%20%20%23%20Add%20inset%20plot%20based%20on%20most%20recently%20enabled%20method%0A%20%20%20%20linear_methods_active%20%3D%20bayesian.value%20or%20conformal.value%20or%20pops.value%20or%20quantile.value%0A%20%20%20%20last_method%20%3D%20get_last_enabled_method()%0A%0A%20%20%20%20%23%20Determine%20which%20inset%20to%20show%20based%20on%20last%20enabled%20method%0A%20%20%20%20show_gp_inset%20%3D%20last_method%20%3D%3D%20'gp'%20and%20gp_regression.value%0A%20%20%20%20show_nn_inset%20%3D%20last_method%20%3D%3D%20'nn'%20and%20neural_network.value%0A%20%20%20%20show_linear_inset%20%3D%20last_method%20%3D%3D%20'linear'%20and%20linear_methods_active%0A%0A%20%20%20%20if%20show_gp_inset%20or%20show_nn_inset%20or%20show_linear_inset%3A%0A%20%20%20%20%20%20%20%20%23%20Create%20inset%20axes%20in%20the%20lower%20right%0A%20%20%20%20%20%20%20%20from%20mpl_toolkits.axes_grid1.inset_locator%20import%20inset_axes%0A%20%20%20%20%20%20%20%20%23%20Position%3A%20%5Bx%2C%20y%2C%20width%2C%20height%5D%20in%20axes%20coordinates%0A%20%20%20%20%20%20%20%20axins%20%3D%20inset_axes(ax%2C%20width%3D%2212%25%22%2C%20height%3D%2225%25%22%2C%20loc%3D'lower%20right'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bbox_to_anchor%3D(0%2C%200%2C%201%2C%201)%2C%20bbox_transform%3Dax.transAxes%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20borderpad%3D1.5)%0A%0A%20%20%20%20%20%20%20%20if%20show_gp_inset%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Plot%20kernel%20function%0A%20%20%20%20%20%20%20%20%20%20%20%20x_kernel%20%3D%20np.linspace(0%2C%202.0%2C%20100)%0A%20%20%20%20%20%20%20%20%20%20%20%20kernel_type%20%3D%20get_gp_kernel_type()%0A%20%20%20%20%20%20%20%20%20%20%20%20K_values%20%3D%20None%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20kernel_type%20%3D%3D%20'rbf'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20K_values%20%3D%20rbf_kernel(np.array(%5B0.0%5D)%2C%20x_kernel%2C%20get_gp_lengthscale()%2C%20get_gp_signal_variance())%5B0%2C%20%3A%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20kernel_type%20%3D%3D%20'bump'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20K_values%20%3D%20bump_kernel(np.array(%5B0.0%5D)%2C%20x_kernel%2C%20get_gp_lengthscale()%2C%20get_gp_support_radius()%2C%20get_gp_signal_variance())%5B0%2C%20%3A%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Add%20vertical%20line%20for%20support%20radius%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20axins.axvline(get_gp_support_radius()%2C%20color%3D'k'%2C%20ls%3D'dashed'%2C%20lw%3D0.8%2C%20alpha%3D0.5)%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20kernel_type%20%3D%3D%20'matern'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20K_values%20%3D%20matern_kernel(np.array(%5B0.0%5D)%2C%20x_kernel%2C%20get_gp_lengthscale()%2C%20get_gp_signal_variance())%5B0%2C%20%3A%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20kernel_type%20%3D%3D%20'polynomial'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20K_values%20%3D%20polynomial_kernel(np.array(%5B0.0%5D)%2C%20x_kernel%2C%20get_P()%2C%201.0)%5B0%2C%20%3A%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20kernel_type%20%3D%3D%20'custom'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20K_result%2C%20err%20%3D%20custom_kernel(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20np.array(%5B0.0%5D)%2C%20x_kernel%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20get_gp_lengthscale()%2C%20get_gp_signal_variance()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20get_custom_kernel_code()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20K_result%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20K_values%20%3D%20K_result%5B0%2C%20%3A%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20axins.text(0.5%2C%200.5%2C%20'%E2%9A%A0%EF%B8%8F'%2C%20transform%3Daxins.transAxes%2C%20ha%3D'center'%2C%20fontsize%3D14)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20except%20Exception%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20axins.text(0.5%2C%200.5%2C%20'%E2%9A%A0%EF%B8%8F'%2C%20transform%3Daxins.transAxes%2C%20ha%3D'center'%2C%20fontsize%3D14)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20K_values%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20axins.plot(x_kernel%2C%20K_values%2C%20'C3'%2C%20lw%3D1.5)%0A%20%20%20%20%20%20%20%20%20%20%20%20axins.set_xlabel('%24r%24'%2C%20fontsize%3D8)%0A%20%20%20%20%20%20%20%20%20%20%20%20axins.set_ylabel('%24K(0%2C%20r)%24'%2C%20fontsize%3D8)%0A%20%20%20%20%20%20%20%20%20%20%20%20axins.set_title(f'Kernel%3A%20%7Bkernel_type%7D'%2C%20fontsize%3D9%2C%20pad%3D3)%0A%20%20%20%20%20%20%20%20%20%20%20%20axins.tick_params(labelsize%3D7)%0A%20%20%20%20%20%20%20%20%20%20%20%20axins.grid(True%2C%20alpha%3D0.3%2C%20linewidth%3D0.5)%0A%0A%20%20%20%20%20%20%20%20elif%20show_nn_inset%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Plot%20activation%20function%0A%20%20%20%20%20%20%20%20%20%20%20%20x_act%20%3D%20np.linspace(-3%2C%203%2C%20100)%0A%20%20%20%20%20%20%20%20%20%20%20%20activation_type%20%3D%20get_nn_activation()%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20activation_type%20%3D%3D%20'tanh'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_act%20%3D%20np.tanh(x_act)%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20activation_type%20%3D%3D%20'relu'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_act%20%3D%20np.maximum(0%2C%20x_act)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20axins.plot(x_act%2C%20y_act%2C%20'C5'%2C%20lw%3D1.5)%0A%20%20%20%20%20%20%20%20%20%20%20%20axins.set_xlabel('%24x%24'%2C%20fontsize%3D8)%0A%20%20%20%20%20%20%20%20%20%20%20%20axins.set_ylabel(f'%24%7Bactivation_type%7D(x)%24'%2C%20fontsize%3D8)%0A%20%20%20%20%20%20%20%20%20%20%20%20axins.set_title(f'Activation%3A%20%7Bactivation_type%7D'%2C%20fontsize%3D9%2C%20pad%3D3)%0A%20%20%20%20%20%20%20%20%20%20%20%20axins.tick_params(labelsize%3D7)%0A%20%20%20%20%20%20%20%20%20%20%20%20axins.grid(True%2C%20alpha%3D0.3%2C%20linewidth%3D0.5)%0A%20%20%20%20%20%20%20%20%20%20%20%20axins.axhline(0%2C%20color%3D'k'%2C%20lw%3D0.5%2C%20alpha%3D0.3)%0A%20%20%20%20%20%20%20%20%20%20%20%20axins.axvline(0%2C%20color%3D'k'%2C%20lw%3D0.5%2C%20alpha%3D0.3)%0A%0A%20%20%20%20%20%20%20%20elif%20show_linear_inset%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Plot%20basis%20functions%20using%20the%20same%20make_*_features%20functions%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20matplotlib%0A%20%20%20%20%20%20%20%20%20%20%20%20P_degree%20%3D%20get_P()%0A%20%20%20%20%20%20%20%20%20%20%20%20cmap%20%3D%20matplotlib.colormaps%5B'viridis'%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Create%20inset%20x%20range%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20basis_type%20%3D%3D%20'polynomial'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x_inset%20%3D%20np.linspace(-1%2C%201%2C%20200)%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x_inset%20%3D%20np.linspace(x_min%2C%20x_max%2C%20200)%0A%20%20%20%20%20%20%20%20%20%20%20%20X_inset%20%3D%20x_inset%5B%3A%2C%20None%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Get%20basis%20features%20using%20the%20same%20functions%20as%20the%20main%20computation%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20basis_type%20%3D%3D%20'polynomial'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_poly_inset%20%3D%20PolynomialFeatures(degree%3DP_degree-1%2C%20include_bias%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Phi_inset%20%3D%20_poly_inset.fit_transform(X_inset)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20axins.set_title(f'Polynomial%20(P%3D%7BP_degree%7D)'%2C%20fontsize%3D9%2C%20pad%3D3)%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20basis_type%20%3D%3D%20'rbf'%20and%20rbf_sigma%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Phi_inset%2C%20_%2C%20_%20%3D%20make_rbf_features(X_inset%2C%20P_degree%2C%20x_min%2C%20x_max%2C%20rbf_sigma)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20axins.set_title(f'RBF%20(P%3D%7BP_degree%7D)'%2C%20fontsize%3D9%2C%20pad%3D3)%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20basis_type%20%3D%3D%20'fourier'%20and%20fourier_L%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Phi_inset%2C%20_%20%3D%20make_fourier_features(X_inset%2C%20P_degree%2C%20x_min%2C%20x_max%2C%20fourier_L)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20axins.set_title(f'Fourier%20(P%3D%7BP_degree%7D)'%2C%20fontsize%3D9%2C%20pad%3D3)%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20basis_type%20%3D%3D%20'lj'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Phi_inset%2C%20_%20%3D%20make_lj_features(X_inset%2C%20P_degree%2C%20x_min%2C%20x_max)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20axins.set_title(f'LJ%20(P%3D%7BP_degree%7D)'%2C%20fontsize%3D9%2C%20pad%3D3)%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20basis_type%20%3D%3D%20'custom'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Phi_inset%2C%20_%20%3D%20make_custom_features(X_inset%2C%20P_degree%2C%20get_custom_basis_code())%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20axins.set_title(f'Custom%20(P%3D%7BP_degree%7D)'%2C%20fontsize%3D9%2C%20pad%3D3)%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Phi_inset%20%3D%20None%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Plot%20each%20basis%20function%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20Phi_inset%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20_j%20in%20range(Phi_inset.shape%5B1%5D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_basis%20%3D%20Phi_inset%5B%3A%2C%20_j%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Normalize%20for%20display%20(scale%20to%20%5B0%2C%201%5D%20range)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20np.max(np.abs(y_basis))%20%3E%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_basis%20%3D%20y_basis%20%2F%20np.max(np.abs(y_basis))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20axins.plot(x_inset%2C%20y_basis%2C%20color%3Dcmap(_j%20%2F%20max(1%2C%20P_degree%20-%201))%2C%20lw%3D0.9%2C%20alpha%3D0.7)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20axins.set_xlabel('%24x%24'%2C%20fontsize%3D8)%0A%20%20%20%20%20%20%20%20%20%20%20%20axins.set_ylabel('Basis'%2C%20fontsize%3D8)%0A%20%20%20%20%20%20%20%20%20%20%20%20axins.tick_params(labelsize%3D7)%0A%20%20%20%20%20%20%20%20%20%20%20%20axins.grid(True%2C%20alpha%3D0.3%2C%20linewidth%3D0.5)%0A%0A%20%20%20%20%23%20Compute%20metrics%20for%20all%20active%20methods%0A%20%20%20%20metrics_dict%20%3D%20%7B%7D%0A%20%20%20%20for%20method_label%2C%20(method_y_pred%2C%20method_y_std%2C%20method_fit_time%2C%20method_y_min%2C%20method_y_max%2C%20method_train_data%2C%20method_std_train%2C%20method_calib_data%2C%20method_std_calib%2C%20extra_data)%20in%20method_predictions.items()%3A%0A%20%20%20%20%20%20%20%20%23%20Coverage%20on%20train%2Bcalib%20points%20and%20on%20all%20test%20points%0A%20%20%20%20%20%20%20%20if%20method_label%20in%20%5B'POPS%20regression'%2C%20'Conformal%20prediction'%5D%20and%20method_train_data%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Use%20min%2Fmax%20bounds%20for%20POPS%2FConformal%20coverage%0A%20%20%20%20%20%20%20%20%20%20%20%20lower_train%20%3D%20np.minimum(method_train_data%2C%20method_std_train)%20%20%23%20y_min_train%2C%20y_max_train%0A%20%20%20%20%20%20%20%20%20%20%20%20upper_train%20%3D%20np.maximum(method_train_data%2C%20method_std_train)%0A%20%20%20%20%20%20%20%20%20%20%20%20lower_calib%20%3D%20np.minimum(method_calib_data%2C%20method_std_calib)%20%20%23%20y_min_calib%2C%20y_max_calib%0A%20%20%20%20%20%20%20%20%20%20%20%20upper_calib%20%3D%20np.maximum(method_calib_data%2C%20method_std_calib)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20in_interval_train%20%3D%20(y_train%20%3E%3D%20lower_train)%20%26%20(y_train%20%3C%3D%20upper_train)%0A%20%20%20%20%20%20%20%20%20%20%20%20in_interval_calib%20%3D%20(y_calib%20%3E%3D%20lower_calib)%20%26%20(y_calib%20%3C%3D%20upper_calib)%0A%20%20%20%20%20%20%20%20%20%20%20%20method_coverage_train_calib%20%3D%20100%20*%20np.mean(np.concatenate(%5Bin_interval_train%2C%20in_interval_calib%5D))%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Coverage%20on%20all%20test%20points%0A%20%20%20%20%20%20%20%20%20%20%20%20lower_test%20%3D%20np.minimum(method_y_min%2C%20method_y_max)%0A%20%20%20%20%20%20%20%20%20%20%20%20upper_test%20%3D%20np.maximum(method_y_min%2C%20method_y_max)%0A%20%20%20%20%20%20%20%20%20%20%20%20method_coverage_all%20%3D%20100%20*%20np.mean((y_test%20%3E%3D%20lower_test)%20%26%20(y_test%20%3C%3D%20upper_test))%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Mean%20width%20on%20test%20data%20for%20display%0A%20%20%20%20%20%20%20%20%20%20%20%20method_mean_width%20%3D%20np.mean(upper_test%20-%20lower_test)%0A%20%20%20%20%20%20%20%20elif%20method_train_data%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Other%20methods%3A%20use%20%C2%B1std%0A%20%20%20%20%20%20%20%20%20%20%20%20in_interval_train%20%3D%20np.abs(y_train%20-%20method_train_data)%20%3C%3D%20method_std_train%0A%20%20%20%20%20%20%20%20%20%20%20%20in_interval_calib%20%3D%20np.abs(y_calib%20-%20method_calib_data)%20%3C%3D%20method_std_calib%0A%20%20%20%20%20%20%20%20%20%20%20%20method_coverage_train_calib%20%3D%20100%20*%20np.mean(np.concatenate(%5Bin_interval_train%2C%20in_interval_calib%5D))%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Coverage%20on%20all%20test%20points%0A%20%20%20%20%20%20%20%20%20%20%20%20method_coverage_all%20%3D%20100%20*%20np.mean(np.abs(y_test%20-%20method_y_pred)%20%3C%3D%20method_y_std)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20method_mean_width%20%3D%20np.mean(2%20*%20method_y_std)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Fallback%20to%20test%20data%20if%20train%2Fcalib%20not%20available%0A%20%20%20%20%20%20%20%20%20%20%20%20method_coverage_train_calib%20%3D%20100.0%20*%20np.mean(np.abs(y_test%20-%20method_y_pred)%20%3C%3D%20method_y_std)%0A%20%20%20%20%20%20%20%20%20%20%20%20method_coverage_all%20%3D%20method_coverage_train_calib%0A%20%20%20%20%20%20%20%20%20%20%20%20method_mean_width%20%3D%20np.mean(2%20*%20method_y_std)%0A%0A%20%20%20%20%20%20%20%20%23%20MSE%20(accuracy)%0A%20%20%20%20%20%20%20%20method_mse%20%3D%20np.mean((y_test%20-%20method_y_pred)%20**%202)%0A%0A%20%20%20%20%20%20%20%20%23%20Log%20likelihood%20and%20CRPS%20(probabilistic%20metrics)%0A%20%20%20%20%20%20%20%20if%20method_label%20%3D%3D%20'Neural%20network'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20NN%20ensemble%3A%20no%20parametric%20log%20likelihood%2C%20use%20empirical%20CRPS%0A%20%20%20%20%20%20%20%20%20%20%20%20method_log_lik%20%3D%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20'ensemble_preds'%20in%20extra_data%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20method_crps%20%3D%20crps_ensemble(y_test%2C%20extra_data%5B'ensemble_preds'%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20method_crps%20%3D%20crps_gaussian(y_test%2C%20method_y_pred%2C%20method_y_std)%0A%20%20%20%20%20%20%20%20elif%20method_label%20%3D%3D%20'Quantile%20regression'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Quantile%20regression%3A%20no%20parametric%20log%20likelihood%2C%20use%20quantile-based%20CRPS%0A%20%20%20%20%20%20%20%20%20%20%20%20method_log_lik%20%3D%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20'y_lower'%20in%20extra_data%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20method_crps%20%3D%20crps_quantile_approx(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_test%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20extra_data%5B'y_lower'%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20extra_data%5B'y_median'%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20extra_data%5B'y_upper'%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20extra_data%5B'alpha'%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20method_crps%20%3D%20crps_gaussian(y_test%2C%20method_y_pred%2C%20method_y_std)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Gaussian%20methods%20(Bayesian%2C%20GP%2C%20POPS%2C%20Conformal)%3A%20use%20Gaussian%20formulas%0A%20%20%20%20%20%20%20%20%20%20%20%20method_log_lik%20%3D%20gaussian_log_likelihood_per_point(y_test%2C%20method_y_pred%2C%20method_y_std)%0A%20%20%20%20%20%20%20%20%20%20%20%20method_crps%20%3D%20crps_gaussian(y_test%2C%20method_y_pred%2C%20method_y_std)%0A%0A%20%20%20%20%20%20%20%20%23%20Extract%20LOO%20log%20likelihood%20from%20extra_data%20(if%20available)%0A%20%20%20%20%20%20%20%20method_loo_log_lik%20%3D%20extra_data.get('loo_log_lik'%2C%20None)%0A%0A%20%20%20%20%20%20%20%20metrics_dict%5Bmethod_label%5D%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20'coverage_train_calib'%3A%20method_coverage_train_calib%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'coverage_all'%3A%20method_coverage_all%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'mean_width'%3A%20method_mean_width%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'mse'%3A%20method_mse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'fit_time'%3A%20method_fit_time%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'log_likelihood'%3A%20method_log_lik%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'crps'%3A%20method_crps%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'loo_log_lik'%3A%20method_loo_log_lik%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20mo.Html(f'''%0A%20%20%20%20%3Cdiv%20class%3D%22app-plot%22%3E%0A%20%20%20%20%20%20%20%20%7Bmo.center(fig)%7D%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20''')%0A%20%20%20%20return%20bayes_log_ml%2C%20gp_log_ml%2C%20gp_sparsity%2C%20metrics_dict%2C%20n%2C%20qhat%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20bayesian%2C%0A%20%20%20%20conformal%2C%0A%20%20%20%20get_N_samples%2C%0A%20%20%20%20get_basis_lengthscale%2C%0A%20%20%20%20get_basis_ls_enabled%2C%0A%20%20%20%20get_basis_type%2C%0A%20%20%20%20get_calib_frac%2C%0A%20%20%20%20get_custom_basis_code%2C%0A%20%20%20%20get_custom_function_code%2C%0A%20%20%20%20get_custom_kernel_code%2C%0A%20%20%20%20get_filter_invert%2C%0A%20%20%20%20get_filter_max%2C%0A%20%20%20%20get_filter_min%2C%0A%20%20%20%20get_function_type%2C%0A%20%20%20%20get_gp_joint_inference%2C%0A%20%20%20%20get_gp_kernel_type%2C%0A%20%20%20%20get_gp_mean_regularization%2C%0A%20%20%20%20get_leverage_percentile%2C%0A%20%20%20%20get_n_samples_gp%2C%0A%20%20%20%20get_n_samples_linear%2C%0A%20%20%20%20get_n_samples_nn%2C%0A%20%20%20%20get_nn_activation%2C%0A%20%20%20%20get_nn_ensemble_method%2C%0A%20%20%20%20get_nn_ensemble_size%2C%0A%20%20%20%20get_nn_hidden_units%2C%0A%20%20%20%20get_nn_num_layers%2C%0A%20%20%20%20get_nn_regularization%2C%0A%20%20%20%20get_percentile_clipping%2C%0A%20%20%20%20get_pops_posterior%2C%0A%20%20%20%20get_quantile_confidence%2C%0A%20%20%20%20get_quantile_regularization%2C%0A%20%20%20%20get_seed%2C%0A%20%20%20%20get_show_samples_gp%2C%0A%20%20%20%20get_show_samples_linear%2C%0A%20%20%20%20get_show_samples_nn%2C%0A%20%20%20%20get_sigma%2C%0A%20%20%20%20get_zeta%2C%0A%20%20%20%20gp_optimize_button%2C%0A%20%20%20%20gp_regression%2C%0A%20%20%20%20gp_use_basis_mean%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20neural_network%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pops%2C%0A%20%20%20%20quantile%2C%0A%20%20%20%20set_N_samples%2C%0A%20%20%20%20set_P%2C%0A%20%20%20%20set_basis_lengthscale%2C%0A%20%20%20%20set_basis_ls_enabled%2C%0A%20%20%20%20set_basis_type%2C%0A%20%20%20%20set_calib_frac%2C%0A%20%20%20%20set_custom_basis_code%2C%0A%20%20%20%20set_custom_function_code%2C%0A%20%20%20%20set_custom_kernel_code%2C%0A%20%20%20%20set_filter_invert%2C%0A%20%20%20%20set_filter_max%2C%0A%20%20%20%20set_filter_min%2C%0A%20%20%20%20set_function_type%2C%0A%20%20%20%20set_gp_joint_inference%2C%0A%20%20%20%20set_gp_kernel_type%2C%0A%20%20%20%20set_gp_lengthscale%2C%0A%20%20%20%20set_gp_mean_regularization%2C%0A%20%20%20%20set_gp_signal_variance%2C%0A%20%20%20%20set_gp_support_radius%2C%0A%20%20%20%20set_leverage_percentile%2C%0A%20%20%20%20set_n_samples_gp%2C%0A%20%20%20%20set_n_samples_linear%2C%0A%20%20%20%20set_n_samples_nn%2C%0A%20%20%20%20set_nn_activation%2C%0A%20%20%20%20set_nn_ensemble_method%2C%0A%20%20%20%20set_nn_ensemble_size%2C%0A%20%20%20%20set_nn_hidden_units%2C%0A%20%20%20%20set_nn_num_layers%2C%0A%20%20%20%20set_nn_regularization%2C%0A%20%20%20%20set_percentile_clipping%2C%0A%20%20%20%20set_pops_posterior%2C%0A%20%20%20%20set_quantile_confidence%2C%0A%20%20%20%20set_quantile_regularization%2C%0A%20%20%20%20set_seed%2C%0A%20%20%20%20set_show_samples_gp%2C%0A%20%20%20%20set_show_samples_linear%2C%0A%20%20%20%20set_show_samples_nn%2C%0A%20%20%20%20set_sigma%2C%0A%20%20%20%20set_zeta%2C%0A)%3A%0A%20%20%20%20%23%20NOTE%3A%20This%20cell%20does%20NOT%20depend%20on%20get_P%2C%20get_gp_lengthscale%2C%20or%20get_gp_support_radius%0A%20%20%20%20%23%20to%20avoid%20circular%20dependency%20with%20optimization%20cells%20that%20modify%20those%20values%0A%20%20%20%20aleatoric%20%3D%20mo.ui.checkbox(False%2C%20label%3D%22Include%20aleatoric%20uncertainty%22)%0A%0A%20%20%20%20data_label%20%3D%20mo.md(%22**Dataset%20parameters**%22)%0A%0A%20%20%20%20%23%20Valid%20function%20types%0A%20%20%20%20function_dropdown%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20'sin'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'witch'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'sinc'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'step'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'runge'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'lj'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'custom'%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20label%3D'Ground%20truth%20function'%2C%0A%20%20%20%20%20%20%20%20value%3Dget_function_type()%2C%0A%20%20%20%20%20%20%20%20on_change%3Dset_function_type%2C%0A%20%20%20%20)%0A%20%20%20%20N_samples%20%3D%20mo.ui.slider(50%2C%201000%2C%2050%2C%20get_N_samples()%2C%20label%3D'Samples%20%24N%24'%2C%20on_change%3Dset_N_samples)%0A%20%20%20%20sigma%20%3D%20mo.ui.slider(0.001%2C%200.3%2C%200.005%2C%20get_sigma()%2C%20label%3Dr'%24%5Csigma%24%20noise'%2C%20on_change%3Dset_sigma)%0A%20%20%20%20seed%20%3D%20mo.ui.slider(0%2C%2010%2C%201%2C%20get_seed()%2C%20label%3D%22Seed%22%2C%20on_change%3Dset_seed)%0A%20%20%20%20filter_range%20%3D%20mo.ui.range_slider(%0A%20%20%20%20%20%20%20%20start%3D-10%2C%20stop%3D10%2C%20step%3D0.5%2C%0A%20%20%20%20%20%20%20%20value%3D%5Bget_filter_min()%2C%20get_filter_max()%5D%2C%0A%20%20%20%20%20%20%20%20label%3D'Filter%20range'%2C%0A%20%20%20%20%20%20%20%20on_change%3Dlambda%20v%3A%20(set_filter_min(v%5B0%5D)%2C%20set_filter_max(v%5B1%5D))%0A%20%20%20%20)%0A%20%20%20%20filter_invert%20%3D%20mo.ui.checkbox(get_filter_invert()%2C%20label%3D%22Keep%20inside%20(invert)%22%2C%20on_change%3Dset_filter_invert)%0A%0A%20%20%20%20%23%20Regression%20parameters%20with%20conditional%20styling%0A%20%20%20%20reg_enabled%20%3D%20bayesian.value%20or%20conformal.value%20or%20pops.value%20or%20quantile.value%0A%0A%20%20%20%20if%20reg_enabled%3A%0A%20%20%20%20%20%20%20%20%23%20Use%20fixed%20default%20value%20(not%20state)%20to%20avoid%20circular%20dependency%0A%20%20%20%20%20%20%20%20%23%20Manual%20slider%20changes%20still%20update%20state%20via%20on_change%2C%20but%20slider%20doesn't%20react%20to%20state%20changes%0A%20%20%20%20%20%20%20%20P_slider%20%3D%20mo.ui.slider(1%2C%2015%2C%201%2C%2010%2C%20label%3D%22Parameters%20%24P%24%22%2C%20on_change%3Dset_P)%0A%20%20%20%20%20%20%20%20P_elem%20%3D%20P_slider%20%20%23%20For%20display%0A%20%20%20%20%20%20%20%20def%20on_basis_type_change(v)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20set_basis_type(v)%0A%20%20%20%20%20%20%20%20%20%20%20%20set_basis_ls_enabled(v%20in%20%5B'rbf'%2C%20'fourier'%2C%20'lj'%5D)%0A%20%20%20%20%20%20%20%20basis_type_dropdown%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%20%20%20%20options%3D%5B'polynomial'%2C%20'rbf'%2C%20'fourier'%2C%20'lj'%2C%20'custom'%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3Dget_basis_type()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20on_change%3Don_basis_type_change%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20basis_dropdown%20%3D%20mo.hstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Basis%20type%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20basis_type_dropdown%0A%20%20%20%20%20%20%20%20%5D%2C%20justify%3D%22space-between%22%2C%20align%3D%22center%22)%0A%20%20%20%20%20%20%20%20%23%20Lengthscale%20slider%20-%20enabled%20for%20RBF%2FFourier%2C%20disabled%20for%20polynomial%0A%20%20%20%20%20%20%20%20if%20get_basis_ls_enabled()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20basis_lengthscale_slider%20%3D%20mo.ui.slider(0.5%2C%2010.0%2C%200.5%2C%20get_basis_lengthscale()%2C%20label%3D'Basis%20lengthscale'%2C%20on_change%3Dset_basis_lengthscale)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20basis_lengthscale_slider%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B'%3E%7Bmo.ui.slider(0.5%2C%2010.0%2C%200.5%2C%20get_basis_lengthscale()%2C%20label%3D'Basis%20lengthscale'%2C%20disabled%3DTrue)%7D%3C%2Fdiv%3E%22)%0A%20%20%20%20%20%20%20%20aleatoric%20%3D%20mo.ui.checkbox(False%2C%20label%3D%22Include%20aleatoric%20uncertainty%22)%0A%20%20%20%20%20%20%20%20show_samples_linear%20%3D%20mo.ui.checkbox(get_show_samples_linear()%2C%20label%3D%22Show%20posterior%20samples%22%2C%20on_change%3Dset_show_samples_linear)%0A%20%20%20%20%20%20%20%20n_samples_linear_slider%20%3D%20mo.ui.slider(5%2C%2020%2C%201%2C%20get_n_samples_linear()%2C%20label%3D%22Samples%20to%20draw%22%2C%20on_change%3Dset_n_samples_linear)%0A%20%20%20%20%20%20%20%20reg_separator%20%3D%20mo.Html(%22%3Chr%20style%3D'margin%3A%205px%200%3B%20border%3A%200%3B%20border-top%3A%201px%20solid%20%23ddd%3B'%3E%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20P_slider%20%3D%20None%20%20%23%20No%20slider%20when%20disabled%0A%20%20%20%20%20%20%20%20P_elem%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B'%3E%7Bmo.ui.slider(5%2C%2015%2C%201%2C%2010%2C%20label%3D'Parameters%20%24P%24'%2C%20disabled%3DTrue%2C%20on_change%3Dset_P)%7D%3C%2Fdiv%3E%22)%0A%20%20%20%20%20%20%20%20basis_type_dropdown%20%3D%20None%20%20%23%20Disabled%0A%20%20%20%20%20%20%20%20basis_dropdown%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B%20display%3A%20flex%3B%20justify-content%3A%20space-between%3B%20align-items%3A%20center%3B'%3E%3Cspan%3EBasis%20type%3C%2Fspan%3E%3Cselect%20disabled%20style%3D'padding%3A%204px%3B'%3E%3Coption%3E%7Bget_basis_type()%7D%3C%2Foption%3E%3C%2Fselect%3E%3C%2Fdiv%3E%22)%0A%20%20%20%20%20%20%20%20basis_lengthscale_slider%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B'%3E%7Bmo.ui.slider(0.5%2C%2010.0%2C%200.5%2C%202.0%2C%20label%3D'Basis%20lengthscale'%2C%20disabled%3DTrue)%7D%3C%2Fdiv%3E%22)%0A%20%20%20%20%20%20%20%20aleatoric%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B'%3E%7Bmo.ui.checkbox(False%2C%20label%3D'Include%20aleatoric%20uncertainty'%2C%20disabled%3DTrue)%7D%3C%2Fdiv%3E%22)%0A%20%20%20%20%20%20%20%20show_samples_linear%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B'%3E%7Bmo.ui.checkbox(False%2C%20label%3D'Show%20posterior%20samples'%2C%20disabled%3DTrue)%7D%3C%2Fdiv%3E%22)%0A%20%20%20%20%20%20%20%20n_samples_linear_slider%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B'%3E%7Bmo.ui.slider(5%2C%2020%2C%201%2C%2010%2C%20label%3D'Samples%20to%20draw'%2C%20disabled%3DTrue)%7D%3C%2Fdiv%3E%22)%0A%20%20%20%20%20%20%20%20reg_separator%20%3D%20mo.Html(%22%3Chr%20style%3D'margin%3A%205px%200%3B%20border%3A%200%3B%20border-top%3A%201px%20solid%20%23ddd%3B%20opacity%3A%200.4%3B'%3E%22)%0A%0A%20%20%20%20%23%20Conformal%20prediction%20section%20with%20conditional%20styling%0A%20%20%20%20if%20conformal.value%3A%0A%20%20%20%20%20%20%20%20calib_frac%20%3D%20mo.ui.slider(0.05%2C%200.5%2C%200.05%2C%20get_calib_frac()%2C%20label%3D%22Calibration%20fraction%22%2C%20on_change%3Dset_calib_frac)%0A%20%20%20%20%20%20%20%20zeta%20%3D%20mo.ui.slider(0.05%2C%200.3%2C%200.05%2C%20get_zeta()%2C%20label%3Dr%22Coverage%20%24%5Czeta%24%22%2C%20on_change%3Dset_zeta)%0A%20%20%20%20%20%20%20%20cp_separator%20%3D%20mo.Html(%22%3Chr%20style%3D'margin%3A%205px%200%3B%20border%3A%200%3B%20border-top%3A%201px%20solid%20%23ddd%3B'%3E%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20calib_frac%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B'%3E%7Bmo.ui.slider(0.05%2C%200.5%2C%200.05%2C%20get_calib_frac()%2C%20label%3D'Calibration%20fraction'%2C%20disabled%3DTrue%2C%20on_change%3Dset_calib_frac)%7D%3C%2Fdiv%3E%22)%0A%20%20%20%20%20%20%20%20zeta%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B'%3E%7Bmo.ui.slider(0.05%2C%200.3%2C%200.05%2C%20get_zeta()%2C%20label%3Dr'Coverage%20%24%5Czeta%24'%2C%20disabled%3DTrue%2C%20on_change%3Dset_zeta)%7D%3C%2Fdiv%3E%22)%0A%20%20%20%20%20%20%20%20cp_separator%20%3D%20mo.Html(%22%3Chr%20style%3D'margin%3A%205px%200%3B%20border%3A%200%3B%20border-top%3A%201px%20solid%20%23ddd%3B%20opacity%3A%200.4%3B'%3E%22)%0A%0A%20%20%20%20%23%20POPS%20regression%20section%20with%20conditional%20styling%0A%20%20%20%20if%20pops.value%3A%0A%20%20%20%20%20%20%20%20pops_posterior_radio%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%20%20%20%20options%3D%5B'hypercube'%2C%20'ensemble'%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3Dget_pops_posterior()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D'Posterior'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20on_change%3Dset_pops_posterior%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20leverage_percentile_slider%20%3D%20mo.ui.slider(0.0%2C%2050.0%2C%201.0%2C%20get_leverage_percentile()%2C%20label%3D%22Leverage%20percentile%22%2C%20on_change%3Dset_leverage_percentile)%0A%20%20%20%20%20%20%20%20percentile_clipping%20%3D%20mo.ui.slider(0%2C%2010%2C%201%2C%20get_percentile_clipping()%2C%20label%3D%22Percentile%20clipping%22%2C%20on_change%3Dset_percentile_clipping)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20pops_posterior_radio%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B'%3E%7Bmo.ui.radio(options%3D%5B'hypercube'%2C%20'ensemble'%5D%2C%20value%3Dget_pops_posterior()%2C%20label%3D'Posterior'%2C%20disabled%3DTrue)%7D%3C%2Fdiv%3E%22)%0A%20%20%20%20%20%20%20%20leverage_percentile_slider%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B'%3E%7Bmo.ui.slider(0.0%2C%2050.0%2C%201.0%2C%20get_leverage_percentile()%2C%20label%3D'Leverage%20percentile'%2C%20disabled%3DTrue)%7D%3C%2Fdiv%3E%22)%0A%20%20%20%20%20%20%20%20percentile_clipping%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B'%3E%7Bmo.ui.slider(0%2C%2010%2C%201%2C%20get_percentile_clipping()%2C%20label%3D'Percentile%20clipping'%2C%20disabled%3DTrue%2C%20on_change%3Dset_percentile_clipping)%7D%3C%2Fdiv%3E%22)%0A%0A%20%20%20%20%23%20Quantile%20regression%20section%20with%20conditional%20styling%0A%20%20%20%20if%20quantile.value%3A%0A%20%20%20%20%20%20%20%20quantile_confidence%20%3D%20mo.ui.slider(0.80%2C%200.95%2C%200.05%2C%20get_quantile_confidence()%2C%20label%3D%22Confidence%20level%22%2C%20on_change%3Dset_quantile_confidence)%0A%20%20%20%20%20%20%20%20quantile_regularization%20%3D%20mo.ui.slider(0.0%2C%200.1%2C%200.001%2C%20get_quantile_regularization()%2C%20label%3D%22Regularization%22%2C%20on_change%3Dset_quantile_regularization)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20quantile_confidence%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B'%3E%7Bmo.ui.slider(0.80%2C%200.95%2C%200.05%2C%20get_quantile_confidence()%2C%20label%3D'Confidence%20level'%2C%20disabled%3DTrue%2C%20on_change%3Dset_quantile_confidence)%7D%3C%2Fdiv%3E%22)%0A%20%20%20%20%20%20%20%20quantile_regularization%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B'%3E%7Bmo.ui.slider(0.0%2C%200.1%2C%200.001%2C%20get_quantile_regularization()%2C%20label%3D'Regularization'%2C%20disabled%3DTrue%2C%20on_change%3Dset_quantile_regularization)%7D%3C%2Fdiv%3E%22)%0A%0A%20%20%20%20%23%20GP%20regression%20section%20with%20conditional%20styling%0A%20%20%20%20if%20gp_regression.value%3A%0A%20%20%20%20%20%20%20%20aleatoric_gp%20%3D%20mo.ui.checkbox(False%2C%20label%3D%22Include%20aleatoric%20uncertainty%22)%0A%20%20%20%20%20%20%20%20show_samples_gp%20%3D%20mo.ui.checkbox(get_show_samples_gp()%2C%20label%3D%22Show%20posterior%20samples%22%2C%20on_change%3Dset_show_samples_gp)%0A%20%20%20%20%20%20%20%20n_samples_gp_slider%20%3D%20mo.ui.slider(5%2C%2020%2C%201%2C%20get_n_samples_gp()%2C%20label%3D%22Samples%20to%20draw%22%2C%20on_change%3Dset_n_samples_gp)%0A%20%20%20%20%20%20%20%20gp_kernel_dropdown%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%20%20%20%20options%3D%5B'rbf'%2C%20'matern'%2C%20'bump'%2C%20'custom'%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3Dget_gp_kernel_type()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D'Kernel%20type'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20on_change%3Dset_gp_kernel_type%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%23%20Use%20fixed%20default%20values%20(not%20state)%20to%20avoid%20circular%20dependency%0A%20%20%20%20%20%20%20%20%23%20Manual%20slider%20changes%20still%20update%20state%20via%20on_change%2C%20but%20sliders%20don't%20react%20to%20state%20changes%0A%20%20%20%20%20%20%20%20gp_lengthscale_slider%20%3D%20mo.ui.slider(0.1%2C%205.0%2C%200.1%2C%200.5%2C%20label%3D'Lengthscale'%2C%20on_change%3Dset_gp_lengthscale)%0A%20%20%20%20%20%20%20%20gp_signal_variance_slider%20%3D%20mo.ui.slider(0.1%2C%205.0%2C%200.1%2C%201.0%2C%20label%3D'Signal%20variance'%2C%20on_change%3Dset_gp_signal_variance)%0A%20%20%20%20%20%20%20%20gp_support_radius_slider%20%3D%20mo.ui.slider(0.5%2C%205.0%2C%200.1%2C%201.5%2C%20label%3D'Support%20radius%20(bump%20only)'%2C%20on_change%3Dset_gp_support_radius)%0A%0A%20%20%20%20%20%20%20%20%23%20gp_use_basis_mean%20checkbox%20is%20now%20created%20in%20a%20separate%20cell%20and%20passed%20in%20as%20dependency%0A%20%20%20%20%20%20%20%20%23%20We%20can%20check%20its%20.value%20here%20to%20conditionally%20show%20controls%0A%20%20%20%20%20%20%20%20if%20gp_use_basis_mean.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20gp_joint_inference%20%3D%20mo.ui.checkbox(get_gp_joint_inference()%2C%20label%3D%22Joint%20Bayesian%20inference%22%2C%20on_change%3Dset_gp_joint_inference)%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Log-scale%20slider%20for%20mean%20regularization%20(better%20range%20control)%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Maps%20-6%20to%201%20in%20log10%20space%20%E2%86%92%2010%5E-6%20to%2010%5E1%20%3D%200.000001%20to%2010%0A%20%20%20%20%20%20%20%20%20%20%20%20_log_reg%20%3D%20np.log10(get_gp_mean_regularization())%0A%20%20%20%20%20%20%20%20%20%20%20%20gp_mean_regularization_log%20%3D%20mo.ui.slider(-6%2C%201%2C%200.1%2C%20_log_reg%2C%20label%3D'Mean%20regularization%20(log%E2%82%81%E2%82%80)'%2C%20on_change%3Dlambda%20v%3A%20set_gp_mean_regularization(10**v))%0A%20%20%20%20%20%20%20%20%20%20%20%20gp_mean_regularization%20%3D%20gp_mean_regularization_log%20%20%23%20For%20layout%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20gp_joint_inference%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B'%3E%7Bmo.ui.checkbox(get_gp_joint_inference()%2C%20label%3D'Joint%20Bayesian%20inference'%2C%20disabled%3DTrue)%7D%3C%2Fdiv%3E%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_log_reg%20%3D%20np.log10(get_gp_mean_regularization())%0A%20%20%20%20%20%20%20%20%20%20%20%20gp_mean_regularization%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B'%3E%7Bmo.ui.slider(-6%2C%201%2C%200.1%2C%20_log_reg%2C%20label%3D'Mean%20regularization%20(log%E2%82%81%E2%82%80)'%2C%20disabled%3DTrue)%7D%3C%2Fdiv%3E%22)%0A%0A%20%20%20%20%20%20%20%20gp_lengthscale%20%3D%20gp_lengthscale_slider%20%20%23%20For%20display%0A%20%20%20%20%20%20%20%20gp_signal_variance%20%3D%20gp_signal_variance_slider%20%20%23%20For%20display%0A%20%20%20%20%20%20%20%20gp_support_radius%20%3D%20gp_support_radius_slider%20%20%23%20For%20display%0A%20%20%20%20%20%20%20%20gp_opt_button_elem%20%3D%20gp_optimize_button%0A%20%20%20%20%20%20%20%20%23%20Add%20horizontal%20separator%20between%20kernel%20hyperparameters%20and%20mean%20function%20controls%0A%20%20%20%20%20%20%20%20gp_separator%20%3D%20mo.Html(%22%3Chr%20style%3D'margin%3A%205px%200%3B%20border%3A%200%3B%20border-top%3A%201px%20solid%20%23ddd%3B'%3E%22)%0A%20%20%20%20%20%20%20%20%23%20Show%20gp_use_basis_mean%20checkbox%20normally%20when%20GP%20regression%20is%20enabled%0A%20%20%20%20%20%20%20%20gp_use_basis_mean_elem%20%3D%20gp_use_basis_mean%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20aleatoric_gp%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B'%3E%7Bmo.ui.checkbox(False%2C%20label%3D'Include%20aleatoric%20uncertainty'%2C%20disabled%3DTrue)%7D%3C%2Fdiv%3E%22)%0A%20%20%20%20%20%20%20%20show_samples_gp%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B'%3E%7Bmo.ui.checkbox(False%2C%20label%3D'Show%20posterior%20samples'%2C%20disabled%3DTrue)%7D%3C%2Fdiv%3E%22)%0A%20%20%20%20%20%20%20%20n_samples_gp_slider%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B'%3E%7Bmo.ui.slider(5%2C%2020%2C%201%2C%2010%2C%20label%3D'Samples%20to%20draw'%2C%20disabled%3DTrue)%7D%3C%2Fdiv%3E%22)%0A%20%20%20%20%20%20%20%20%23%20Dropdown%20doesn't%20have%20disabled%20attribute%2C%20just%20show%20greyed%20out%0A%20%20%20%20%20%20%20%20gp_kernel_dropdown%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B%20pointer-events%3A%20none%3B'%3E%7Bmo.ui.dropdown(%5B'rbf'%2C%20'matern'%2C%20'bump'%2C%20'custom'%5D%2C%20value%3D'rbf'%2C%20label%3D'Kernel%20type')%7D%3C%2Fdiv%3E%22)%0A%20%20%20%20%20%20%20%20gp_lengthscale_slider%20%3D%20None%20%20%23%20No%20slider%20when%20disabled%0A%20%20%20%20%20%20%20%20gp_signal_variance_slider%20%3D%20None%20%20%23%20No%20slider%20when%20disabled%0A%20%20%20%20%20%20%20%20gp_support_radius_slider%20%3D%20None%20%20%23%20No%20slider%20when%20disabled%0A%20%20%20%20%20%20%20%20gp_lengthscale%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B'%3E%7Bmo.ui.slider(0.1%2C%205.0%2C%200.1%2C%200.5%2C%20label%3D'Lengthscale'%2C%20disabled%3DTrue)%7D%3C%2Fdiv%3E%22)%0A%20%20%20%20%20%20%20%20gp_signal_variance%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B'%3E%7Bmo.ui.slider(0.1%2C%205.0%2C%200.1%2C%201.0%2C%20label%3D'Signal%20variance'%2C%20disabled%3DTrue)%7D%3C%2Fdiv%3E%22)%0A%20%20%20%20%20%20%20%20gp_support_radius%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B'%3E%7Bmo.ui.slider(0.5%2C%205.0%2C%200.1%2C%201.5%2C%20label%3D'Support%20radius%20(bump%20only)'%2C%20disabled%3DTrue)%7D%3C%2Fdiv%3E%22)%0A%20%20%20%20%20%20%20%20gp_separator%20%3D%20mo.Html(%22%3Chr%20style%3D'margin%3A%205px%200%3B%20border%3A%200%3B%20border-top%3A%201px%20solid%20%23ddd%3B%20opacity%3A%200.4%3B'%3E%22)%0A%20%20%20%20%20%20%20%20%23%20Wrap%20gp_use_basis_mean%20checkbox%20with%20disabled%20styling%20when%20GP%20regression%20is%20off%0A%20%20%20%20%20%20%20%20gp_use_basis_mean_elem%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B%20pointer-events%3A%20none%3B'%3E%7Bgp_use_basis_mean%7D%3C%2Fdiv%3E%22)%0A%20%20%20%20%20%20%20%20gp_joint_inference%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B'%3E%7Bmo.ui.checkbox(False%2C%20label%3D'Joint%20Bayesian%20inference'%2C%20disabled%3DTrue)%7D%3C%2Fdiv%3E%22)%0A%20%20%20%20%20%20%20%20gp_mean_regularization%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B'%3E%7Bmo.ui.slider(-6%2C%201%2C%200.1%2C%20-1%2C%20label%3D'Mean%20regularization%20(log%E2%82%81%E2%82%80)'%2C%20disabled%3DTrue)%7D%3C%2Fdiv%3E%22)%0A%20%20%20%20%20%20%20%20gp_opt_button_elem%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B'%3E%7Bmo.ui.button(label%3D'Optimize%20hyperparameters'%2C%20disabled%3DTrue)%7D%3C%2Fdiv%3E%22)%0A%0A%20%20%20%20%23%20Neural%20network%20section%20with%20conditional%20styling%0A%20%20%20%20if%20neural_network.value%3A%0A%20%20%20%20%20%20%20%20nn_activation%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%20%20%20%20options%3D%5B'tanh'%2C%20'relu'%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3Dget_nn_activation()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D'Activation%20function'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20on_change%3Dset_nn_activation%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20nn_ensemble_method%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%20%20%20%20options%3D%5B'seed'%2C%20'bootstrap'%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3Dget_nn_ensemble_method()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D'Ensemble%20method'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20on_change%3Dset_nn_ensemble_method%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20nn_hidden_units%20%3D%20mo.ui.slider(5%2C%2050%2C%205%2C%20get_nn_hidden_units()%2C%20label%3D'Hidden%20units'%2C%20on_change%3Dset_nn_hidden_units)%0A%20%20%20%20%20%20%20%20nn_num_layers%20%3D%20mo.ui.slider(1%2C%203%2C%201%2C%20get_nn_num_layers()%2C%20label%3D'Hidden%20layers'%2C%20on_change%3Dset_nn_num_layers)%0A%20%20%20%20%20%20%20%20_log_reg_nn%20%3D%20get_nn_regularization()%0A%20%20%20%20%20%20%20%20nn_regularization%20%3D%20mo.ui.slider(-6%2C%200%2C%200.5%2C%20_log_reg_nn%2C%20label%3D'Regularization%20(log%E2%82%81%E2%82%80)'%2C%20on_change%3Dset_nn_regularization)%0A%20%20%20%20%20%20%20%20nn_ensemble_size%20%3D%20mo.ui.slider(3%2C%2010%2C%201%2C%20get_nn_ensemble_size()%2C%20label%3D'Ensemble%20size'%2C%20on_change%3Dset_nn_ensemble_size)%0A%20%20%20%20%20%20%20%20show_samples_nn%20%3D%20mo.ui.checkbox(get_show_samples_nn()%2C%20label%3D%22Show%20ensemble%20samples%22%2C%20on_change%3Dset_show_samples_nn)%0A%20%20%20%20%20%20%20%20n_samples_nn_slider%20%3D%20mo.ui.slider(3%2C%2010%2C%201%2C%20get_n_samples_nn()%2C%20label%3D%22Samples%20to%20draw%22%2C%20on_change%3Dset_n_samples_nn)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20nn_activation%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B%20pointer-events%3A%20none%3B'%3E%7Bmo.ui.dropdown(%5B'tanh'%5D%2C%20value%3D'tanh'%2C%20label%3D'Activation%20function')%7D%3C%2Fdiv%3E%22)%0A%20%20%20%20%20%20%20%20nn_ensemble_method%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B%20pointer-events%3A%20none%3B'%3E%7Bmo.ui.dropdown(%5B'seed'%2C%20'bootstrap'%5D%2C%20value%3D'seed'%2C%20label%3D'Ensemble%20method')%7D%3C%2Fdiv%3E%22)%0A%20%20%20%20%20%20%20%20nn_hidden_units%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B'%3E%7Bmo.ui.slider(5%2C%2050%2C%205%2C%20get_nn_hidden_units()%2C%20label%3D'Hidden%20units'%2C%20disabled%3DTrue)%7D%3C%2Fdiv%3E%22)%0A%20%20%20%20%20%20%20%20nn_num_layers%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B'%3E%7Bmo.ui.slider(1%2C%203%2C%201%2C%20get_nn_num_layers()%2C%20label%3D'Hidden%20layers'%2C%20disabled%3DTrue)%7D%3C%2Fdiv%3E%22)%0A%20%20%20%20%20%20%20%20nn_regularization%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B'%3E%7Bmo.ui.slider(-6%2C%200%2C%200.5%2C%20-3%2C%20label%3D'Regularization%20(log%E2%82%81%E2%82%80)'%2C%20disabled%3DTrue)%7D%3C%2Fdiv%3E%22)%0A%20%20%20%20%20%20%20%20nn_ensemble_size%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B'%3E%7Bmo.ui.slider(3%2C%2010%2C%201%2C%205%2C%20label%3D'Ensemble%20size'%2C%20disabled%3DTrue)%7D%3C%2Fdiv%3E%22)%0A%20%20%20%20%20%20%20%20show_samples_nn%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B'%3E%7Bmo.ui.checkbox(False%2C%20label%3D'Show%20ensemble%20samples'%2C%20disabled%3DTrue)%7D%3C%2Fdiv%3E%22)%0A%20%20%20%20%20%20%20%20n_samples_nn_slider%20%3D%20mo.Html(f%22%3Cdiv%20style%3D'opacity%3A%200.4%3B'%3E%7Bmo.ui.slider(3%2C%2010%2C%201%2C%205%2C%20label%3D'Samples%20to%20draw'%2C%20disabled%3DTrue)%7D%3C%2Fdiv%3E%22)%0A%0A%20%20%20%20%23%20Linear%20Methods%20tab%3A%20Two-column%20layout%0A%20%20%20%20%23%20First%20column%3A%20Shared%20settings%2C%20Bayesian%20fit%2C%20and%20Quantile%20regression%0A%20%20%20%20linear_col1%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20P_elem%2C%20basis_dropdown%2C%20basis_lengthscale_slider%2C%20aleatoric%2C%0A%20%20%20%20%20%20%20%20show_samples_linear%2C%20n_samples_linear_slider%2C%0A%20%20%20%20%20%20%20%20mo.Html(%22%3Chr%20style%3D'margin%3A%2010px%200%3B%20border%3A%200%3B%20border-top%3A%201px%20solid%20%23ddd%3B'%3E%22)%2C%0A%20%20%20%20%20%20%20%20mo.left(bayesian)%2C%0A%20%20%20%20%20%20%20%20mo.Html(%22%3Chr%20style%3D'margin%3A%205px%200%3B%20border%3A%200%3B%20border-top%3A%201px%20solid%20%23ddd%3B'%3E%22)%2C%0A%20%20%20%20%20%20%20%20mo.left(quantile)%2C%0A%20%20%20%20%20%20%20%20quantile_confidence%2C%0A%20%20%20%20%20%20%20%20quantile_regularization%0A%20%20%20%20%5D)%0A%0A%20%20%20%20%23%20Second%20column%3A%20Conformal%20Prediction%20and%20POPS%20regression%0A%20%20%20%20linear_col2%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.left(conformal)%2C%0A%20%20%20%20%20%20%20%20calib_frac%2C%20zeta%2C%20cp_separator%2C%0A%20%20%20%20%20%20%20%20mo.left(pops)%2C%0A%20%20%20%20%20%20%20%20pops_posterior_radio%2C%0A%20%20%20%20%20%20%20%20leverage_percentile_slider%2C%0A%20%20%20%20%20%20%20%20percentile_clipping%0A%20%20%20%20%5D)%0A%0A%20%20%20%20linear_methods_content%20%3D%20mo.Html(f'''%0A%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2020px%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22width%3A%2050%25%3B%20min-width%3A%20200px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%7Blinear_col1%7D%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22width%3A%2050%25%3B%20min-width%3A%20200px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%7Blinear_col2%7D%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20''')%0A%0A%20%20%20%20%23%20Kernel%20Methods%20tab%3A%20Two-column%20layout%0A%20%20%20%20kernel_col1%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.left(gp_regression)%2C%0A%20%20%20%20%20%20%20%20aleatoric_gp%2C%0A%20%20%20%20%20%20%20%20show_samples_gp%2C%20n_samples_gp_slider%2C%0A%20%20%20%20%20%20%20%20gp_kernel_dropdown%2C%20gp_lengthscale%2C%20gp_signal_variance%2C%20gp_support_radius%2C%0A%20%20%20%20%20%20%20%20gp_opt_button_elem%0A%20%20%20%20%5D)%0A%0A%20%20%20%20kernel_col2%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20gp_use_basis_mean_elem%2C%0A%20%20%20%20%20%20%20%20gp_joint_inference%2C%20gp_mean_regularization%0A%20%20%20%20%5D)%0A%0A%20%20%20%20kernel_methods_content%20%3D%20mo.Html(f'''%0A%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%2020px%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22width%3A%2050%25%3B%20min-width%3A%20200px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%7Bkernel_col1%7D%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22width%3A%2050%25%3B%20min-width%3A%20200px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%7Bkernel_col2%7D%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20''')%0A%0A%20%20%20%20%23%20Non-linear%20Methods%20tab%3A%20Single%20column%20with%20checkbox%20at%20top%0A%20%20%20%20nonlinear_methods_tab%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.left(neural_network)%2C%0A%20%20%20%20%20%20%20%20show_samples_nn%2C%20n_samples_nn_slider%2C%0A%20%20%20%20%20%20%20%20nn_activation%2C%0A%20%20%20%20%20%20%20%20nn_ensemble_method%2C%0A%20%20%20%20%20%20%20%20nn_hidden_units%2C%20nn_num_layers%2C%0A%20%20%20%20%20%20%20%20nn_regularization%2C%20nn_ensemble_size%0A%20%20%20%20%5D)%0A%0A%20%20%20%20%23%20Custom%20Function%20code%20editor%20(in%20accordion%2C%20collapsed%20by%20default)%0A%20%20%20%20custom_code_editor%20%3D%20mo.ui.code_editor(%0A%20%20%20%20%20%20%20%20value%3Dget_custom_function_code()%2C%0A%20%20%20%20%20%20%20%20language%3D%22python%22%2C%0A%20%20%20%20%20%20%20%20min_height%3D200%2C%0A%20%20%20%20%20%20%20%20on_change%3Dset_custom_function_code%2C%0A%20%20%20%20)%0A%20%20%20%20custom_function_accordion%20%3D%20mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%22Custom%20Function%20Code%22%3A%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Define%20%60y%20%3D%20f(X)%60.%20Available%3A%20%60np%60%2C%20%60scipy%60%2C%20%60math%60%2C%20%60X%60.%20Avoid%20infinite%20loops.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20custom_code_editor%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%20%20%20%20%7D%2C%20lazy%3DTrue)%0A%0A%20%20%20%20%23%20Custom%20Basis%20code%20editor%20(in%20accordion%2C%20collapsed%20by%20default)%0A%20%20%20%20custom_basis_editor%20%3D%20mo.ui.code_editor(%0A%20%20%20%20%20%20%20%20value%3Dget_custom_basis_code()%2C%0A%20%20%20%20%20%20%20%20language%3D%22python%22%2C%0A%20%20%20%20%20%20%20%20min_height%3D200%2C%0A%20%20%20%20%20%20%20%20on_change%3Dset_custom_basis_code%2C%0A%20%20%20%20)%0A%20%20%20%20custom_basis_accordion%20%3D%20mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%22Custom%20Basis%20Code%22%3A%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Define%20%60features%60%20(n%C3%97P%20matrix).%20Available%3A%20%60np%60%2C%20%60scipy%60%2C%20%60math%60%2C%20%60X%60%2C%20%60P%60.%20Avoid%20infinite%20loops.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20custom_basis_editor%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%20%20%20%20%7D%2C%20lazy%3DTrue)%0A%0A%20%20%20%20%23%20Custom%20Kernel%20code%20editor%20(in%20accordion%2C%20collapsed%20by%20default)%0A%20%20%20%20custom_kernel_editor%20%3D%20mo.ui.code_editor(%0A%20%20%20%20%20%20%20%20value%3Dget_custom_kernel_code()%2C%0A%20%20%20%20%20%20%20%20language%3D%22python%22%2C%0A%20%20%20%20%20%20%20%20min_height%3D200%2C%0A%20%20%20%20%20%20%20%20on_change%3Dset_custom_kernel_code%2C%0A%20%20%20%20)%0A%20%20%20%20custom_kernel_accordion%20%3D%20mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%22Custom%20Kernel%20Code%22%3A%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Define%20%60K%60%20matrix%20(n1%C3%97n2).%20Available%3A%20%60np%60%2C%20%60scipy%60%2C%20%60math%60%2C%20%60X1%60%2C%20%60X2%60%2C%20%60lengthscale%60%2C%20%60signal_variance%60.%20Avoid%20infinite%20loops.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20custom_kernel_editor%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%20%20%20%20%7D%2C%20lazy%3DTrue)%0A%0A%20%20%20%20%23%20Data%20tab%3A%20Dataset%20parameters%20%2B%20custom%20function%20accordion%0A%20%20%20%20data_tab%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.hstack(%5Bfunction_dropdown%2C%20N_samples%2C%20sigma%5D%2C%20justify%3D%22start%22)%2C%0A%20%20%20%20%20%20%20%20mo.hstack(%5Bfilter_range%2C%20filter_invert%2C%20seed%5D%2C%20justify%3D%22start%22)%2C%0A%20%20%20%20%20%20%20%20custom_function_accordion%2C%0A%20%20%20%20%5D)%0A%0A%20%20%20%20%23%20Assemble%20final%20tabs%20with%20accordions%0A%20%20%20%20linear_methods_tab%20%3D%20mo.vstack(%5Blinear_methods_content%2C%20custom_basis_accordion%5D)%0A%20%20%20%20kernel_methods_tab%20%3D%20mo.vstack(%5Bkernel_methods_content%2C%20custom_kernel_accordion%5D)%0A%0A%20%20%20%20%23%20Create%20tabs%20for%20method-specific%20parameters%20(Data%20first)%0A%20%20%20%20method_params_tabs%20%3D%20mo.ui.tabs(%7B%0A%20%20%20%20%20%20%20%20%22Data%22%3A%20data_tab%2C%0A%20%20%20%20%20%20%20%20%22Linear%20Methods%22%3A%20linear_methods_tab%2C%0A%20%20%20%20%20%20%20%20%22Kernel%20Methods%22%3A%20kernel_methods_tab%2C%0A%20%20%20%20%20%20%20%20%22Non-linear%20Methods%22%3A%20nonlinear_methods_tab%2C%0A%20%20%20%20%7D)%0A%0A%20%20%20%20controls%20%3D%20method_params_tabs%0A%0A%20%20%20%20mo.Html(f'''%0A%20%20%20%20%3Cdiv%20class%3D%22app-dashboard%22%3E%0A%20%20%20%20%20%20%20%20%7Bcontrols%7D%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20''')%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20N_samples%2C%0A%20%20%20%20%20%20%20%20aleatoric%2C%0A%20%20%20%20%20%20%20%20aleatoric_gp%2C%0A%20%20%20%20%20%20%20%20basis_type_dropdown%2C%0A%20%20%20%20%20%20%20%20function_dropdown%2C%0A%20%20%20%20%20%20%20%20gp_lengthscale_slider%2C%0A%20%20%20%20%20%20%20%20gp_signal_variance_slider%2C%0A%20%20%20%20%20%20%20%20gp_support_radius_slider%2C%0A%20%20%20%20%20%20%20%20seed%2C%0A%20%20%20%20%20%20%20%20sigma%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(metrics_dict%2C%20mo)%3A%0A%20%20%20%20%23%20Generate%20and%20display%20metrics%20table%20in%20an%20accordion%0A%20%20%20%20if%20not%20metrics_dict%3A%0A%20%20%20%20%20%20%20%20metrics_accordion%20%3D%20mo.accordion(%7B%22Performance%20Metrics%22%3A%20mo.md(%22*No%20metrics%20available.%20Enable%20a%20regression%20method.*%22)%7D)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%23%20Compute%20best%2Fworst%20for%20each%20metric%20(for%20coloring)%0A%20%20%20%20%20%20%20%20%23%20Higher%20is%20better%3A%20coverage%2C%20log_likelihood%2C%20loo_log_lik%0A%20%20%20%20%20%20%20%20%23%20Lower%20is%20better%3A%20mse%2C%20crps%2C%20fit_time%0A%20%20%20%20%20%20%20%20all_cov_tc%20%3D%20%5Bm%5B'coverage_train_calib'%5D%20for%20m%20in%20metrics_dict.values()%5D%0A%20%20%20%20%20%20%20%20all_cov_all%20%3D%20%5Bm%5B'coverage_all'%5D%20for%20m%20in%20metrics_dict.values()%5D%0A%20%20%20%20%20%20%20%20all_mse%20%3D%20%5Bm%5B'mse'%5D%20for%20m%20in%20metrics_dict.values()%5D%0A%20%20%20%20%20%20%20%20all_log_lik%20%3D%20%5Bm%5B'log_likelihood'%5D%20for%20m%20in%20metrics_dict.values()%20if%20m%5B'log_likelihood'%5D%20is%20not%20None%5D%0A%20%20%20%20%20%20%20%20all_loo%20%3D%20%5Bm%5B'loo_log_lik'%5D%20for%20m%20in%20metrics_dict.values()%20if%20m%5B'loo_log_lik'%5D%20is%20not%20None%5D%0A%20%20%20%20%20%20%20%20all_crps%20%3D%20%5Bm%5B'crps'%5D%20for%20m%20in%20metrics_dict.values()%5D%0A%20%20%20%20%20%20%20%20all_time%20%3D%20%5Bm%5B'fit_time'%5D%20for%20m%20in%20metrics_dict.values()%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Best%2Fworst%20values%20(handle%20empty%20lists%20for%20optional%20metrics)%0A%20%20%20%20%20%20%20%20best_cov_tc%2C%20worst_cov_tc%20%3D%20max(all_cov_tc)%2C%20min(all_cov_tc)%0A%20%20%20%20%20%20%20%20best_cov_all%2C%20worst_cov_all%20%3D%20max(all_cov_all)%2C%20min(all_cov_all)%0A%20%20%20%20%20%20%20%20best_mse%2C%20worst_mse%20%3D%20min(all_mse)%2C%20max(all_mse)%0A%20%20%20%20%20%20%20%20best_log_lik%20%3D%20max(all_log_lik)%20if%20all_log_lik%20else%20None%0A%20%20%20%20%20%20%20%20worst_log_lik%20%3D%20min(all_log_lik)%20if%20all_log_lik%20else%20None%0A%20%20%20%20%20%20%20%20best_loo%20%3D%20max(all_loo)%20if%20all_loo%20else%20None%0A%20%20%20%20%20%20%20%20worst_loo%20%3D%20min(all_loo)%20if%20all_loo%20else%20None%0A%20%20%20%20%20%20%20%20best_crps%2C%20worst_crps%20%3D%20min(all_crps)%2C%20max(all_crps)%0A%20%20%20%20%20%20%20%20best_time%2C%20worst_time%20%3D%20min(all_time)%2C%20max(all_time)%0A%0A%20%20%20%20%20%20%20%20def%20get_color(val%2C%20best%2C%20worst)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Return%20green%20for%20best%2C%20red%20for%20worst%2C%20black%20otherwise.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20val%20%3D%3D%20best%20and%20val%20!%3D%20worst%3A%20%20%23%20Only%20color%20if%20there's%20a%20difference%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20%22%2328a745%22%20%20%23%20green%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20val%20%3D%3D%20worst%20and%20val%20!%3D%20best%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20%22%23dc3545%22%20%20%23%20red%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22inherit%22%0A%0A%20%20%20%20%20%20%20%20%23%20Create%20table%20rows%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20method_name%2C%20method_metrics%20in%20metrics_dict.items()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20cov_tc%20%3D%20method_metrics%5B'coverage_train_calib'%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20cov_all%20%3D%20method_metrics%5B'coverage_all'%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20mse%20%3D%20method_metrics%5B'mse'%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20log_lik%20%3D%20method_metrics%5B'log_likelihood'%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20loo%20%3D%20method_metrics%5B'loo_log_lik'%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20crps%20%3D%20method_metrics%5B'crps'%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20m_fit_time%20%3D%20method_metrics%5B'fit_time'%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Get%20colors%20for%20each%20metric%0A%20%20%20%20%20%20%20%20%20%20%20%20cov_tc_color%20%3D%20get_color(cov_tc%2C%20best_cov_tc%2C%20worst_cov_tc)%0A%20%20%20%20%20%20%20%20%20%20%20%20cov_all_color%20%3D%20get_color(cov_all%2C%20best_cov_all%2C%20worst_cov_all)%0A%20%20%20%20%20%20%20%20%20%20%20%20mse_color%20%3D%20get_color(mse%2C%20best_mse%2C%20worst_mse)%0A%20%20%20%20%20%20%20%20%20%20%20%20log_lik_color%20%3D%20get_color(log_lik%2C%20best_log_lik%2C%20worst_log_lik)%20if%20log_lik%20is%20not%20None%20else%20%22inherit%22%0A%20%20%20%20%20%20%20%20%20%20%20%20loo_color%20%3D%20get_color(loo%2C%20best_loo%2C%20worst_loo)%20if%20loo%20is%20not%20None%20else%20%22inherit%22%0A%20%20%20%20%20%20%20%20%20%20%20%20crps_color%20%3D%20get_color(crps%2C%20best_crps%2C%20worst_crps)%0A%20%20%20%20%20%20%20%20%20%20%20%20time_color%20%3D%20get_color(m_fit_time%2C%20best_time%2C%20worst_time)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Format%20values%0A%20%20%20%20%20%20%20%20%20%20%20%20log_lik_str%20%3D%20f%22%7Blog_lik%3A.2f%7D%22%20if%20log_lik%20is%20not%20None%20else%20%22-%22%0A%20%20%20%20%20%20%20%20%20%20%20%20loo_str%20%3D%20f%22%7Bloo%3A.2f%7D%22%20if%20loo%20is%20not%20None%20else%20%22-%22%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(f'''%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22text-align%3A%20left%3B%20padding%3A%203px%206px%3B%22%3E%3Cb%3E%7Bmethod_name%7D%3C%2Fb%3E%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22text-align%3A%20center%3B%20padding%3A%203px%206px%3B%20color%3A%20%7Bcov_tc_color%7D%3B%22%3E%7Bcov_tc%3A.1f%7D%25%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22text-align%3A%20center%3B%20padding%3A%203px%206px%3B%20color%3A%20%7Bcov_all_color%7D%3B%22%3E%7Bcov_all%3A.1f%7D%25%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22text-align%3A%20center%3B%20padding%3A%203px%206px%3B%20color%3A%20%7Bmse_color%7D%3B%22%3E%7Bmse%3A.4f%7D%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22text-align%3A%20center%3B%20padding%3A%203px%206px%3B%20color%3A%20%7Blog_lik_color%7D%3B%22%3E%7Blog_lik_str%7D%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22text-align%3A%20center%3B%20padding%3A%203px%206px%3B%20color%3A%20%7Bloo_color%7D%3B%22%3E%7Bloo_str%7D%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22text-align%3A%20center%3B%20padding%3A%203px%206px%3B%20color%3A%20%7Bcrps_color%7D%3B%22%3E%7Bcrps%3A.4f%7D%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22text-align%3A%20center%3B%20padding%3A%203px%206px%3B%20color%3A%20%7Btime_color%7D%3B%22%3E%7Bm_fit_time*1000%3A.1f%7Dms%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Ftr%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20''')%0A%0A%20%20%20%20%20%20%20%20metrics_table%20%3D%20mo.Html(f'''%0A%20%20%20%20%20%20%20%20%3Ctable%20style%3D%22width%3A%20100%25%3B%20border-collapse%3A%20collapse%3B%20font-size%3A%2013px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cthead%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctr%20style%3D%22border-bottom%3A%202px%20solid%20%23dee2e6%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cth%20style%3D%22text-align%3A%20left%3B%20padding%3A%205px%2010px%3B%22%3EMethod%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cth%20style%3D%22text-align%3A%20center%3B%20padding%3A%205px%2010px%3B%22%3ECov%20(t%2Bc)%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cth%20style%3D%22text-align%3A%20center%3B%20padding%3A%205px%2010px%3B%22%3ECov%20(all)%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cth%20style%3D%22text-align%3A%20center%3B%20padding%3A%205px%2010px%3B%22%3EMSE%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cth%20style%3D%22text-align%3A%20center%3B%20padding%3A%205px%2010px%3B%22%3ELog%20Lik%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cth%20style%3D%22text-align%3A%20center%3B%20padding%3A%205px%2010px%3B%22%3ELOO%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cth%20style%3D%22text-align%3A%20center%3B%20padding%3A%205px%2010px%3B%22%3ECRPS%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cth%20style%3D%22text-align%3A%20center%3B%20padding%3A%205px%2010px%3B%22%3EFit%20Time%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Ftr%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fthead%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctbody%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B''.join(rows)%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Ftbody%3E%0A%20%20%20%20%20%20%20%20%3C%2Ftable%3E%0A%20%20%20%20%20%20%20%20''')%0A%20%20%20%20%20%20%20%20metrics_accordion%20%3D%20mo.accordion(%7B%22Performance%20Metrics%22%3A%20metrics_table%7D)%0A%20%20%20%20metrics_accordion%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20bayes_log_ml%2C%0A%20%20%20%20bayesian%2C%0A%20%20%20%20conformal%2C%0A%20%20%20%20gp_log_ml%2C%0A%20%20%20%20gp_optimize_button%2C%0A%20%20%20%20gp_regression%2C%0A%20%20%20%20gp_sparsity%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20n%2C%0A%20%20%20%20opt_message%2C%0A%20%20%20%20qhat%2C%0A)%3A%0A%20%20%20%20%23%20Display%20computed%20outputs%20below%20the%20dashboard%20(only%20values%20not%20in%20sliders)%0A%20%20%20%20output_items%20%3D%20%5B%5D%0A%0A%20%20%20%20if%20bayesian.value%20and%20bayes_log_ml%20!%3D%200.0%3A%0A%20%20%20%20%20%20%20%20output_items.append(f%22Bayesian%20log%20ML%3A%20%7Bbayes_log_ml%3A.1f%7D%22)%0A%0A%20%20%20%20if%20conformal.value%3A%0A%20%20%20%20%20%20%20%20output_items.append(f%22Calibration%20size%20(n)%3A%20%7Bn%7D%22)%0A%20%20%20%20%20%20%20%20output_items.append(f%22Quantile%20(q%CC%82)%3A%20%7Bqhat%3A.2f%7D%22)%0A%0A%20%20%20%20if%20gp_regression.value%3A%0A%20%20%20%20%20%20%20%20%23%20Add%20optimized%20hyperparameters%20if%20available%0A%20%20%20%20%20%20%20%20if%20gp_optimize_button.value%20and%20opt_message%20is%20not%20None%20and%20isinstance(opt_message%2C%20dict)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20'error'%20in%20opt_message%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20output_items.append(f%22Opt%20error%3A%20%7Bopt_message%5B'error'%5D%7D%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Show%20optimized%20log%20ML%20if%20available%2C%20otherwise%20current%20log%20ML%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20log_ml_value%20%3D%20opt_message.get('log_ml'%2C%20gp_log_ml)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20output_items.append(f%22GP%20log%20ML%3A%20%7Blog_ml_value%3A.1f%7D%22)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20opt_message.get('lengthscale')%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20output_items.append(f%22Opt%20lengthscale%3A%20%7Bopt_message%5B'lengthscale'%5D%3A.3f%7D%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20opt_message.get('support_radius')%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20output_items.append(f%22Opt%20support%3A%20%7Bopt_message%5B'support_radius'%5D%3A.3f%7D%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20opt_message.get('noise')%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20output_items.append(f%22Opt%20noise%3A%20%7Bopt_message%5B'noise'%5D%3A.4f%7D%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20opt_message.get('mean_reg')%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20output_items.append(f%22Opt%20mean%20reg%3A%20%7Bopt_message%5B'mean_reg'%5D%3A.4f%7D%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Show%20current%20log%20ML%20when%20not%20optimized%0A%20%20%20%20%20%20%20%20%20%20%20%20output_items.append(f%22GP%20log%20ML%3A%20%7Bgp_log_ml%3A.1f%7D%22)%0A%0A%20%20%20%20%20%20%20%20output_items.append(f%22Sparsity%3A%20%7Bgp_sparsity%3A.1f%7D%25%22)%0A%0A%20%20%20%20%23%20Display%20outputs%0A%20%20%20%20if%20output_items%3A%0A%20%20%20%20%20%20%20%20outputs_text%20%3D%20%22%20%7C%20%22.join(output_items)%0A%20%20%20%20%20%20%20%20output_html%20%3D%20f'''%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22background-color%3A%20%23e8f4f8%3B%20padding%3A%208px%2015px%3B%20border-radius%3A%205px%3B%20margin%3A%200%20auto%2010px%20auto%3B%20max-width%3A%2090%25%3B%20text-align%3A%20center%3B%20font-size%3A%2014px%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cb%3EOutputs%3A%3C%2Fb%3E%20%7Boutputs_text%7D%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20'''%0A%20%20%20%20%20%20%20%20mo.Html(output_html)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20set_last_enabled_method)%3A%0A%20%20%20%20bayesian%20%3D%20mo.ui.checkbox(False%2C%20label%3D%22%3Cb%3EBayesian%20fit%3C%2Fb%3E%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20on_change%3Dlambda%20v%3A%20set_last_enabled_method('linear')%20if%20v%20else%20None)%0A%20%20%20%20conformal%20%3D%20mo.ui.checkbox(False%2C%20label%3D%22%3Cb%3EConformal%20prediction%3C%2Fb%3E%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20on_change%3Dlambda%20v%3A%20set_last_enabled_method('linear')%20if%20v%20else%20None)%0A%20%20%20%20pops%20%3D%20mo.ui.checkbox(False%2C%20label%3D%22%3Cb%3EPOPS%20regression%3C%2Fb%3E%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20on_change%3Dlambda%20v%3A%20set_last_enabled_method('linear')%20if%20v%20else%20None)%0A%20%20%20%20quantile%20%3D%20mo.ui.checkbox(False%2C%20label%3D%22%3Cb%3EQuantile%20regression%3C%2Fb%3E%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20on_change%3Dlambda%20v%3A%20set_last_enabled_method('linear')%20if%20v%20else%20None)%0A%20%20%20%20gp_regression%20%3D%20mo.ui.checkbox(False%2C%20label%3D%22%3Cb%3EGP%20regression%3C%2Fb%3E%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20on_change%3Dlambda%20v%3A%20set_last_enabled_method('gp')%20if%20v%20else%20None)%0A%20%20%20%20neural_network%20%3D%20mo.ui.checkbox(False%2C%20label%3D%22%3Cb%3ENeural%20network%3C%2Fb%3E%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20on_change%3Dlambda%20v%3A%20set_last_enabled_method('nn')%20if%20v%20else%20None)%0A%20%20%20%20gp_use_basis_mean%20%3D%20mo.ui.checkbox(False%2C%20label%3D%22Use%20linear%20basis%20mean%20function%22)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20bayesian%2C%0A%20%20%20%20%20%20%20%20conformal%2C%0A%20%20%20%20%20%20%20%20gp_regression%2C%0A%20%20%20%20%20%20%20%20gp_use_basis_mean%2C%0A%20%20%20%20%20%20%20%20neural_network%2C%0A%20%20%20%20%20%20%20%20pops%2C%0A%20%20%20%20%20%20%20%20quantile%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20Button%20definitions%20-%20isolated%20cell%20with%20no%20state%20dependencies%20to%20prevent%20circular%20loops%0A%20%20%20%20gp_optimize_button%20%3D%20mo.ui.run_button(label%3D%22Optimize%20hyperparameters%22)%0A%20%20%20%20return%20(gp_optimize_button%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20Use%20marimo%20state%20to%20preserve%20all%20slider%20values%0A%20%20%20%20get_N_samples%2C%20set_N_samples%20%3D%20mo.state(500)%0A%20%20%20%20get_sigma%2C%20set_sigma%20%3D%20mo.state(0.1)%0A%20%20%20%20get_seed%2C%20set_seed%20%3D%20mo.state(0)%0A%20%20%20%20get_filter_min%2C%20set_filter_min%20%3D%20mo.state(0.0)%0A%20%20%20%20get_filter_max%2C%20set_filter_max%20%3D%20mo.state(5.0)%0A%20%20%20%20get_filter_invert%2C%20set_filter_invert%20%3D%20mo.state(False)%0A%20%20%20%20get_function_type%2C%20set_function_type%20%3D%20mo.state('sin')%0A%20%20%20%20get_custom_function_code%2C%20set_custom_function_code%20%3D%20mo.state(%0A%20%20%20%20%20%20%20%20%22%23%20Define%20y%20as%20a%20function%20of%20X%20(numpy%20array)%5Cn%22%0A%20%20%20%20%20%20%20%20%22%23%20Available%3A%20np%2C%20scipy%2C%20math%2C%20X%5Cn%22%0A%20%20%20%20%20%20%20%20%22y%20%3D%20np.sin(X)%20%2B%200.1%20*%20X**2%22%0A%20%20%20%20)%0A%20%20%20%20get_P%2C%20set_P%20%3D%20mo.state(10)%0A%20%20%20%20get_basis_type%2C%20set_basis_type%20%3D%20mo.state('polynomial')%0A%20%20%20%20get_basis_lengthscale%2C%20set_basis_lengthscale%20%3D%20mo.state(1.5)%20%20%23%20Default%20matches%20LJ%20ground%20truth%20offset%0A%20%20%20%20get_basis_ls_enabled%2C%20set_basis_ls_enabled%20%3D%20mo.state(False)%20%20%23%20True%20for%20rbf%2Ffourier%0A%20%20%20%20get_custom_basis_code%2C%20set_custom_basis_code%20%3D%20mo.state(%0A%20%20%20%20%20%20%20%20%22%23%20Define%20'features'%20as%202D%20array%20(n_samples%2C%20n_features)%5Cn%22%0A%20%20%20%20%20%20%20%20%22%23%20Available%3A%20np%2C%20scipy%2C%20math%2C%20X%20(shape%20n%2C1)%2C%20P%20(num%20params)%5Cn%22%0A%20%20%20%20%20%20%20%20%22x%20%3D%20X%5B%3A%2C%200%5D%5Cn%22%0A%20%20%20%20%20%20%20%20%22features%20%3D%20np.column_stack(%5Bx**i%20for%20i%20in%20range(P)%5D)%22%0A%20%20%20%20)%0A%20%20%20%20get_calib_frac%2C%20set_calib_frac%20%3D%20mo.state(0.2)%0A%20%20%20%20get_zeta%2C%20set_zeta%20%3D%20mo.state(0.05)%0A%20%20%20%20get_percentile_clipping%2C%20set_percentile_clipping%20%3D%20mo.state(0)%0A%20%20%20%20get_pops_posterior%2C%20set_pops_posterior%20%3D%20mo.state('ensemble')%0A%20%20%20%20get_leverage_percentile%2C%20set_leverage_percentile%20%3D%20mo.state(0.0)%0A%0A%20%20%20%20%23%20GP-specific%20state%0A%20%20%20%20get_gp_kernel_type%2C%20set_gp_kernel_type%20%3D%20mo.state('rbf')%0A%20%20%20%20get_gp_lengthscale%2C%20set_gp_lengthscale%20%3D%20mo.state(0.5)%0A%20%20%20%20get_gp_signal_variance%2C%20set_gp_signal_variance%20%3D%20mo.state(1.0)%0A%20%20%20%20get_gp_support_radius%2C%20set_gp_support_radius%20%3D%20mo.state(1.5)%0A%20%20%20%20%23%20gp_use_basis_mean%20is%20now%20a%20simple%20checkbox%20without%20state%20(created%20in%20analysis%20checkboxes%20cell)%0A%20%20%20%20get_gp_joint_inference%2C%20set_gp_joint_inference%20%3D%20mo.state(False)%0A%20%20%20%20get_gp_mean_regularization%2C%20set_gp_mean_regularization%20%3D%20mo.state(0.1)%0A%20%20%20%20%23%20Custom%20kernel%20code%0A%20%20%20%20get_custom_kernel_code%2C%20set_custom_kernel_code%20%3D%20mo.state(%0A%20%20%20%20%20%20%20%20%22%23%20Define%20K%20as%20a%202D%20kernel%20matrix%20(n1%20x%20n2)%5Cn%22%0A%20%20%20%20%20%20%20%20%22%23%20Available%3A%20np%2C%20scipy%2C%20math%2C%20X1%2C%20X2%2C%20lengthscale%2C%20signal_variance%5Cn%22%0A%20%20%20%20%20%20%20%20%22dists_sq%20%3D%20(X1%5B%3A%2C%20None%5D%20-%20X2%5BNone%2C%20%3A%5D)%20**%202%5Cn%22%0A%20%20%20%20%20%20%20%20%22K%20%3D%20signal_variance%20*%20np.exp(-0.5%20*%20dists_sq%20%2F%20lengthscale**2)%22%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Neural%20network-specific%20state%0A%20%20%20%20get_nn_activation%2C%20set_nn_activation%20%3D%20mo.state('tanh')%0A%20%20%20%20get_nn_ensemble_method%2C%20set_nn_ensemble_method%20%3D%20mo.state('seed')%0A%20%20%20%20get_nn_hidden_units%2C%20set_nn_hidden_units%20%3D%20mo.state(20)%0A%20%20%20%20get_nn_num_layers%2C%20set_nn_num_layers%20%3D%20mo.state(1)%0A%20%20%20%20get_nn_regularization%2C%20set_nn_regularization%20%3D%20mo.state(-3)%20%20%23%20log10%20scale%0A%20%20%20%20get_nn_ensemble_size%2C%20set_nn_ensemble_size%20%3D%20mo.state(5)%0A%0A%20%20%20%20%23%20Quantile%20regression-specific%20state%0A%20%20%20%20get_quantile_confidence%2C%20set_quantile_confidence%20%3D%20mo.state(0.9)%0A%20%20%20%20get_quantile_regularization%2C%20set_quantile_regularization%20%3D%20mo.state(0.01)%0A%0A%20%20%20%20%23%20Button%20click%20count%20tracking%20to%20prevent%20infinite%20loops%0A%20%20%20%20get_bayes_opt_count%2C%20set_bayes_opt_count%20%3D%20mo.state(0)%0A%20%20%20%20get_gp_opt_count%2C%20set_gp_opt_count%20%3D%20mo.state(0)%0A%0A%20%20%20%20%23%20Track%20last%20enabled%20method%20for%20inset%20display%0A%20%20%20%20get_last_enabled_method%2C%20set_last_enabled_method%20%3D%20mo.state('linear')%0A%0A%20%20%20%20%23%20Per-method%20posterior%20samples%20state%0A%20%20%20%20get_show_samples_linear%2C%20set_show_samples_linear%20%3D%20mo.state(False)%0A%20%20%20%20get_n_samples_linear%2C%20set_n_samples_linear%20%3D%20mo.state(10)%0A%0A%20%20%20%20get_show_samples_gp%2C%20set_show_samples_gp%20%3D%20mo.state(False)%0A%20%20%20%20get_n_samples_gp%2C%20set_n_samples_gp%20%3D%20mo.state(10)%0A%0A%20%20%20%20get_show_samples_nn%2C%20set_show_samples_nn%20%3D%20mo.state(False)%0A%20%20%20%20get_n_samples_nn%2C%20set_n_samples_nn%20%3D%20mo.state(10)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20get_N_samples%2C%0A%20%20%20%20%20%20%20%20get_P%2C%0A%20%20%20%20%20%20%20%20get_basis_lengthscale%2C%0A%20%20%20%20%20%20%20%20get_basis_ls_enabled%2C%0A%20%20%20%20%20%20%20%20get_basis_type%2C%0A%20%20%20%20%20%20%20%20get_calib_frac%2C%0A%20%20%20%20%20%20%20%20get_custom_basis_code%2C%0A%20%20%20%20%20%20%20%20get_custom_function_code%2C%0A%20%20%20%20%20%20%20%20get_custom_kernel_code%2C%0A%20%20%20%20%20%20%20%20get_filter_invert%2C%0A%20%20%20%20%20%20%20%20get_filter_max%2C%0A%20%20%20%20%20%20%20%20get_filter_min%2C%0A%20%20%20%20%20%20%20%20get_function_type%2C%0A%20%20%20%20%20%20%20%20get_gp_joint_inference%2C%0A%20%20%20%20%20%20%20%20get_gp_kernel_type%2C%0A%20%20%20%20%20%20%20%20get_gp_lengthscale%2C%0A%20%20%20%20%20%20%20%20get_gp_mean_regularization%2C%0A%20%20%20%20%20%20%20%20get_gp_signal_variance%2C%0A%20%20%20%20%20%20%20%20get_gp_support_radius%2C%0A%20%20%20%20%20%20%20%20get_last_enabled_method%2C%0A%20%20%20%20%20%20%20%20get_leverage_percentile%2C%0A%20%20%20%20%20%20%20%20get_n_samples_gp%2C%0A%20%20%20%20%20%20%20%20get_n_samples_linear%2C%0A%20%20%20%20%20%20%20%20get_n_samples_nn%2C%0A%20%20%20%20%20%20%20%20get_nn_activation%2C%0A%20%20%20%20%20%20%20%20get_nn_ensemble_method%2C%0A%20%20%20%20%20%20%20%20get_nn_ensemble_size%2C%0A%20%20%20%20%20%20%20%20get_nn_hidden_units%2C%0A%20%20%20%20%20%20%20%20get_nn_num_layers%2C%0A%20%20%20%20%20%20%20%20get_nn_regularization%2C%0A%20%20%20%20%20%20%20%20get_percentile_clipping%2C%0A%20%20%20%20%20%20%20%20get_pops_posterior%2C%0A%20%20%20%20%20%20%20%20get_quantile_confidence%2C%0A%20%20%20%20%20%20%20%20get_quantile_regularization%2C%0A%20%20%20%20%20%20%20%20get_seed%2C%0A%20%20%20%20%20%20%20%20get_show_samples_gp%2C%0A%20%20%20%20%20%20%20%20get_show_samples_linear%2C%0A%20%20%20%20%20%20%20%20get_show_samples_nn%2C%0A%20%20%20%20%20%20%20%20get_sigma%2C%0A%20%20%20%20%20%20%20%20get_zeta%2C%0A%20%20%20%20%20%20%20%20set_N_samples%2C%0A%20%20%20%20%20%20%20%20set_P%2C%0A%20%20%20%20%20%20%20%20set_basis_lengthscale%2C%0A%20%20%20%20%20%20%20%20set_basis_ls_enabled%2C%0A%20%20%20%20%20%20%20%20set_basis_type%2C%0A%20%20%20%20%20%20%20%20set_calib_frac%2C%0A%20%20%20%20%20%20%20%20set_custom_basis_code%2C%0A%20%20%20%20%20%20%20%20set_custom_function_code%2C%0A%20%20%20%20%20%20%20%20set_custom_kernel_code%2C%0A%20%20%20%20%20%20%20%20set_filter_invert%2C%0A%20%20%20%20%20%20%20%20set_filter_max%2C%0A%20%20%20%20%20%20%20%20set_filter_min%2C%0A%20%20%20%20%20%20%20%20set_function_type%2C%0A%20%20%20%20%20%20%20%20set_gp_joint_inference%2C%0A%20%20%20%20%20%20%20%20set_gp_kernel_type%2C%0A%20%20%20%20%20%20%20%20set_gp_lengthscale%2C%0A%20%20%20%20%20%20%20%20set_gp_mean_regularization%2C%0A%20%20%20%20%20%20%20%20set_gp_signal_variance%2C%0A%20%20%20%20%20%20%20%20set_gp_support_radius%2C%0A%20%20%20%20%20%20%20%20set_last_enabled_method%2C%0A%20%20%20%20%20%20%20%20set_leverage_percentile%2C%0A%20%20%20%20%20%20%20%20set_n_samples_gp%2C%0A%20%20%20%20%20%20%20%20set_n_samples_linear%2C%0A%20%20%20%20%20%20%20%20set_n_samples_nn%2C%0A%20%20%20%20%20%20%20%20set_nn_activation%2C%0A%20%20%20%20%20%20%20%20set_nn_ensemble_method%2C%0A%20%20%20%20%20%20%20%20set_nn_ensemble_size%2C%0A%20%20%20%20%20%20%20%20set_nn_hidden_units%2C%0A%20%20%20%20%20%20%20%20set_nn_num_layers%2C%0A%20%20%20%20%20%20%20%20set_nn_regularization%2C%0A%20%20%20%20%20%20%20%20set_percentile_clipping%2C%0A%20%20%20%20%20%20%20%20set_pops_posterior%2C%0A%20%20%20%20%20%20%20%20set_quantile_confidence%2C%0A%20%20%20%20%20%20%20%20set_quantile_regularization%2C%0A%20%20%20%20%20%20%20%20set_seed%2C%0A%20%20%20%20%20%20%20%20set_show_samples_gp%2C%0A%20%20%20%20%20%20%20%20set_show_samples_linear%2C%0A%20%20%20%20%20%20%20%20set_show_samples_nn%2C%0A%20%20%20%20%20%20%20%20set_sigma%2C%0A%20%20%20%20%20%20%20%20set_zeta%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20N_samples%2C%0A%20%20%20%20PolynomialFeatures%2C%0A%20%20%20%20g%2C%0A%20%20%20%20get_P%2C%0A%20%20%20%20get_basis_lengthscale%2C%0A%20%20%20%20get_basis_type%2C%0A%20%20%20%20get_custom_basis_code%2C%0A%20%20%20%20get_custom_function_code%2C%0A%20%20%20%20get_custom_kernel_code%2C%0A%20%20%20%20get_filter_max%2C%0A%20%20%20%20get_filter_min%2C%0A%20%20%20%20get_function_type%2C%0A%20%20%20%20get_gp_kernel_type%2C%0A%20%20%20%20gp_lengthscale_slider%2C%0A%20%20%20%20gp_optimize_button%2C%0A%20%20%20%20gp_signal_variance_slider%2C%0A%20%20%20%20gp_support_radius_slider%2C%0A%20%20%20%20gp_use_basis_mean%2C%0A%20%20%20%20make_custom_features%2C%0A%20%20%20%20make_fourier_features%2C%0A%20%20%20%20make_lj_features%2C%0A%20%20%20%20make_rbf_features%2C%0A%20%20%20%20np%2C%0A%20%20%20%20optimize_gp_hyperparameters%2C%0A%20%20%20%20seed%2C%0A%20%20%20%20set_gp_lengthscale%2C%0A%20%20%20%20set_gp_mean_regularization%2C%0A%20%20%20%20set_gp_signal_variance%2C%0A%20%20%20%20set_gp_support_radius%2C%0A%20%20%20%20sigma%2C%0A)%3A%0A%20%20%20%20%23%20Perform%20GP%20optimization%20when%20button%20is%20clicked%0A%20%20%20%20%23%20Only%20run%20if%20button%20clicked%20AND%20GP%20sliders%20are%20available%20(GP%20regression%20enabled)%0A%20%20%20%20opt_message%20%3D%20None%0A%0A%20%20%20%20if%20gp_optimize_button.value%20and%20gp_lengthscale_slider%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%23%20Regenerate%20training%20data%20(use%20_%20prefix%20to%20avoid%20variable%20redefinition)%0A%20%20%20%20%20%20%20%20np.random.seed(seed.value)%0A%20%20%20%20%20%20%20%20_x_train%20%3D%20np.append(np.random.uniform(-10%2C%2010%2C%20size%3DN_samples.value)%2C%20np.linspace(-10%2C%2010%2C%202))%0A%20%20%20%20%20%20%20%20_x_train%20%3D%20_x_train%5B(_x_train%20%3C%20get_filter_min())%20%7C%20(_x_train%20%3E%20get_filter_max())%5D%0A%20%20%20%20%20%20%20%20_x_train%20%3D%20np.sort(_x_train)%0A%20%20%20%20%20%20%20%20_func_type%20%3D%20get_function_type()%0A%20%20%20%20%20%20%20%20_custom_code%20%3D%20get_custom_function_code()%20if%20_func_type%20%3D%3D%20'custom'%20else%20None%0A%20%20%20%20%20%20%20%20_y_train%20%3D%20g(_x_train%2C%20noise_variance%3Dsigma.value**2%2C%20function_type%3D_func_type%2C%20custom_code%3D_custom_code)%0A%0A%20%20%20%20%20%20%20%20%23%20Set%20initial%20parameters%20-%20read%20from%20sliders%2C%20NOT%20state%20getters%20(avoids%20circular%20dependency)%0A%20%20%20%20%20%20%20%20initial_params%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20'lengthscale'%3A%20gp_lengthscale_slider.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'signal_variance'%3A%20gp_signal_variance_slider.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'support_radius'%3A%20gp_support_radius_slider.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'degree'%3A%20get_P()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'sigma'%3A%200.1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'noise'%3A%20sigma.value**2%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20%20%20%23%20Get%20basis%20mean%20settings%0A%20%20%20%20%20%20%20%20_use_basis_mean%20%3D%20gp_use_basis_mean.value%0A%20%20%20%20%20%20%20%20%23%20Use%20default%20values%20to%20avoid%20circular%20dependency%20(cell%20modifies%20set_gp_mean_regularization)%0A%20%20%20%20%20%20%20%20_joint_inference%20%3D%20False%20%20%23%20Default%3A%20False%0A%20%20%20%20%20%20%20%20%23%20Use%20default%20initial%20value%20for%20mean%20regularization%20(will%20be%20optimized)%0A%20%20%20%20%20%20%20%20_mean_reg%20%3D%200.1%0A%0A%20%20%20%20%20%20%20%20%23%20Create%20basis%20features%20if%20using%20basis%20mean%20(use%20shared%20make_*_features%20functions)%0A%20%20%20%20%20%20%20%20_Phi_train%20%3D%20None%0A%20%20%20%20%20%20%20%20if%20_use_basis_mean%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_X_train%20%3D%20_x_train.reshape(-1%2C%201)%20%20%23%20Functions%20expect%202D%20array%0A%20%20%20%20%20%20%20%20%20%20%20%20_x_min%2C%20_x_max%20%3D%20_x_train.min()%2C%20_x_train.max()%0A%20%20%20%20%20%20%20%20%20%20%20%20_P%20%3D%20get_P()%0A%20%20%20%20%20%20%20%20%20%20%20%20_basis_type%20%3D%20get_basis_type()%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_basis_type%20%3D%3D%20'polynomial'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_poly%20%3D%20PolynomialFeatures(degree%3D_P-1%2C%20include_bias%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_Phi_train%20%3D%20_poly.fit_transform(_X_train)%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20_basis_type%20%3D%3D%20'rbf'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_Phi_train%2C%20_%2C%20_%20%3D%20make_rbf_features(_X_train%2C%20_P%2C%20_x_min%2C%20_x_max%2C%20get_basis_lengthscale())%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20_basis_type%20%3D%3D%20'fourier'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_Phi_train%2C%20_%20%3D%20make_fourier_features(_X_train%2C%20_P%2C%20_x_min%2C%20_x_max%2C%20get_basis_lengthscale())%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20_basis_type%20%3D%3D%20'lj'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_Phi_train%2C%20_%20%3D%20make_lj_features(_X_train%2C%20_P%2C%20_x_min%2C%20_x_max)%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20_basis_type%20%3D%3D%20'custom'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_Phi_train%2C%20_%20%3D%20make_custom_features(_X_train%2C%20_P%2C%20get_custom_basis_code())%0A%0A%20%20%20%20%20%20%20%20%23%20Optimize%0A%20%20%20%20%20%20%20%20opt_lengthscale%20%3D%20None%20%20%23%20Initialize%20variables%20used%20in%20output%20formatting%0A%20%20%20%20%20%20%20%20opt_signal_variance%20%3D%20None%0A%20%20%20%20%20%20%20%20opt_support%20%3D%20None%0A%20%20%20%20%20%20%20%20opt_mean_reg%20%3D%20None%0A%20%20%20%20%20%20%20%20opt_noise%20%3D%20None%0A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_kernel_type%20%3D%20get_gp_kernel_type()%0A%20%20%20%20%20%20%20%20%20%20%20%20_custom_kernel_code%20%3D%20get_custom_kernel_code()%20if%20_kernel_type%20%3D%3D%20'custom'%20else%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20optimized_params%2C%20log_ml%20%3D%20optimize_gp_hyperparameters(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_x_train%2C%20_y_train%2C%20_kernel_type%2C%20initial_params%2C%20max_iter%3D50%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20use_basis_mean%3D_use_basis_mean%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Phi_train%3D_Phi_train%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20joint_inference%3D_joint_inference%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mean_regularization_strength%3D_mean_reg%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20custom_code%3D_custom_kernel_code%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Update%20sliders%20with%20optimized%20values%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20'lengthscale'%20in%20optimized_params%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Clamp%20to%20slider%20bounds%20%5B0.1%2C%205.0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20opt_lengthscale%20%3D%20np.clip(optimized_params%5B'lengthscale'%5D%2C%200.1%2C%205.0)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20set_gp_lengthscale(float(opt_lengthscale))%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20'signal_variance'%20in%20optimized_params%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Clamp%20to%20slider%20bounds%20%5B0.1%2C%205.0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20opt_signal_variance%20%3D%20np.clip(optimized_params%5B'signal_variance'%5D%2C%200.1%2C%205.0)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20set_gp_signal_variance(float(opt_signal_variance))%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20'support_radius'%20in%20optimized_params%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Clamp%20to%20slider%20bounds%20%5B0.5%2C%205.0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20opt_support%20%3D%20np.clip(optimized_params%5B'support_radius'%5D%2C%200.5%2C%205.0)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20set_gp_support_radius(float(opt_support))%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20'mean_regularization'%20in%20optimized_params%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Clamp%20to%20valid%20range%20%5B10%5E-6%2C%2010%5E1%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20opt_mean_reg%20%3D%20np.clip(optimized_params%5B'mean_regularization'%5D%2C%201e-6%2C%2010.0)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20set_gp_mean_regularization(float(opt_mean_reg))%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20'noise'%20in%20optimized_params%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20opt_noise%20%3D%20optimized_params%5B'noise'%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Store%20optimized%20parameters%20for%20display%20in%20output%20cell%0A%20%20%20%20%20%20%20%20%20%20%20%20opt_message%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'lengthscale'%3A%20float(opt_lengthscale)%20if%20opt_lengthscale%20is%20not%20None%20else%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'signal_variance'%3A%20float(opt_signal_variance)%20if%20opt_signal_variance%20is%20not%20None%20else%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'support_radius'%3A%20float(opt_support)%20if%20opt_support%20is%20not%20None%20else%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'mean_reg'%3A%20float(opt_mean_reg)%20if%20opt_mean_reg%20is%20not%20None%20else%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'noise'%3A%20float(opt_noise)%20if%20opt_noise%20is%20not%20None%20else%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'log_ml'%3A%20float(log_ml)%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20except%20Exception%20as%20e%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20opt_message%20%3D%20%7B'error'%3A%20str(e)%7D%0A%20%20%20%20return%20(opt_message%2C)%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A