06 pooled vs separate

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.13%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22altair%22%2C%0A%23%20%20%20%20%20%22asimpy%22%2C%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22polars%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.20.4%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20random%0A%20%20%20%20import%20statistics%0A%0A%20%20%20%20import%20altair%20as%20alt%0A%20%20%20%20import%20polars%20as%20pl%0A%0A%20%20%20%20from%20asimpy%20import%20Environment%2C%20Process%2C%20Resource%0A%0A%20%20%20%20return%20Environment%2C%20Process%2C%20Resource%2C%20alt%2C%20mo%2C%20pl%2C%20random%2C%20statistics%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Pooled%20vs.%20Separate%20Queues%0A%0A%20%20%20%20%23%23%20*Why%20Airports%20Switched%20to%20Single%20Lines*%0A%0A%20%20%20%20A%20facility%20has%20two%20identical%20servers.%20Customers%20arrive%20as%20a%20Poisson%20process%20and%20each%20needs%20one%20server%20for%20an%20exponentially%20distributed%20service%20time.%20Which%20queueing%20discipline%20should%20the%20facility%20use%3F%0A%0A%20%20%20%20-%20Separate%20queues%3A%20each%20server%20has%20its%20own%20dedicated%20line%3B%20customers%20randomly%20pick%20a%20line%20on%20arrival%20and%20cannot%20switch.%0A%20%20%20%20-%20Pooled%20queue%3A%20a%20single%20shared%20line%20feeds%20whichever%20server%20becomes%20free%20first.%0A%0A%20%20%20%20It%20turns%20out%20that%20pooling%20the%20queues%20is%20always%20better%2C%20even%20though%20both%20systems%20have%20identical%20total%20arrival%20rate%2C%20identical%20per-server%20service%20rate%2C%20and%20identical%20utilization%20%24%5Crho%24.%20The%20pooled%20system%20consistently%20produces%20shorter%20mean%20wait%20times%2C%20often%20by%20a%20factor%20of%20two%20or%20more%20at%20moderate%20utilization.%20The%20reason%20is%20that%20separate%20queues%20waste%20servers'%20idle%20time.%20In%20separate%20queues%2C%20one%20server%20may%20be%20idle%20while%20customers%20wait%20in%20the%20other%20line.%20Pooling%20eliminates%20this%20mismatch%3A%20a%20free%20server%20always%20serves%20the%20next%20waiting%20customer.%0A%0A%20%20%20%20%23%23%23%20Why%20Separate%20Queues%20Persist%0A%0A%20%20%20%20Despite%20being%20provably%20worse%2C%20separate%20queues%20feel%20fairer%20because%20customers%20can%20see%20their%20progress.%20Single%20lines%20eliminate%20the%20anxiety%20of%20watching%20the%20other%20queue%20move%20faster%2C%20but%20historically%20customers%20resisted%20them%20until%20airlines%20and%20banks%20demonstrated%20the%20improvement%20empirically%20in%20the%201960s%E2%80%9370s.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Implementation%0A%0A%20%20%20%20This%20tutorial%20explores%20this%20finding%20using%20two%20simulations%20run%20with%20identical%20random%20seeds%3A%0A%0A%20%20%20%201.%20Pooled%3A%20%60Resource(capacity%3D2)%60%20with%20one%20arrival%20stream.%20The%20resource%20grants%20access%20to%20whichever%20capacity%20slot%20is%20free.%0A%20%20%20%202.%20Separate%3A%20two%20%60Resource(capacity%3D1)%60%20instances.%20Arrivals%20call%20%60random.choice%60%20to%20pick%20a%20server%20and%20cannot%20switch%20even%20if%20it%20is%20slower.%0A%0A%20%20%20%20The%20mean%20sojourn%20time%20is%20collected%20across%20a%20sweep%20of%20utilization%20levels%20%24%5Crho%24.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20sim_time_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0%2C%0A%20%20%20%20%20%20%20%20stop%3D100_000%2C%0A%20%20%20%20%20%20%20%20step%3D1_000%2C%0A%20%20%20%20%20%20%20%20value%3D20_000%2C%0A%20%20%20%20%20%20%20%20label%3D%22Simulation%20time%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20arrival_rate_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.5%2C%0A%20%20%20%20%20%20%20%20stop%3D1.9%2C%0A%20%20%20%20%20%20%20%20step%3D0.05%2C%0A%20%20%20%20%20%20%20%20value%3D1.8%2C%0A%20%20%20%20%20%20%20%20label%3D%22Arrival%20rate%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20seed_input%20%3D%20mo.ui.number(%0A%20%20%20%20%20%20%20%20value%3D192%2C%0A%20%20%20%20%20%20%20%20step%3D1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Random%20seed%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20run_button%20%3D%20mo.ui.button(label%3D%22Run%20simulation%22)%0A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20sim_time_slider%2C%0A%20%20%20%20%20%20%20%20arrival_rate_slider%2C%0A%20%20%20%20%20%20%20%20seed_input%2C%0A%20%20%20%20%20%20%20%20run_button%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%20arrival_rate_slider%2C%20seed_input%2C%20sim_time_slider%0A%0A%0A%40app.cell%0Adef%20_(arrival_rate_slider%2C%20seed_input%2C%20sim_time_slider)%3A%0A%20%20%20%20SIM_TIME%20%3D%20int(sim_time_slider.value)%0A%20%20%20%20ARRIVAL_RATE%20%3D%20float(arrival_rate_slider.value)%0A%20%20%20%20SEED%20%3D%20int(seed_input.value)%0A%20%20%20%20SERVICE_RATE%20%3D%201.0%0A%20%20%20%20N_SERVERS%20%3D%202%0A%20%20%20%20RHO%20%3D%20ARRIVAL_RATE%20%2F%20(N_SERVERS%20*%20SERVICE_RATE)%0A%20%20%20%20return%20ARRIVAL_RATE%2C%20N_SERVERS%2C%20RHO%2C%20SEED%2C%20SERVICE_RATE%2C%20SIM_TIME%0A%0A%0A%40app.cell%0Adef%20_(Process%2C%20SERVICE_RATE%2C%20random)%3A%0A%20%20%20%20class%20Customer(Process)%3A%0A%20%20%20%20%20%20%20%20def%20init(self%2C%20server%2C%20sojourn_times)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20self.server%20%3D%20server%0A%20%20%20%20%20%20%20%20%20%20%20%20self.sojourn_times%20%3D%20sojourn_times%0A%0A%20%20%20%20%20%20%20%20async%20def%20run(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20arrival%20%3D%20self.now%0A%20%20%20%20%20%20%20%20%20%20%20%20async%20with%20self.server%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20await%20self.timeout(random.expovariate(SERVICE_RATE))%0A%20%20%20%20%20%20%20%20%20%20%20%20self.sojourn_times.append(self.now%20-%20arrival)%0A%0A%20%20%20%20return%20(Customer%2C)%0A%0A%0A%40app.cell%0Adef%20_(Customer%2C%20Process%2C%20random)%3A%0A%20%20%20%20class%20PooledArrivals(Process)%3A%0A%20%20%20%20%20%20%20%20def%20init(self%2C%20arrival_rate%2C%20server%2C%20sojourn_times)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20self.arrival_rate%20%3D%20arrival_rate%0A%20%20%20%20%20%20%20%20%20%20%20%20self.server%20%3D%20server%0A%20%20%20%20%20%20%20%20%20%20%20%20self.sojourn_times%20%3D%20sojourn_times%0A%0A%20%20%20%20%20%20%20%20async%20def%20run(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20while%20True%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20await%20self.timeout(random.expovariate(self.arrival_rate))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Customer(self._env%2C%20self.server%2C%20self.sojourn_times)%0A%0A%20%20%20%20return%20(PooledArrivals%2C)%0A%0A%0A%40app.cell%0Adef%20_(Customer%2C%20Process%2C%20random)%3A%0A%20%20%20%20class%20SeparateArrivals(Process)%3A%0A%20%20%20%20%20%20%20%20def%20init(self%2C%20arrival_rate%2C%20servers%2C%20sojourn_times)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20self.arrival_rate%20%3D%20arrival_rate%0A%20%20%20%20%20%20%20%20%20%20%20%20self.servers%20%3D%20servers%0A%20%20%20%20%20%20%20%20%20%20%20%20self.sojourn_times%20%3D%20sojourn_times%0A%0A%20%20%20%20%20%20%20%20async%20def%20run(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20while%20True%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20await%20self.timeout(random.expovariate(self.arrival_rate))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20server%20%3D%20random.choice(self.servers)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Customer(self._env%2C%20server%2C%20self.sojourn_times)%0A%0A%20%20%20%20return%20(SeparateArrivals%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20ARRIVAL_RATE%2C%0A%20%20%20%20Environment%2C%0A%20%20%20%20N_SERVERS%2C%0A%20%20%20%20PooledArrivals%2C%0A%20%20%20%20Resource%2C%0A%20%20%20%20SEED%2C%0A%20%20%20%20SIM_TIME%2C%0A%20%20%20%20random%2C%0A%20%20%20%20statistics%2C%0A)%3A%0A%20%20%20%20def%20run_pooled(arrival_rate%3DARRIVAL_RATE)%3A%0A%20%20%20%20%20%20%20%20random.seed(SEED)%0A%20%20%20%20%20%20%20%20sojourn_times%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20env%20%3D%20Environment()%0A%20%20%20%20%20%20%20%20shared_server%20%3D%20Resource(env%2C%20capacity%3DN_SERVERS)%0A%20%20%20%20%20%20%20%20PooledArrivals(env%2C%20arrival_rate%2C%20shared_server%2C%20sojourn_times)%0A%20%20%20%20%20%20%20%20env.run(until%3DSIM_TIME)%0A%20%20%20%20%20%20%20%20return%20statistics.mean(sojourn_times)%0A%0A%20%20%20%20return%20(run_pooled%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20ARRIVAL_RATE%2C%0A%20%20%20%20Environment%2C%0A%20%20%20%20N_SERVERS%2C%0A%20%20%20%20Resource%2C%0A%20%20%20%20SEED%2C%0A%20%20%20%20SIM_TIME%2C%0A%20%20%20%20SeparateArrivals%2C%0A%20%20%20%20random%2C%0A%20%20%20%20statistics%2C%0A)%3A%0A%20%20%20%20def%20run_separate(arrival_rate%3DARRIVAL_RATE)%3A%0A%20%20%20%20%20%20%20%20random.seed(SEED)%0A%20%20%20%20%20%20%20%20sojourn_times%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20env%20%3D%20Environment()%0A%20%20%20%20%20%20%20%20servers%20%3D%20%5BResource(env%2C%20capacity%3D1)%20for%20_%20in%20range(N_SERVERS)%5D%0A%20%20%20%20%20%20%20%20SeparateArrivals(env%2C%20arrival_rate%2C%20servers%2C%20sojourn_times)%0A%20%20%20%20%20%20%20%20env.run(until%3DSIM_TIME)%0A%20%20%20%20%20%20%20%20return%20statistics.mean(sojourn_times)%0A%0A%20%20%20%20return%20(run_separate%2C)%0A%0A%0A%40app.cell%0Adef%20_(ARRIVAL_RATE%2C%20N_SERVERS%2C%20SERVICE_RATE%2C%20pl%2C%20run_pooled%2C%20run_separate)%3A%0A%20%20%20%20def%20sweep()%3A%0A%20%20%20%20%20%20%20%20sweep_rows%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20rho%20in%20%5B0.5%2C%200.6%2C%200.7%2C%200.8%2C%200.9%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20rate%20%3D%20rho%20*%20N_SERVERS%20*%20SERVICE_RATE%0A%20%20%20%20%20%20%20%20%20%20%20%20pw%20%3D%20run_pooled(arrival_rate%3Drate)%0A%20%20%20%20%20%20%20%20%20%20%20%20sw%20%3D%20run_separate(arrival_rate%3Drate)%0A%20%20%20%20%20%20%20%20%20%20%20%20sweep_rows.append(%7B%22rho%22%3A%20rho%2C%20%22pooled_W%22%3A%20pw%2C%20%22separate_W%22%3A%20sw%2C%20%22ratio%22%3A%20sw%20%2F%20pw%7D)%0A%20%20%20%20%20%20%20%20return%20pl.DataFrame(sweep_rows)%0A%0A%20%20%20%20df_sweep%20%3D%20sweep()%0A%20%20%20%20pooled_W%20%3D%20run_pooled(arrival_rate%3DARRIVAL_RATE)%0A%20%20%20%20separate_W%20%3D%20run_separate(arrival_rate%3DARRIVAL_RATE)%0A%20%20%20%20return%20df_sweep%2C%20pooled_W%2C%20separate_W%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(N_SERVERS%2C%20RHO%2C%20SERVICE_RATE%2C%20mo%2C%20pooled_W%2C%20separate_W)%3A%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20%23%23%20Results%0A%0A%20%20%20%20%7BN_SERVERS%7D%20servers%2C%20service%20rate%20%7BSERVICE_RATE%7D%2C%20utilisation%20%CF%81%20%3D%20%7BRHO%3A.2f%7D%0A%0A%20%20%20%20At%20%CF%81%20%3D%20%7BRHO%3A.2f%7D%3A%20pooled%20W%20%3D%20%7Bpooled_W%3A.3f%7D%2C%20separate%20W%20%3D%20%7Bseparate_W%3A.3f%7D%0A%20%20%20%20%E2%80%94%20separate%20queues%20are%20**%7Bseparate_W%20%2F%20pooled_W%3A.2f%7D%C3%97**%20slower%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df_sweep)%3A%0A%20%20%20%20df_sweep%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20df_sweep)%3A%0A%20%20%20%20df_plot%20%3D%20df_sweep.unpivot(%0A%20%20%20%20%20%20%20%20on%3D%5B%22pooled_W%22%2C%20%22separate_W%22%5D%2C%20index%3D%22rho%22%2C%20variable_name%3D%22system%22%2C%20value_name%3D%22W%22%0A%20%20%20%20)%0A%20%20%20%20chart%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(df_plot)%0A%20%20%20%20%20%20%20%20.mark_line(point%3DTrue)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22rho%3AQ%22%2C%20title%3D%22Utilization%20per%20server%20(%CF%81)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22W%3AQ%22%2C%20title%3D%22Mean%20sojourn%20time%20(W)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%22system%3AN%22%2C%20title%3D%22Queue%20type%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%22rho%3AQ%22%2C%20%22system%3AN%22%2C%20%22W%3AQ%22%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(title%3D%22Pooled%20vs.%20Separate%20Queues%3A%20Mean%20Sojourn%20Time%22)%0A%20%20%20%20)%0A%20%20%20%20chart%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Understanding%20the%20Math%0A%0A%20%20%20%20%23%23%23%20Why%20pooling%20always%20wins%0A%0A%20%20%20%20Two%20separate%20M%2FM%2F1%20queues%20each%20running%20at%20utilization%20%24%5Crho%24%20have%20mean%20sojourn%20time%20%24W_%7B%5Ctext%7Bsep%7D%7D%20%3D%201%2F(%5Cmu(1-%5Crho))%24.%20A%20pooled%20M%2FM%2F2%20queue%20with%20the%20same%20total%20arrival%20rate%20has%20strictly%20lower%20mean%20sojourn%20time%20for%20every%20value%20of%20%240%20%3C%20%5Crho%20%3C%201%24.%20The%20proof%20uses%20the%20%5BErlang-C%20formula%5D(https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FErlang_(unit)%23Erlang_C_formula)%2C%20but%20the%20intuition%20is%20simpler%3A%20pooling%20converts%20two%20independent%20random%20processes%20into%20one%2C%20and%20the%20combined%20queue%20can%20exploit%20any%20idle%20capacity%20instantly.%20At%20%24%5Crho%20%3D%200.8%24%2C%20separate%20queues%20give%20roughly%20twice%20the%20mean%20wait%20of%20a%20pooled%20queue.%0A%0A%20%20%20%20%23%23%23%20Connection%20to%20variance%20reduction%0A%0A%20%20%20%20Think%20of%20the%20service%20delivered%20in%20a%20time%20window%20by%20two%20separate%20servers%20as%20two%20independent%20random%20variables%20%24X_1%24%20and%20%24X_2%24.%20Their%20average%20%24(X_1%20%2B%20X_2)%2F2%24%20has%20variance%20%24%5Csigma%5E2%2F2%24%2C%20which%20is%20half%20the%20variance%20of%20either%20component%20alone.%20Pooling%20achieves%20something%20similar%3A%20by%20combining%20demand%20into%20one%20stream%20served%20by%20both%20servers%2C%20the%20system%20smooths%20out%20random%20fluctuations.%20The%20pooled%20queue%20is%2C%20in%20effect%2C%20averaging%20over%20both%20servers'%20idle%20periods%20instead%20of%20locking%20each%20idle%20period%20to%20a%20single%20lane.%0A%0A%20%20%20%20%23%23%23%20Rule%20of%20thumb%0A%0A%20%20%20%20At%20%24%5Crho%20%3D%200.8%24%2C%20separate%20queues%20produce%20roughly%20double%20the%20mean%20wait%20of%20a%20pooled%20queue.%20This%20factor%20grows%20as%20%24%5Crho%24%20increases%2C%20because%20the%20%24(1-%5Crho)%24%20term%20in%20the%20denominator%20amplifies%20any%20wasted%20capacity.%20The%20lesson%3A%20whenever%20you%20can%20route%20demand%20flexibly%20to%20a%20shared%20resource%2C%20do%20it.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A