03 data transformation

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22altair%3D%3D6.0.0%22%2C%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22pandas%3D%3D3.0.1%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.21.1%22%0Aapp%20%3D%20marimo.App()%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Data%20Transformation%0A%0A%20%20%20%20In%20previous%20notebooks%20we%20learned%20how%20to%20use%20marks%20and%20visual%20encodings%20to%20represent%20individual%20data%20records.%20Here%20we%20will%20explore%20methods%20for%20*transforming*%20data%2C%20including%20the%20use%20of%20aggregates%20to%20summarize%20multiple%20records.%20Data%20transformation%20is%20an%20integral%20part%20of%20visualization%3A%20choosing%20the%20%20variables%20to%20show%20and%20their%20level%20of%20detail%20is%20just%20as%20important%20as%20choosing%20appropriate%20visual%20encodings.%20After%20all%2C%20it%20doesn't%20matter%20how%20well%20chosen%20your%20visual%20encodings%20are%20if%20you%20are%20showing%20the%20wrong%20information!%0A%0A%20%20%20%20As%20you%20work%20through%20this%20module%2C%20we%20recommend%20that%20you%20open%20the%20%5BAltair%20Data%20Transformations%20documentation%5D(https%3A%2F%2Faltair-viz.github.io%2Fuser_guide%2Ftransform%2F)%20in%20another%20tab.%20It%20will%20be%20a%20useful%20resource%20if%20at%20any%20point%20you'd%20like%20more%20details%20or%20want%20to%20see%20what%20other%20transformations%20are%20available.%0A%0A%20%20%20%20_This%20notebook%20is%20part%20of%20the%20%5Bdata%20visualization%20curriculum%5D(https%3A%2F%2Fgithub.com%2Fuwdata%2Fvisualization-curriculum)._%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20import%20altair%20as%20alt%0A%0A%20%20%20%20return%20alt%2C%20pd%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20The%20Movies%20Dataset%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20We%20will%20be%20working%20with%20a%20table%20of%20data%20about%20motion%20pictures%2C%20taken%20from%20the%20%5Bvega-datasets%5D(https%3A%2F%2Fvega.github.io%2Fvega-datasets%2F)%20collection.%20The%20data%20includes%20variables%20such%20as%20the%20film%20name%2C%20director%2C%20genre%2C%20release%20date%2C%20ratings%2C%20and%20gross%20revenues.%20However%2C%20_be%20careful%20when%20working%20with%20this%20data_%3A%20the%20films%20are%20from%20unevenly%20sampled%20years%2C%20using%20data%20combined%20from%20multiple%20sources.%20If%20you%20dig%20in%20you%20will%20find%20issues%20with%20missing%20values%20and%20even%20some%20subtle%20errors!%20Nevertheless%2C%20the%20data%20should%20prove%20interesting%20to%20explore...%0A%0A%20%20%20%20Let's%20retrieve%20the%20URL%20for%20the%20JSON%20data%20file%20from%20the%20vega_datasets%20package%2C%20and%20then%20read%20the%20data%20into%20a%20Pandas%20data%20frame%20so%20that%20we%20can%20inspect%20its%20contents.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pd)%3A%0A%20%20%20%20movies_url%20%3D%20'https%3A%2F%2Fcdn.jsdelivr.net%2Fnpm%2Fvega-datasets%401%2Fdata%2Fmovies.json'%0A%20%20%20%20movies%20%3D%20pd.read_json(movies_url)%0A%20%20%20%20return%20movies%2C%20movies_url%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20How%20many%20rows%20(records)%20and%20columns%20(fields)%20are%20in%20the%20movies%20dataset%3F%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(movies)%3A%0A%20%20%20%20movies.shape%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Now%20let's%20peek%20at%20the%20first%205%20rows%20of%20the%20table%20to%20get%20a%20sense%20of%20the%20fields%20and%20data%20types...%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(movies)%3A%0A%20%20%20%20movies.head(5)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Histograms%0A%0A%20%20%20%20We'll%20start%20our%20transformation%20tour%20by%20_binning_%20data%20into%20discrete%20groups%20and%20_counting_%20records%20to%20summarize%20those%20groups.%20The%20resulting%20plots%20are%20known%20as%20%5B_histograms_%5D(https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FHistogram).%0A%0A%20%20%20%20Let's%20first%20look%20at%20unaggregated%20data%3A%20a%20scatter%20plot%20showing%20movie%20ratings%20from%20Rotten%20Tomatoes%20versus%20ratings%20from%20IMDB%20users.%20We'll%20provide%20data%20to%20Altair%20by%20passing%20the%20movies%20data%20URL%20to%20the%20%60Chart%60%20method.%20(We%20could%20also%20pass%20the%20Pandas%20data%20frame%20directly%20to%20get%20the%20same%20result.)%20We%20can%20then%20encode%20the%20Rotten%20Tomatoes%20and%20IMDB%20ratings%20fields%20using%20the%20%60x%60%20and%20%60y%60%20channels%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20movies_url)%3A%0A%20%20%20%20alt.Chart(movies_url).mark_circle().encode(%0A%20%20%20%20%20%20%20%20alt.X('Rotten_Tomatoes_Rating%3AQ')%2C%0A%20%20%20%20%20%20%20%20alt.Y('IMDB_Rating%3AQ')%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20To%20summarize%20this%20data%2C%20we%20can%20*bin*%20a%20data%20field%20to%20group%20numeric%20values%20into%20discrete%20groups.%20Here%20we%20bin%20along%20the%20x-axis%20by%20adding%20%60bin%3DTrue%60%20to%20the%20%60x%60%20encoding%20channel.%20The%20result%20is%20a%20set%20of%20ten%20bins%20of%20equal%20step%20size%2C%20each%20corresponding%20to%20a%20span%20of%20ten%20ratings%20points.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20movies_url)%3A%0A%20%20%20%20alt.Chart(movies_url).mark_circle().encode(%0A%20%20%20%20%20%20%20%20alt.X('Rotten_Tomatoes_Rating%3AQ'%2C%20bin%3DTrue)%2C%0A%20%20%20%20%20%20%20%20alt.Y('IMDB_Rating%3AQ')%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Setting%20%60bin%3DTrue%60%20uses%20default%20binning%20settings%2C%20but%20we%20can%20exercise%20more%20control%20if%20desired.%20Let's%20instead%20set%20the%20maximum%20bin%20count%20(%60maxbins%60)%20to%2020%2C%20which%20has%20the%20effect%20of%20doubling%20the%20number%20of%20bins.%20Now%20each%20bin%20corresponds%20to%20a%20span%20of%20five%20ratings%20points.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20movies_url)%3A%0A%20%20%20%20alt.Chart(movies_url).mark_circle().encode(%0A%20%20%20%20%20%20%20%20alt.X('Rotten_Tomatoes_Rating%3AQ'%2C%20bin%3Dalt.BinParams(maxbins%3D20))%2C%0A%20%20%20%20%20%20%20%20alt.Y('IMDB_Rating%3AQ')%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20With%20the%20data%20binned%2C%20let's%20now%20summarize%20the%20distribution%20of%20Rotten%20Tomatoes%20ratings.%20We%20will%20drop%20the%20IMDB%20ratings%20for%20now%20and%20instead%20use%20the%20%60y%60%20encoding%20channel%20to%20show%20an%20aggregate%20%60count%60%20of%20records%2C%20so%20that%20the%20vertical%20position%20of%20each%20point%20indicates%20the%20number%20of%20movies%20per%20Rotten%20Tomatoes%20rating%20bin.%0A%0A%20%20%20%20As%20the%20%60count%60%20aggregate%20counts%20the%20number%20of%20total%20records%20in%20each%20bin%20regardless%20of%20the%20field%20values%2C%20we%20do%20not%20need%20to%20include%20a%20field%20name%20in%20the%20%60y%60%20encoding.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20movies_url)%3A%0A%20%20%20%20alt.Chart(movies_url).mark_circle().encode(%0A%20%20%20%20%20%20%20%20alt.X('Rotten_Tomatoes_Rating%3AQ'%2C%20bin%3Dalt.BinParams(maxbins%3D20))%2C%0A%20%20%20%20%20%20%20%20alt.Y('count()')%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20To%20arrive%20at%20a%20standard%20histogram%2C%20let's%20change%20the%20mark%20type%20from%20%60circle%60%20to%20%60bar%60%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20movies_url)%3A%0A%20%20%20%20alt.Chart(movies_url).mark_bar().encode(%0A%20%20%20%20%20%20%20%20alt.X('Rotten_Tomatoes_Rating%3AQ'%2C%20bin%3Dalt.BinParams(maxbins%3D20))%2C%0A%20%20%20%20%20%20%20%20alt.Y('count()')%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20_We%20can%20now%20examine%20the%20distribution%20of%20ratings%20more%20clearly%3A%20we%20can%20see%20fewer%20movies%20on%20the%20negative%20end%2C%20and%20a%20bit%20more%20movies%20on%20the%20high%20end%2C%20but%20a%20generally%20uniform%20distribution%20overall.%20Rotten%20Tomatoes%20ratings%20are%20determined%20by%20taking%20%22thumbs%20up%22%20and%20%22thumbs%20down%22%20judgments%20from%20film%20critics%20and%20calculating%20the%20percentage%20of%20positive%20reviews.%20It%20appears%20this%20approach%20does%20a%20good%20job%20of%20utilizing%20the%20full%20range%20of%20rating%20values._%0A%0A%20%20%20%20Similarly%2C%20we%20can%20create%20a%20histogram%20for%20IMDB%20ratings%20by%20changing%20the%20field%20in%20the%20%60x%60%20encoding%20channel%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20movies_url)%3A%0A%20%20%20%20alt.Chart(movies_url).mark_bar().encode(%0A%20%20%20%20%20%20%20%20alt.X('IMDB_Rating%3AQ'%2C%20bin%3Dalt.BinParams(maxbins%3D20))%2C%0A%20%20%20%20%20%20%20%20alt.Y('count()')%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20_In%20contrast%20to%20the%20more%20uniform%20distribution%20we%20saw%20before%2C%20IMDB%20ratings%20exhibit%20a%20bell-shaped%20(though%20%5Bnegatively%20skewed%5D(https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FSkewness))%20distribution.%20IMDB%20ratings%20are%20formed%20by%20averaging%20scores%20(ranging%20from%201%20to%2010)%20provided%20by%20the%20site's%20users.%20We%20can%20see%20that%20this%20form%20of%20measurement%20leads%20to%20a%20different%20shape%20than%20the%20Rotten%20Tomatoes%20ratings.%20We%20can%20also%20see%20that%20the%20mode%20of%20the%20distribution%20is%20between%206.5%20and%207%3A%20people%20generally%20enjoy%20watching%20movies%2C%20potentially%20explaining%20the%20positive%20bias!_%0A%0A%20%20%20%20Now%20let's%20turn%20back%20to%20our%20scatter%20plot%20of%20Rotten%20Tomatoes%20and%20IMDB%20ratings.%20Here's%20what%20happens%20if%20we%20bin%20*both*%20axes%20of%20our%20original%20plot.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20movies_url)%3A%0A%20%20%20%20alt.Chart(movies_url).mark_circle().encode(%0A%20%20%20%20%20%20%20%20alt.X('Rotten_Tomatoes_Rating%3AQ'%2C%20bin%3Dalt.BinParams(maxbins%3D20))%2C%0A%20%20%20%20%20%20%20%20alt.Y('IMDB_Rating%3AQ'%2C%20bin%3Dalt.BinParams(maxbins%3D20))%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Detail%20is%20lost%20due%20to%20*overplotting*%2C%20with%20many%20points%20drawn%20directly%20on%20top%20of%20each%20other.%0A%0A%20%20%20%20To%20form%20a%20two-dimensional%20histogram%20we%20can%20add%20a%20%60count%60%20aggregate%20as%20before.%20As%20both%20the%20%60x%60%20and%20%60y%60%20encoding%20channels%20are%20already%20taken%2C%20we%20must%20use%20a%20different%20encoding%20channel%20to%20convey%20the%20counts.%20Here%20is%20the%20result%20of%20using%20circular%20area%20by%20adding%20a%20*size*%20encoding%20channel.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20movies_url)%3A%0A%20%20%20%20alt.Chart(movies_url).mark_circle().encode(%0A%20%20%20%20%20%20%20%20alt.X('Rotten_Tomatoes_Rating%3AQ'%2C%20bin%3Dalt.BinParams(maxbins%3D20))%2C%0A%20%20%20%20%20%20%20%20alt.Y('IMDB_Rating%3AQ'%2C%20bin%3Dalt.BinParams(maxbins%3D20))%2C%0A%20%20%20%20%20%20%20%20alt.Size('count()')%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Alternatively%2C%20we%20can%20encode%20counts%20using%20the%20%60color%60%20channel%20and%20change%20the%20mark%20type%20to%20%60bar%60.%20The%20result%20is%20a%20two-dimensional%20histogram%20in%20the%20form%20of%20a%20%5B*heatmap*%5D(https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FHeat_map).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20movies_url)%3A%0A%20%20%20%20alt.Chart(movies_url).mark_bar().encode(%0A%20%20%20%20%20%20%20%20alt.X('Rotten_Tomatoes_Rating%3AQ'%2C%20bin%3Dalt.BinParams(maxbins%3D20))%2C%0A%20%20%20%20%20%20%20%20alt.Y('IMDB_Rating%3AQ'%2C%20bin%3Dalt.BinParams(maxbins%3D20))%2C%0A%20%20%20%20%20%20%20%20alt.Color('count()')%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Compare%20the%20*size*%20and%20*color*-based%202D%20histograms%20above.%20Which%20encoding%20do%20you%20think%20should%20be%20preferred%3F%20Why%3F%20In%20which%20plot%20can%20you%20more%20precisely%20compare%20the%20magnitude%20of%20individual%20values%3F%20In%20which%20plot%20can%20you%20more%20accurately%20see%20the%20overall%20density%20of%20ratings%3F%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Aggregation%0A%0A%20%20%20%20Counts%20are%20just%20one%20type%20of%20aggregate.%20We%20might%20also%20calculate%20summaries%20using%20measures%20such%20as%20the%20%60average%60%2C%20%60median%60%2C%20%60min%60%2C%20or%20%60max%60.%20The%20Altair%20documentation%20includes%20the%20%5Bfull%20set%20of%20available%20aggregation%20functions%5D(https%3A%2F%2Faltair-viz.github.io%2Fuser_guide%2Ftransform%2Faggregate.html%23user-guide-aggregate-transform).%0A%0A%20%20%20%20Let's%20look%20at%20some%20examples!%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Averages%20and%20Sorting%0A%0A%20%20%20%20_Do%20different%20genres%20of%20films%20receive%20consistently%20different%20ratings%20from%20critics%3F_%20As%20a%20first%20step%20towards%20answering%20this%20question%2C%20we%20might%20examine%20the%20%5B*average*%20(a.k.a.%20the%20*arithmetic%20mean*)%5D(https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FArithmetic_mean)%20rating%20for%20each%20genre%20of%20movie.%0A%0A%20%20%20%20Let's%20visualize%20genre%20along%20the%20%60y%60%20axis%20and%20plot%20%60average%60%20Rotten%20Tomatoes%20ratings%20along%20the%20%60x%60%20axis.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20movies_url)%3A%0A%20%20%20%20alt.Chart(movies_url).mark_bar().encode(%0A%20%20%20%20%20%20%20%20alt.X('average(Rotten_Tomatoes_Rating)%3AQ')%2C%0A%20%20%20%20%20%20%20%20alt.Y('Major_Genre%3AN')%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20_There%20does%20appear%20to%20be%20some%20interesting%20variation%2C%20but%20looking%20at%20the%20data%20as%20an%20alphabetical%20list%20is%20not%20very%20helpful%20for%20ranking%20critical%20reactions%20to%20the%20genres._%0A%0A%20%20%20%20For%20a%20tidier%20picture%2C%20let's%20sort%20the%20genres%20in%20descending%20order%20of%20average%20rating.%20To%20do%20so%2C%20we%20will%20add%20a%20%60sort%60%20parameter%20to%20the%20%60y%60%20encoding%20channel%2C%20stating%20that%20we%20wish%20to%20sort%20by%20the%20*average*%20(%60op%60%2C%20the%20aggregate%20operation)%20Rotten%20Tomatoes%20rating%20(the%20%60field%60)%20in%20descending%20%60order%60.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20movies_url)%3A%0A%20%20%20%20alt.Chart(movies_url).mark_bar().encode(%0A%20%20%20%20%20%20%20%20alt.X('average(Rotten_Tomatoes_Rating)%3AQ')%2C%0A%20%20%20%20%20%20%20%20alt.Y('Major_Genre%3AN'%2C%20sort%3Dalt.EncodingSortField(%0A%20%20%20%20%20%20%20%20%20%20%20%20op%3D'average'%2C%20field%3D'Rotten_Tomatoes_Rating'%2C%20order%3D'descending')%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20_The%20sorted%20plot%20suggests%20that%20critics%20think%20highly%20of%20documentaries%2C%20musicals%2C%20westerns%2C%20and%20dramas%2C%20but%20look%20down%20upon%20romantic%20comedies%20and%20horror%20films...%20and%20who%20doesn't%20love%20%60null%60%20movies!%3F_%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Medians%20and%20the%20Inter-Quartile%20Range%0A%0A%20%20%20%20While%20averages%20are%20a%20common%20way%20to%20summarize%20data%2C%20they%20can%20sometimes%20mislead.%20For%20example%2C%20very%20large%20or%20very%20small%20values%20(%5B*outliers*%5D(https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FOutlier))%20might%20skew%20the%20average.%20To%20be%20safe%2C%20we%20can%20compare%20the%20genres%20according%20to%20the%20%5B*median*%5D(https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FMedian)%20ratings%20as%20well.%0A%0A%20%20%20%20The%20median%20is%20a%20point%20that%20splits%20the%20data%20evenly%2C%20such%20that%20half%20of%20the%20values%20are%20less%20than%20the%20median%20and%20the%20other%20half%20are%20greater.%20The%20median%20is%20less%20sensitive%20to%20outliers%20and%20so%20is%20referred%20to%20as%20a%20%5B*robust*%20statistic%5D(https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FRobust_statistics).%20For%20example%2C%20arbitrarily%20increasing%20the%20largest%20rating%20value%20will%20not%20cause%20the%20median%20to%20change.%0A%0A%20%20%20%20Let's%20update%20our%20plot%20to%20use%20a%20%60median%60%20aggregate%20and%20sort%20by%20those%20values%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20movies_url)%3A%0A%20%20%20%20alt.Chart(movies_url).mark_bar().encode(%0A%20%20%20%20%20%20%20%20alt.X('median(Rotten_Tomatoes_Rating)%3AQ')%2C%0A%20%20%20%20%20%20%20%20alt.Y('Major_Genre%3AN'%2C%20sort%3Dalt.EncodingSortField(%0A%20%20%20%20%20%20%20%20%20%20%20%20op%3D'median'%2C%20field%3D'Rotten_Tomatoes_Rating'%2C%20order%3D'descending')%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20_We%20can%20see%20that%20some%20of%20the%20genres%20with%20similar%20averages%20have%20swapped%20places%20(films%20of%20unknown%20genre%2C%20or%20%60null%60%2C%20are%20now%20rated%20highest!)%2C%20but%20the%20overall%20groups%20have%20stayed%20stable.%20Horror%20films%20continue%20to%20get%20little%20love%20from%20professional%20film%20critics._%0A%0A%20%20%20%20It's%20a%20good%20idea%20to%20stay%20skeptical%20when%20viewing%20aggregate%20statistics.%20So%20far%20we've%20only%20looked%20at%20*point%20estimates*.%20We%20have%20not%20examined%20how%20ratings%20vary%20within%20a%20genre.%0A%0A%20%20%20%20Let's%20visualize%20the%20variation%20among%20the%20ratings%20to%20add%20some%20nuance%20to%20our%20rankings.%20Here%20we%20will%20encode%20the%20%5B*inter-quartile%20range*%20(IQR)%5D(https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FInterquartile_range)%20for%20each%20genre.%20The%20IQR%20is%20the%20range%20in%20which%20the%20middle%20half%20of%20data%20values%20reside.%20A%20%5B*quartile*%5D(https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FQuartile)%20contains%2025%25%20of%20the%20data%20values.%20The%20inter-quartile%20range%20consists%20of%20the%20two%20middle%20quartiles%2C%20and%20so%20contains%20the%20middle%2050%25.%0A%0A%20%20%20%20To%20visualize%20ranges%2C%20we%20can%20use%20the%20%60x%60%20and%20%60x2%60%20encoding%20channels%20to%20indicate%20the%20starting%20and%20ending%20points.%20We%20use%20the%20aggregate%20functions%20%60q1%60%20(the%20lower%20quartile%20boundary)%20and%20%60q3%60%20(the%20upper%20quartile%20boundary)%20to%20provide%20the%20inter-quartile%20range.%20(In%20case%20you%20are%20wondering%2C%20*q2*%20would%20be%20the%20median.)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20movies_url)%3A%0A%20%20%20%20alt.Chart(movies_url).mark_bar().encode(%0A%20%20%20%20%20%20%20%20alt.X('q1(Rotten_Tomatoes_Rating)%3AQ')%2C%0A%20%20%20%20%20%20%20%20alt.X2('q3(Rotten_Tomatoes_Rating)%3AQ')%2C%0A%20%20%20%20%20%20%20%20alt.Y('Major_Genre%3AN'%2C%20sort%3Dalt.EncodingSortField(%0A%20%20%20%20%20%20%20%20%20%20%20%20op%3D'median'%2C%20field%3D'Rotten_Tomatoes_Rating'%2C%20order%3D'descending')%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Time%20Units%0A%0A%20%20%20%20_Now%20let's%20ask%20a%20completely%20different%20question%3A%20do%20box%20office%20returns%20vary%20by%20season%3F_%0A%0A%20%20%20%20To%20get%20an%20initial%20answer%2C%20let's%20plot%20the%20median%20U.S.%20gross%20revenue%20by%20month.%0A%0A%20%20%20%20To%20make%20this%20chart%2C%20use%20the%20%60timeUnit%60%20transform%20to%20map%20release%20dates%20to%20the%20%60month%60%20of%20the%20year.%20The%20result%20is%20similar%20to%20binning%2C%20but%20using%20meaningful%20time%20intervals.%20Other%20valid%20time%20units%20include%20%60year%60%2C%20%60quarter%60%2C%20%60date%60%20(numeric%20day%20in%20month)%2C%20%60day%60%20(day%20of%20the%20week)%2C%20and%20%60hours%60%2C%20as%20well%20as%20compound%20units%20such%20as%20%60yearmonth%60%20or%20%60hoursminutes%60.%20See%20the%20Altair%20documentation%20for%20a%20%5Bcomplete%20list%20of%20time%20units%5D(https%3A%2F%2Faltair-viz.github.io%2Fuser_guide%2Ftransform%2Ftimeunit.html%23user-guide-timeunit-transform).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20movies_url)%3A%0A%20%20%20%20alt.Chart(movies_url).mark_area().encode(%0A%20%20%20%20%20%20%20%20alt.X('month(Release_Date)%3AT')%2C%0A%20%20%20%20%20%20%20%20alt.Y('median(US_Gross)%3AQ')%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20_Looking%20at%20the%20resulting%20plot%2C%20median%20movie%20sales%20in%20the%20U.S.%20appear%20to%20spike%20around%20the%20summer%20blockbuster%20season%20and%20the%20end%20of%20year%20holiday%20period.%20Of%20course%2C%20people%20around%20the%20world%20(not%20just%20the%20U.S.)%20go%20out%20to%20the%20movies.%20Does%20a%20similar%20pattern%20arise%20for%20worldwide%20gross%20revenue%3F_%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20movies_url)%3A%0A%20%20%20%20alt.Chart(movies_url).mark_area().encode(%0A%20%20%20%20%20%20%20%20alt.X('month(Release_Date)%3AT')%2C%0A%20%20%20%20%20%20%20%20alt.Y('median(Worldwide_Gross)%3AQ')%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20_Yes!_%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Advanced%20Data%20Transformation%0A%0A%20%20%20%20The%20examples%20above%20all%20use%20transformations%20(*bin*%2C%20*timeUnit*%2C%20*aggregate*%2C%20*sort*)%20that%20are%20defined%20relative%20to%20an%20encoding%20channel.%20However%2C%20at%20times%20you%20may%20want%20to%20apply%20a%20chain%20of%20multiple%20transformations%20prior%20to%20visualization%2C%20or%20use%20transformations%20that%20don't%20integrate%20into%20encoding%20definitions.%20For%20such%20cases%2C%20Altair%20and%20Vega-Lite%20support%20data%20transformations%20defined%20separately%20from%20encodings.%20These%20transformations%20are%20applied%20to%20the%20data%20*before*%20any%20encodings%20are%20considered.%0A%0A%20%20%20%20We%20*could*%20also%20perform%20transformations%20using%20Pandas%20directly%2C%20and%20then%20visualize%20the%20result.%20However%2C%20using%20the%20built-in%20transforms%20allows%20our%20visualizations%20to%20be%20published%20more%20easily%20in%20other%20contexts%3B%20for%20example%2C%20exporting%20the%20Vega-Lite%20JSON%20to%20use%20in%20a%20stand-alone%20web%20interface.%20Let's%20look%20at%20the%20built-in%20transforms%20supported%20by%20Altair%2C%20such%20as%20%60calculate%60%2C%20%60filter%60%2C%20%60aggregate%60%2C%20and%20%60window%60.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Calculate%0A%0A%20%20%20%20_Think%20back%20to%20our%20comparison%20of%20U.S.%20gross%20and%20worldwide%20gross.%20Doesn't%20worldwide%20revenue%20include%20the%20U.S.%3F%20(Indeed%20it%20does.)%20How%20might%20we%20get%20a%20better%20sense%20of%20trends%20outside%20the%20U.S.%3F_%0A%0A%20%20%20%20With%20the%20%60calculate%60%20transform%20we%20can%20derive%20new%20fields.%20Here%20we%20want%20to%20subtract%20U.S.%20gross%20from%20worldwide%20gross.%20The%20%60calculate%60%20transform%20takes%20a%20%5BVega%20expression%20string%5D(https%3A%2F%2Fvega.github.io%2Fvega%2Fdocs%2Fexpressions%2F)%20to%20define%20a%20formula%20over%20a%20single%20record.%20Vega%20expressions%20use%20JavaScript%20syntax.%20The%20%60datum.%60%20prefix%20accesses%20a%20field%20value%20on%20the%20input%20record.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20movies)%3A%0A%20%20%20%20alt.Chart(movies).mark_area().transform_calculate(%0A%20%20%20%20%20%20%20%20NonUS_Gross%3D'datum.Worldwide_Gross%20-%20datum.US_Gross'%0A%20%20%20%20).encode(%0A%20%20%20%20%20%20%20%20alt.X('month(Release_Date)%3AT')%2C%0A%20%20%20%20%20%20%20%20alt.Y('median(NonUS_Gross)%3AQ')%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20_We%20can%20see%20that%20seasonal%20trends%20hold%20outside%20the%20U.S.%2C%20but%20with%20a%20more%20pronounced%20decline%20in%20the%20non-peak%20months._%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Filter%0A%0A%20%20%20%20The%20*filter*%20transform%20creates%20a%20new%20table%20with%20a%20subset%20of%20the%20original%20data%2C%20removing%20rows%20that%20fail%20to%20meet%20a%20provided%20%5B*predicate*%5D(https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FPredicate_%2528mathematical_logic%2529)%20test.%20Similar%20to%20the%20*calculate*%20transform%2C%20filter%20predicates%20are%20expressed%20using%20the%20%5BVega%20expression%20language%5D(https%3A%2F%2Fvega.github.io%2Fvega%2Fdocs%2Fexpressions%2F).%0A%0A%20%20%20%20Below%20we%20add%20a%20filter%20to%20limit%20our%20initial%20scatter%20plot%20of%20IMDB%20vs.%20Rotten%20Tomatoes%20ratings%20to%20only%20films%20in%20the%20major%20genre%20of%20%22Romantic%20Comedy%22.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20movies_url)%3A%0A%20%20%20%20alt.Chart(movies_url).mark_circle().encode(%0A%20%20%20%20%20%20%20%20alt.X('Rotten_Tomatoes_Rating%3AQ')%2C%0A%20%20%20%20%20%20%20%20alt.Y('IMDB_Rating%3AQ')%0A%20%20%20%20).transform_filter('datum.Major_Genre%20%3D%3D%20%22Romantic%20Comedy%22')%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20_How%20does%20the%20plot%20change%20if%20we%20filter%20to%20view%20other%20genres%3F%20Edit%20the%20filter%20expression%20to%20find%20out._%0A%0A%20%20%20%20Now%20let's%20filter%20to%20look%20at%20films%20released%20before%201970.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20movies_url)%3A%0A%20%20%20%20alt.Chart(movies_url).mark_circle().encode(%0A%20%20%20%20%20%20%20%20alt.X('Rotten_Tomatoes_Rating%3AQ')%2C%0A%20%20%20%20%20%20%20%20alt.Y('IMDB_Rating%3AQ')%0A%20%20%20%20).transform_filter('year(datum.Release_Date)%20%3C%201970')%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20_They%20seem%20to%20score%20unusually%20high!%20Are%20older%20films%20simply%20better%2C%20or%20is%20there%20a%20%5Bselection%20bias%5D(https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FSelection%255Fbias)%20towards%20more%20highly-rated%20older%20films%20in%20this%20dataset%3F_%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Aggregate%0A%0A%20%20%20%20We%20have%20already%20seen%20%60aggregate%60%20transforms%20such%20as%20%60count%60%20and%20%60average%60%20%20in%20the%20context%20of%20encoding%20channels.%20We%20can%20also%20specify%20aggregates%20separately%2C%20as%20a%20pre-processing%20step%20for%20other%20transforms%20(as%20in%20the%20%60window%60%20transform%20examples%20below).%20The%20output%20of%20an%20%60aggregate%60%20transform%20is%20a%20new%20data%20table%20with%20records%20that%20contain%20both%20the%20%60groupby%60%20fields%20and%20the%20computed%20%60aggregate%60%20measures.%0A%0A%20%20%20%20Let's%20recreate%20our%20plot%20of%20average%20ratings%20by%20genre%2C%20but%20this%20time%20using%20a%20separate%20%60aggregate%60%20transform.%20The%20output%20table%20from%20the%20aggregate%20transform%20contains%2013%20rows%2C%20one%20for%20each%20genre.%0A%0A%20%20%20%20To%20order%20the%20%60y%60%20axis%20we%20must%20include%20a%20required%20aggregate%20operation%20in%20our%20sorting%20instructions.%20Here%20we%20use%20the%20%60max%60%20operator%2C%20which%20works%20fine%20because%20there%20is%20only%20one%20output%20record%20per%20genre.%20We%20could%20similarly%20use%20the%20%60min%60%20operator%20and%20end%20up%20with%20the%20same%20plot.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20movies_url)%3A%0A%20%20%20%20alt.Chart(movies_url).mark_bar().transform_aggregate(%0A%20%20%20%20%20%20%20%20groupby%3D%5B'Major_Genre'%5D%2C%0A%20%20%20%20%20%20%20%20Average_Rating%3D'average(Rotten_Tomatoes_Rating)'%0A%20%20%20%20).encode(%0A%20%20%20%20%20%20%20%20alt.X('Average_Rating%3AQ')%2C%0A%20%20%20%20%20%20%20%20alt.Y('Major_Genre%3AN'%2C%20sort%3Dalt.EncodingSortField(%0A%20%20%20%20%20%20%20%20%20%20%20%20op%3D'max'%2C%20field%3D'Average_Rating'%2C%20order%3D'descending'%0A%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Window%0A%0A%20%20%20%20The%20%60window%60%20transform%20performs%20calculations%20over%20sorted%20groups%20of%20data%20records.%20Window%20transforms%20are%20quite%20powerful%2C%20supporting%20tasks%20such%20as%20ranking%2C%20lead%2Flag%20analysis%2C%20cumulative%20totals%2C%20and%20running%20sums%20or%20averages.%20Values%20calculated%20by%20a%20%60window%60%20transform%20are%20written%20back%20to%20the%20input%20data%20table%20as%20new%20fields.%20Window%20operations%20include%20the%20aggregate%20operations%20we've%20seen%20earlier%2C%20as%20well%20as%20specialized%20operations%20such%20as%20%60rank%60%2C%20%60row_number%60%2C%20%60lead%60%2C%20and%20%60lag%60.%20The%20Vega-Lite%20documentation%20lists%20%5Ball%20valid%20window%20operations%5D(https%3A%2F%2Fvega.github.io%2Fvega-lite%2Fdocs%2Fwindow.html%23ops).%0A%0A%20%20%20%20One%20use%20case%20for%20a%20%60window%60%20transform%20is%20to%20calculate%20top-k%20lists.%20Let's%20plot%20the%20top%2020%20directors%20in%20terms%20of%20total%20worldwide%20gross.%0A%0A%20%20%20%20We%20first%20use%20a%20%60filter%60%20transform%20to%20remove%20records%20for%20which%20we%20don't%20know%20the%20director.%20Otherwise%2C%20the%20director%20%60null%60%20would%20dominate%20the%20list!%20We%20then%20apply%20an%20%60aggregate%60%20to%20sum%20up%20the%20worldwide%20gross%20for%20all%20films%2C%20grouped%20by%20director.%20At%20this%20point%20we%20could%20plot%20a%20sorted%20bar%20chart%2C%20but%20we'd%20end%20up%20with%20hundreds%20and%20hundreds%20of%20directors.%20How%20can%20we%20limit%20the%20display%20to%20the%20top%2020%3F%0A%0A%20%20%20%20The%20%60window%60%20transform%20allows%20us%20to%20determine%20the%20top%20directors%20by%20calculating%20their%20rank%20order.%20Within%20our%20%60window%60%20transform%20definition%20we%20can%20%60sort%60%20by%20gross%20and%20use%20the%20%60rank%60%20operation%20to%20calculate%20rank%20scores%20according%20to%20that%20sort%20order.%20We%20can%20then%20add%20a%20subsequent%20%60filter%60%20transform%20to%20limit%20the%20data%20to%20only%20records%20with%20a%20rank%20value%20less%20than%20or%20equal%20to%2020.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20movies_url)%3A%0A%20%20%20%20alt.Chart(movies_url).mark_bar().transform_filter(%0A%20%20%20%20%20%20%20%20'datum.Director%20!%3D%20null'%0A%20%20%20%20).transform_aggregate(%0A%20%20%20%20%20%20%20%20Gross%3D'sum(Worldwide_Gross)'%2C%0A%20%20%20%20%20%20%20%20groupby%3D%5B'Director'%5D%0A%20%20%20%20).transform_window(%0A%20%20%20%20%20%20%20%20Rank%3D'rank()'%2C%0A%20%20%20%20%20%20%20%20sort%3D%5Balt.SortField('Gross'%2C%20order%3D'descending')%5D%0A%20%20%20%20).transform_filter(%0A%20%20%20%20%20%20%20%20'datum.Rank%20%3C%2020'%0A%20%20%20%20).encode(%0A%20%20%20%20%20%20%20%20alt.X('Gross%3AQ')%2C%0A%20%20%20%20%20%20%20%20alt.Y('Director%3AN'%2C%20sort%3Dalt.EncodingSortField(%0A%20%20%20%20%20%20%20%20%20%20%20%20op%3D'max'%2C%20field%3D'Gross'%2C%20order%3D'descending'%0A%20%20%20%20%20%20%20%20))%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20_We%20can%20see%20that%20Steven%20Spielberg%20has%20been%20quite%20successful%20in%20his%20career!%20However%2C%20showing%20sums%20might%20favor%20directors%20who%20have%20had%20longer%20careers%2C%20and%20so%20have%20made%20more%20movies%20and%20thus%20more%20money.%20What%20happens%20if%20we%20change%20the%20choice%20of%20aggregate%20operation%3F%20Who%20is%20the%20most%20successful%20director%20in%20terms%20of%20%20%60average%60%20or%20%60median%60%20gross%20per%20film%3F%20Modify%20the%20aggregate%20transform%20above!_%0A%0A%20%20%20%20Earlier%20in%20this%20notebook%20we%20looked%20at%20histograms%2C%20which%20approximate%20the%20%5B*probability%20density%20function*%5D(https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FProbability_density_function)%20of%20a%20set%20of%20values.%20A%20complementary%20approach%20is%20to%20look%20at%20the%20%5B*cumulative%20distribution*%5D(https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FCumulative_distribution_function).%20For%20example%2C%20think%20of%20a%20histogram%20in%20which%20each%20bin%20includes%20not%20only%20its%20own%20count%20but%20also%20the%20counts%20from%20all%20previous%20bins%20%26mdash%3B%20the%20result%20is%20a%20_running%20total_%2C%20with%20the%20last%20bin%20containing%20the%20total%20number%20of%20records.%20A%20cumulative%20chart%20directly%20shows%20us%2C%20for%20a%20given%20reference%20value%2C%20how%20many%20data%20values%20are%20less%20than%20or%20equal%20to%20that%20reference.%0A%0A%20%20%20%20As%20a%20concrete%20example%2C%20let's%20look%20at%20the%20cumulative%20distribution%20of%20films%20by%20running%20time%20(in%20minutes).%20Only%20a%20subset%20of%20records%20actually%20include%20running%20time%20information%2C%20so%20we%20first%20%60filter%60%20down%20to%20the%20subset%20of%20films%20for%20which%20we%20have%20running%20times.%20Next%2C%20we%20apply%20an%20%60aggregate%60%20to%20count%20the%20number%20of%20films%20per%20duration%20(implicitly%20using%20%22bins%22%20of%201%20minute%20each).%20We%20then%20use%20a%20%60window%60%20transform%20to%20compute%20a%20running%20total%20of%20counts%20across%20bins%2C%20sorted%20by%20increasing%20running%20time.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20movies_url)%3A%0A%20%20%20%20alt.Chart(movies_url).mark_line(interpolate%3D'step-before').transform_filter(%0A%20%20%20%20%20%20%20%20'datum.Running_Time_min%20!%3D%20null'%0A%20%20%20%20).transform_aggregate(%0A%20%20%20%20%20%20%20%20groupby%3D%5B'Running_Time_min'%5D%2C%0A%20%20%20%20%20%20%20%20Count%3D'count()'%2C%0A%20%20%20%20).transform_window(%0A%20%20%20%20%20%20%20%20Cumulative_Sum%3D'sum(Count)'%2C%0A%20%20%20%20%20%20%20%20sort%3D%5Balt.SortField('Running_Time_min'%2C%20order%3D'ascending')%5D%0A%20%20%20%20).encode(%0A%20%20%20%20%20%20%20%20alt.X('Running_Time_min%3AQ'%2C%20axis%3Dalt.Axis(title%3D'Duration%20(min)'))%2C%0A%20%20%20%20%20%20%20%20alt.Y('Cumulative_Sum%3AQ'%2C%20axis%3Dalt.Axis(title%3D'Cumulative%20Count%20of%20Films'))%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20_Let's%20examine%20the%20cumulative%20distribution%20of%20film%20lengths.%20We%20can%20see%20that%20films%20under%20110%20minutes%20make%20up%20about%20half%20of%20all%20the%20films%20for%20which%20we%20have%20running%20times.%20We%20see%20a%20steady%20accumulation%20of%20films%20between%2090%20minutes%20and%202%20hours%2C%20after%20which%20the%20distribution%20begins%20to%20taper%20off.%20Though%20rare%2C%20the%20dataset%20does%20contain%20multiple%20films%20more%20than%203%20hours%20long!_%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Summary%0A%0A%20%20%20%20We've%20only%20scratched%20the%20surface%20of%20what%20data%20transformations%20can%20do!%20For%20more%20details%2C%20including%20all%20the%20available%20transformations%20and%20their%20parameters%2C%20see%20the%20%5BAltair%20data%20transformation%20documentation%5D(https%3A%2F%2Faltair-viz.github.io%2Fuser_guide%2Ftransform%2Findex.html).%0A%0A%20%20%20%20Sometimes%20you%20will%20need%20to%20perform%20significant%20data%20transformation%20to%20prepare%20your%20data%20_prior_%20to%20using%20visualization%20tools.%20To%20engage%20in%20%5B_data%20wrangling_%5D(https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FData_wrangling)%20right%20here%20in%20Python%2C%20you%20can%20use%20the%20%5BPandas%20library%5D(https%3A%2F%2Fpandas.pydata.org%2F).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A