06 dataframe transformer

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.13%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22numpy%3D%3D2.4.3%22%2C%0A%23%20%20%20%20%20%22plotly%5Bexpress%5D%3D%3D6.3.0%22%2C%0A%23%20%20%20%20%20%22polars%3D%3D1.24.0%22%2C%0A%23%20%20%20%20%20%22requests%3D%3D2.32.3%22%2C%0A%23%20%5D%0A%23%20%5Btool.marimo.runtime%5D%0A%23%20auto_instantiate%20%3D%20false%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.21.1%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Polars%20with%20Marimo's%20Dataframe%20Transformer%0A%0A%20%20%20%20*By%20%5Bjesshart%5D(https%3A%2F%2Fgithub.com%2Fjesshart)*%0A%0A%20%20%20%20The%20goal%20of%20this%20notebook%20is%20to%20explore%20Marimo's%20data%20explore%20capabilities%20alonside%20the%20power%20of%20polars.%20Feel%20free%20to%20reference%20the%20latest%20about%20these%20Marimo%20features%20here%3A%20https%3A%2F%2Fdocs.marimo.io%2Fguides%2Fworking_with_data%2Fdataframes%2F%3Fh%3Ddataframe%23transforming-dataframes%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(requests)%3A%0A%20%20%20%20json_data%20%3D%20requests.get(%0A%20%20%20%20%20%20%20%20%22https%3A%2F%2Fraw.githubusercontent.com%2Fjesshart%2Ffake-datasets%2Frefs%2Fheads%2Fmain%2Forders.json%22%0A%20%20%20%20)%0A%20%20%20%20return%20(json_data%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Loading%20Data%0A%20%20%20%20Let's%20start%20by%20loading%20our%20data%20and%20getting%20into%20the%20%60.lazy()%60%20format%20so%20our%20transformations%20and%20queries%20are%20speedy.%0A%0A%20%20%20%20Read%20more%20about%20%60.lazy()%60%20here%3A%20https%3A%2F%2Fdocs.pola.rs%2Fuser-guide%2Flazy%2F%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(json_data%2C%20pl)%3A%0A%20%20%20%20demand%3A%20pl.LazyFrame%20%3D%20pl.read_json(json_data.content).lazy()%0A%20%20%20%20demand%0A%20%20%20%20return%20(demand%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Above%2C%20you%20will%20notice%20that%20when%20you%20reference%20the%20object%20as%20a%20standalone%2C%20you%20get%20out-of-the-box%20convenience%20from%20%60marimo%60.%20You%20have%20the%20%60Table%60%20and%20%60Query%20Plan%60%20options%20to%20choose%20from.%0A%0A%20%20%20%20-%20%F0%9F%92%A1%20Try%20out%20the%20%60Table%60%20view!%20You%20can%20click%20the%20%60Preview%20data%60%20button%20to%20get%20a%20quick%20view%20of%20your%20data.%0A%20%20%20%20-%20%F0%9F%92%A1%20Take%20a%20look%20at%20the%20%60Query%20plan%60.%20Learn%20more%20about%20Polar's%20query%20plan%20here%3A%20https%3A%2F%2Fdocs.pola.rs%2Fuser-guide%2Flazy%2Fquery-plan%2F%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20marimo's%20Native%20Dataframe%20UI%0A%0A%20%20%20%20There%20are%20a%20few%20ways%20to%20leverage%20marimo's%20native%20dataframe%20UI.%20One%20is%20by%20doing%20what%20we%20saw%20above%E2%80%94by%20referencing%20a%20%60pl.LazyFrame%60%20directly.%20You%20can%20also%20try%2C%0A%0A%20%20%20%20-%20Reference%20a%20%60pl.LazyFrame%60%20(we%20already%20did%20this!)%0A%20%20%20%20-%20Referencing%20a%20%60pl.DataFrame%60%20and%20see%20how%20it%20different%20from%20its%20corresponding%20lazy%20version%0A%20%20%20%20-%20Use%20%60mo.ui.table%60%0A%20%20%20%20-%20Use%20%60mo.ui.dataframe%60%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Reference%20a%20%60pl.DataFrame%60%0A%20%20%20%20Let's%20reference%20the%20same%20frame%20as%20before%2C%20but%20this%20time%20as%20a%20%60pl.DataFrame%60%20by%20calling%20%60.collect()%60%20on%20it.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(demand%3A%20%22pl.LazyFrame%22)%3A%0A%20%20%20%20demand.collect()%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Note%20how%20much%20functionality%20we%20have%20right%20out-of-the-box.%20Click%20on%20column%20names%20to%20see%20rich%20features%20like%20sorting%2C%20freezing%2C%20filtering%2C%20searching%2C%20and%20more!%0A%0A%20%20%20%20Notice%20how%20%60order_quantity%60%20has%20a%20green%20bar%20chart%20under%20it%20indicating%20the%20distribution%20of%20values%20for%20the%20field!%0A%0A%20%20%20%20Don't%20miss%20the%20%60Download%60%20feature%20as%20well%20which%20supports%20downloading%20in%20CSV%2C%20json%2C%20or%20parquet%20format!%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Use%20%60mo.ui.table%60%0A%20%20%20%20The%20%60mo.ui.table%60%20allows%20you%20to%20select%20rows%20for%20use%20downstream.%20You%20can%20select%20the%20rows%20you%20want%2C%20and%20then%20use%20these%20as%20filtered%20rows%20downstream.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(demand%3A%20%22pl.LazyFrame%22%2C%20mo)%3A%0A%20%20%20%20demand_table%20%3D%20mo.ui.table(demand%2C%20label%3D%22Demand%20Table%22)%0A%20%20%20%20return%20(demand_table%2C)%0A%0A%0A%40app.cell%0Adef%20_(demand_table)%3A%0A%20%20%20%20demand_table%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20I%20like%20to%20use%20this%20feature%20to%20select%20groupings%20based%20on%20summary%20statistics%20so%20I%20can%20quickly%20explore%20subsets%20of%20categories.%20Let%20me%20show%20you%20what%20I%20mean.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(demand%3A%20%22pl.LazyFrame%22%2C%20pl)%3A%0A%20%20%20%20summary%3A%20pl.LazyFrame%20%3D%20demand.group_by(%22product_family%22).agg(%0A%20%20%20%20%20%20%20%20pl.mean(%22order_quantity%22).alias(%22mean%22)%2C%0A%20%20%20%20%20%20%20%20pl.sum(%22order_quantity%22).alias(%22sum%22)%2C%0A%20%20%20%20%20%20%20%20pl.std(%22order_quantity%22).alias(%22std%22)%2C%0A%20%20%20%20%20%20%20%20pl.min(%22order_quantity%22).alias(%22min%22)%2C%0A%20%20%20%20%20%20%20%20pl.max(%22order_quantity%22).alias(%22max%22)%2C%0A%20%20%20%20%20%20%20%20pl.col(%22order_quantity%22).null_count().alias(%22null_count%22)%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(summary%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20summary%3A%20%22pl.LazyFrame%22)%3A%0A%20%20%20%20summary_table%20%3D%20mo.ui.table(summary)%0A%20%20%20%20return%20(summary_table%2C)%0A%0A%0A%40app.cell%0Adef%20_(summary_table)%3A%0A%20%20%20%20summary_table%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Now%2C%20instead%20of%20manually%20creating%20a%20filter%20for%20what%20I%20want%20to%20take%20a%20closer%20look%20at%2C%20I%20simply%20select%20from%20the%20ui%20and%20do%20a%20simple%20join%20to%20get%20that%20aggregated%20level%20with%20more%20detail.%0A%0A%20%20%20%20The%20following%20cell%20uses%20the%20output%20of%20the%20%60mo.ui.table%60%20selection%2C%20selects%20its%20unique%20keys%2C%20and%20uses%20that%20to%20join%20for%20the%20selected%20subset%20of%20the%20original%20table.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(demand%3A%20%22pl.LazyFrame%22%2C%20pl%2C%20summary_table)%3A%0A%20%20%20%20selection_keys%3A%20pl.LazyFrame%20%3D%20(%0A%20%20%20%20%20%20%20%20summary_table.value.lazy().select(%22product_family%22).unique()%0A%20%20%20%20)%0A%20%20%20%20selection%3A%20pl.lazyframe%20%3D%20selection_keys.join(%0A%20%20%20%20%20%20%20%20demand%2C%20on%3D%22product_family%22%2C%20how%3D%22left%22%0A%20%20%20%20)%0A%20%20%20%20selection.collect()%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20You%20can%20learn%20more%20about%20joins%20in%20Polars%20by%20checking%20out%20my%20other%20interactive%20notebook%20here%3A%20https%3A%2F%2Fmarimo.io%2Fp%2F%40jesshart%2Fbasic-polars-joins%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Use%20%60mo.ui.dataframe%60%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(demand%3A%20%22pl.LazyFrame%22%2C%20mo)%3A%0A%20%20%20%20demand_cached%20%3D%20demand.collect()%0A%20%20%20%20mo_dataframe%20%3D%20mo.ui.dataframe(demand_cached)%0A%20%20%20%20return%20demand_cached%2C%20mo_dataframe%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Below%20I%20simply%20call%20the%20object%20into%20view.%20We%20will%20play%20with%20it%20in%20the%20following%20cells.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo_dataframe)%3A%0A%20%20%20%20mo_dataframe%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20One%20way%20to%20group%20this%20data%20in%20polars%20code%20directly%20would%20be%20to%20group%20by%20product%20family%20to%20get%20the%20mean.%20This%20is%20how%20it%20is%20done%20in%20polars%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(demand_cached%2C%20pl)%3A%0A%20%20%20%20demand_agg%3A%20pl.DataFrame%20%3D%20demand_cached.group_by(%22product_family%22).agg(%0A%20%20%20%20%20%20%20%20pl.mean(%22order_quantity%22).name.suffix(%22_mean%22)%0A%20%20%20%20)%0A%20%20%20%20demand_agg%0A%20%20%20%20return%20(demand_agg%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20%23%23%20Try%20Before%20You%20Buy%0A%0A%20%20%20%201.%20Now%20try%20to%20do%20the%20same%20summary%20using%20Marimo's%20%60mo.ui.dataframe%60%20object%20above.%20Also%2C%20note%20how%20your%20aggregated%20column%20is%20already%20renamed!%20Nice%20touch!%0A%20%20%20%202.%20Try%20(1)%20again%20but%20use%20select%20statements%20first%20(This%20is%20actually%20better%20polars%20practice%20anyway%20since%20it%20reduces%20the%20frame%20as%20you%20move%20to%20aggregation.)%0A%0A%20%20%20%20*When%20you%20are%20ready%2C%20check%20the%20%60Python%20Code%60%20tab%20at%20the%20top%20of%20the%20table%20to%20compare%20your%20output%20to%20the%20answer%20below.*%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mean_code%20%3D%20%22%22%22%0A%20%20%20%20This%20may%20seem%20verbose%20compared%20to%20what%20I%20came%20up%20with%2C%20but%20quick%20and%20dirty%20outputs%20like%20this%20are%20really%20helpful%20for%20quickly%20exploring%20the%20data%20and%20learning%20the%20polars%20library%20at%20the%20same%20time.%0A%20%20%20%20%60%60%60python%0A%20%20%20%20df_next%20%3D%20df%0A%20%20%20%20df_next%20%3D%20df_next.group_by(%0A%20%20%20%20%20%20%20%20%5Bpl.col(%22product_family%22)%5D%2C%20maintain_order%3DTrue%0A%20%20%20%20).agg(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20pl.col(%22order_date%22).mean().alias(%22order_date_mean%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20pl.col(%22order_quantity%22).mean().alias(%22order_quantity_mean%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20pl.col(%22product%22).mean().alias(%22product_mean%22)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22%22%22%0A%0A%20%20%20%20mean_again_code%20%3D%20%22%22%22%0A%20%20%20%20%60%60%60python%0A%20%20%20%20df_next%20%3D%20df%0A%20%20%20%20df_next%20%3D%20df_next.select(%5B%22product_family%22%2C%20%22order_quantity%22%5D)%0A%20%20%20%20df_next%20%3D%20df_next.group_by(%0A%20%20%20%20%20%20%20%20%5Bpl.col(%22product_family%22)%5D%2C%20maintain_order%3DTrue%0A%20%20%20%20).agg(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20pl.col(%22order_date%22).mean().alias(%22order_date_mean%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20pl.col(%22order_quantity%22).mean().alias(%22order_quantity_mean%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20pl.col(%22product%22).mean().alias(%22product_mean%22)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22%22%22%0A%20%20%20%20return%20mean_again_code%2C%20mean_code%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mean_again_code%2C%20mean_code%2C%20mo)%3A%0A%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Show%20Code%20(1)%22%3A%20mean_code%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Show%20Code%20(2)%22%3A%20mean_again_code%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(demand_agg%3A%20%22pl.DataFrame%22%2C%20mo%2C%20px)%3A%0A%20%20%20%20bar_graph%20%3D%20px.bar(%0A%20%20%20%20%20%20%20%20demand_agg%2C%0A%20%20%20%20%20%20%20%20x%3D%22product_family%22%2C%0A%20%20%20%20%20%20%20%20y%3D%22order_quantity_mean%22%2C%0A%20%20%20%20%20%20%20%20title%3D%22Mean%20Quantity%20over%20Product%20Family%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20note%3A%20str%20%3D%20%22%22%22%0A%20%20%20%20Note%3A%20This%20graph%20will%20only%20show%20if%20the%20above%20mo_dataframe%20is%20correct!%0A%0A%20%20%20%20If%20you%20want%20more%20on%20interactive%20graphs%2C%20check%20out%20https%3A%2F%2Fgithub.com%2Fmarimo-team%2Flearn%2Fblob%2Fmain%2Fpolars%2F05_reactive_plots.py%0A%20%20%20%20%22%22%22%0A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(note)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bar_graph%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20About%20this%20Notebook%0A%20%20%20%20Polars%20and%20Marimo%20are%20both%20relatively%20new%20to%20the%20data%20wrangling%20space%2C%20but%20their%20power%20(and%20the%20thrill%20of%20their%20use)%20cannot%20be%20overstated%E2%80%94well%2C%20I%20suppose%20it%20could%2C%20but%20you%20get%20the%20meaning.%20In%20this%20notebook%2C%20you%20learn%20how%20to%20leverage%20basic%20Polars%20skills%20to%20load-in%20and%20explore%20your%20data%20in%20concert%20with%20Marimo's%20powerful%20UI%20elements.%0A%0A%20%20%20%20%23%23%20%F0%9F%93%9A%20Documentation%20References%0A%0A%20%20%20%20-%20**Marimo%3A%20Dataframe%20Transformation%20Guide**%0A%20%20%20%20%20%20https%3A%2F%2Fdocs.marimo.io%2Fguides%2Fworking_with_data%2Fdataframes%2F%3Fh%3Ddataframe%23transforming-dataframes%0A%0A%20%20%20%20-%20**Polars%3A%20Lazy%20API%20Overview**%0A%20%20%20%20%20%20https%3A%2F%2Fdocs.pola.rs%2Fuser-guide%2Flazy%2F%0A%0A%20%20%20%20-%20**Polars%3A%20Query%20Plan%20Explained**%0A%20%20%20%20%20%20https%3A%2F%2Fdocs.pola.rs%2Fuser-guide%2Flazy%2Fquery-plan%2F%0A%0A%20%20%20%20-%20**Marimo%20Notebook%3A%20Basic%20Polars%20Joins%20(by%20jesshart)**%0A%20%20%20%20%20%20https%3A%2F%2Fmarimo.io%2Fp%2F%40jesshart%2Fbasic-polars-joins%0A%0A%20%20%20%20-%20**Marimo%20Learn%3A%20Interactive%20Graphs%20with%20Polars**%0A%20%20%20%20%20%20https%3A%2F%2Fgithub.com%2Fmarimo-team%2Flearn%2Fblob%2Fmain%2Fpolars%2F05_reactive_plots.py%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20polars%20as%20pl%0A%20%20%20%20import%20requests%0A%20%20%20%20import%20json%0A%20%20%20%20import%20plotly.express%20as%20px%0A%0A%20%20%20%20return%20pl%2C%20px%2C%20requests%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A