11 working with apache arrow

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22altair%3D%3D6.0.0%22%2C%0A%23%20%20%20%20%20%22duckdb%3D%3D1.4.4%22%2C%0A%23%20%20%20%20%20%22pandas%3D%3D2.3.2%22%2C%0A%23%20%20%20%20%20%22polars%5Bpyarrow%5D%3D%3D1.24.0%22%2C%0A%23%20%20%20%20%20%22sqlglot%3D%3D27.0.0%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.21.1%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Working%20with%20Apache%20Arrow%0A%20%20%20%20*By%20%5BThomas%20Liang%5D(https%3A%2F%2Fgithub.com%2Fthliang01)*%0A%20%20%20%20%23%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%5BApache%20Arrow%5D(https%3A%2F%2Farrow.apache.org%2F)%20is%20a%20multi-language%20toolbox%20for%20building%20high%20performance%20applications%20that%20process%20and%20transport%20large%20data%20sets.%20It%20is%20designed%20to%20both%20improve%20the%20performance%20of%20analytical%20algorithms%20and%20the%20efficiency%20of%20moving%20data%20from%20one%20system%20or%20programming%20language%20to%20another.%0A%0A%20%20%20%20A%20critical%20component%20of%20Apache%20Arrow%20is%20its%20in-memory%20columnar%20format%2C%20a%20standardized%2C%20language-agnostic%20specification%20for%20representing%20structured%2C%20table-like%20datasets%20in-memory.%20This%20data%20format%20has%20a%20rich%20data%20type%20system%20(included%20nested%20and%20user-defined%20data%20types)%20designed%20to%20support%20the%20needs%20of%20analytic%20database%20systems%2C%20data%20frame%20libraries%2C%20and%20more.%0A%0A%20%20%20%20DuckDB%20has%20native%20support%20for%20Apache%20Arrow%2C%20which%20is%20an%20in-memory%20columnar%20data%20format.%20This%20allows%20for%20efficient%20data%20transfer%20between%20DuckDB%20and%20other%20Arrow-compatible%20systems%2C%20such%20as%20Polars%20and%20Pandas%20(via%20PyArrow).%0A%0A%20%20%20%20In%20this%20notebook%2C%20we'll%20explore%20how%20to%3A%0A%0A%20%20%20%20-%20Create%20an%20Arrow%20table%20from%20a%20DuckDB%20query.%0A%20%20%20%20-%20Load%20an%20Arrow%20table%20into%20DuckDB.%0A%20%20%20%20-%20Convert%20between%20DuckDB%2C%20Arrow%2C%20and%20Polars%2FPandas%20DataFrames.%0A%20%20%20%20-%20Combining%20data%20from%20multiple%20sources%0A%20%20%20%20-%20Performance%20benefits%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.sql(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20CREATE%20TABLE%20IF%20NOT%20EXISTS%20users%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20id%20INTEGER%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%20VARCHAR%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20age%20INTEGER%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20city%20VARCHAR%0A%20%20%20%20%20%20%20%20)%3B%0A%0A%20%20%20%20%20%20%20%20INSERT%20INTO%20users%20VALUES%0A%20%20%20%20%20%20%20%20%20%20%20%20(1%2C%20'Alice'%2C%2030%2C%20'New%20York')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(2%2C%20'Bob'%2C%2024%2C%20'London')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(3%2C%20'Charlie'%2C%2035%2C%20'Paris')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(4%2C%20'David'%2C%2029%2C%20'New%20York')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(5%2C%20'Eve'%2C%2040%2C%20'London')%3B%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201.%20Creating%20an%20Arrow%20Table%20from%20a%20DuckDB%20Query%0A%0A%20%20%20%20You%20can%20directly%20fetch%20the%20results%20of%20a%20DuckDB%20query%20as%20an%20Apache%20Arrow%20table%20using%20the%20%60.arrow()%60%20method%20on%20the%20query%20result.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20users)%3A%0A%20%20%20%20users_arrow_table%20%3D%20mo.sql(%20%20%23%20type%3A%20ignore%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20*%20FROM%20users%20WHERE%20age%20%3E%2030%3B%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20).to_arrow()%0A%20%20%20%20return%20(users_arrow_table%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20The%20%60.arrow()%60%20method%20returns%20a%20%60pyarrow.Table%60%20object.%20We%20can%20inspect%20its%20schema%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(users_arrow_table)%3A%0A%20%20%20%20users_arrow_table.schema%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202.%20Loading%20an%20Arrow%20Table%20into%20DuckDB%0A%0A%20%20%20%20You%20can%20also%20register%20an%20existing%20Arrow%20table%20(or%20a%20Polars%2FPandas%20DataFrame%2C%20which%20uses%20Arrow%20under%20the%20hood)%20directly%20with%20DuckDB.%20This%20allows%20you%20to%20query%20the%20in-memory%20data%20without%20any%20copying%2C%20which%20is%20highly%20efficient.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pa)%3A%0A%20%20%20%20%23%20Create%20an%20Arrow%20table%20in%20Python%0A%20%20%20%20new_data%20%3D%20pa.table(%7B%0A%20%20%20%20%20%20%20%20'id'%3A%20%5B6%2C%207%5D%2C%0A%20%20%20%20%20%20%20%20'name'%3A%20%5B'Fiona'%2C%20'George'%5D%2C%0A%20%20%20%20%20%20%20%20'age'%3A%20%5B22%2C%2045%5D%2C%0A%20%20%20%20%20%20%20%20'city'%3A%20%5B'Berlin'%2C%20'Tokyo'%5D%0A%20%20%20%20%7D)%0A%20%20%20%20return%20(new_data%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Now%2C%20we%20can%20query%20this%20Arrow%20table%20%60new_data%60%20directly%20from%20SQL%20by%20embedding%20it%20in%20the%20query.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20new_data)%3A%0A%20%20%20%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20name%2C%20age%2C%20city%0A%20%20%20%20%20%20%20%20FROM%20new_data%0A%20%20%20%20%20%20%20%20WHERE%20age%20%3E%2030%3B%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203.%20Convert%20between%20DuckDB%2C%20Arrow%2C%20and%20Polars%2FPandas%20DataFrames.%0A%0A%20%20%20%20The%20real%20power%20of%20DuckDB's%20Arrow%20integration%20comes%20from%20its%20seamless%20interoperability%20with%20data%20frame%20libraries%20like%20Polars%20and%20Pandas.%20Because%20they%20all%20share%20the%20Arrow%20in-memory%20format%2C%20conversions%20are%20often%20zero-copy%20and%20extremely%20fast.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20From%20DuckDB%20to%20Polars%2FPandas%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pl%2C%20users_arrow_table)%3A%0A%20%20%20%20%23%20Convert%20the%20Arrow%20table%20to%20a%20Polars%20DataFrame%0A%20%20%20%20users_polars_df%20%3D%20pl.from_arrow(users_arrow_table)%0A%20%20%20%20users_polars_df%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(users_arrow_table)%3A%0A%20%20%20%20%23%20Convert%20the%20Arrow%20table%20to%20a%20Pandas%20DataFrame%0A%20%20%20%20users_pandas_df%20%3D%20users_arrow_table.to_pandas()%0A%20%20%20%20users_pandas_df%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20From%20Polars%2FPandas%20to%20DuckDB%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pl)%3A%0A%20%20%20%20%23%20Create%20a%20Polars%20DataFrame%0A%20%20%20%20polars_df%20%3D%20pl.DataFrame(%7B%0A%20%20%20%20%20%20%20%20%22product_id%22%3A%20%5B101%2C%20102%2C%20103%5D%2C%0A%20%20%20%20%20%20%20%20%22product_name%22%3A%20%5B%22Laptop%22%2C%20%22Mouse%22%2C%20%22Keyboard%22%5D%2C%0A%20%20%20%20%20%20%20%20%22price%22%3A%20%5B1200.00%2C%2025.50%2C%2075.00%5D%0A%20%20%20%20%7D)%0A%20%20%20%20polars_df%0A%20%20%20%20return%20(polars_df%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Now%20we%20can%20query%20this%20Polars%20DataFrame%20directly%20in%20DuckDB%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20polars_df)%3A%0A%20%20%20%20%23%20Query%20the%20Polars%20DataFrame%20directly%20in%20DuckDB%0A%20%20%20%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20product_name%2C%20price%0A%20%20%20%20%20%20%20%20FROM%20polars_df%0A%20%20%20%20%20%20%20%20WHERE%20price%20%3E%2050%0A%20%20%20%20%20%20%20%20ORDER%20BY%20price%20DESC%3B%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Similarly%2C%20we%20can%20query%20a%20Pandas%20DataFrame%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pd)%3A%0A%20%20%20%20%23%20Create%20a%20Pandas%20DataFrame%0A%20%20%20%20pandas_df%20%3D%20pd.DataFrame(%7B%0A%20%20%20%20%20%20%20%20%22order_id%22%3A%20%5B1001%2C%201002%2C%201003%2C%201004%5D%2C%0A%20%20%20%20%20%20%20%20%22product_id%22%3A%20%5B101%2C%20102%2C%20103%2C%20101%5D%2C%0A%20%20%20%20%20%20%20%20%22quantity%22%3A%20%5B1%2C%202%2C%201%2C%203%5D%2C%0A%20%20%20%20%20%20%20%20%22order_date%22%3A%20pd.to_datetime(%5B'2024-01-15'%2C%20'2024-01-16'%2C%20'2024-01-16'%2C%20'2024-01-17'%5D)%0A%20%20%20%20%7D)%0A%20%20%20%20pandas_df%0A%20%20%20%20return%20(pandas_df%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20pandas_df)%3A%0A%20%20%20%20%23%20Query%20the%20Pandas%20DataFrame%20in%20DuckDB%0A%20%20%20%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20order_date%2C%20SUM(quantity)%20as%20total_quantity%0A%20%20%20%20%20%20%20%20FROM%20pandas_df%0A%20%20%20%20%20%20%20%20GROUP%20BY%20order_date%0A%20%20%20%20%20%20%20%20ORDER%20BY%20order_date%3B%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%204.%20Advanced%20Example%3A%20Combining%20Multiple%20Data%20Sources%0A%0A%20%20%20%20One%20of%20the%20most%20powerful%20features%20is%20the%20ability%20to%20join%20data%20from%20different%20sources%20(DuckDB%20tables%2C%20Arrow%20tables%2C%20Polars%2FPandas%20DataFrames)%20in%20a%20single%20query%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20pandas_df%2C%20polars_df%2C%20users)%3A%0A%20%20%20%20%23%20Join%20the%20DuckDB%20users%20table%20with%20the%20Polars%20products%20DataFrame%20and%20Pandas%20orders%20DataFrame%0A%20%20%20%20result%20%3D%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20%0A%20%20%20%20%20%20%20%20%20%20%20%20u.name%20as%20customer_name%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20p.product_name%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20o.quantity%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20p.price%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(o.quantity%20*%20p.price)%20as%20total_amount%0A%20%20%20%20%20%20%20%20FROM%20users%20u%0A%20%20%20%20%20%20%20%20CROSS%20JOIN%20pandas_df%20o%0A%20%20%20%20%20%20%20%20JOIN%20polars_df%20p%20ON%20o.product_id%20%3D%20p.product_id%0A%20%20%20%20%20%20%20%20WHERE%20u.id%20%3D%201%20%20--%20Just%20for%20Alice%0A%20%20%20%20%20%20%20%20ORDER%20BY%20o.order_date%3B%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20result%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%205.%20Performance%20Benefits%20of%20Arrow%20Integration%0A%0A%20%20%20%20The%20zero-copy%20integration%20between%20DuckDB%20and%20Apache%20Arrow%20delivers%20significant%20performance%20and%20memory%20benefits.%20This%20seamless%20integration%20enables%3A%0A%0A%20%20%20%20%23%23%23%20Key%20Benefits%3A%0A%0A%20%20%20%20-%20**Memory%20Efficiency**%3A%20Arrow's%20columnar%20format%20uses%2020-40%25%20less%20memory%20than%20traditional%20DataFrames%20through%20compact%20columnar%20representation%20and%20better%20compression%20ratios%0A%20%20%20%20-%20**Zero-Copy%20Operations**%3A%20Data%20can%20be%20shared%20between%20DuckDB%20and%20Arrow-compatible%20systems%20(Polars%2C%20Pandas)%20without%20any%20data%20copying%2C%20eliminating%20redundant%20memory%20usage%0A%20%20%20%20-%20**Query%20Performance**%3A%202-10x%20faster%20queries%20compared%20to%20traditional%20approaches%20that%20require%20data%20copying%0A%20%20%20%20-%20**Larger-than-Memory%20Analysis**%3A%20Both%20DuckDB%20and%20Arrow-compatible%20libraries%20support%20streaming%20query%20results%2C%20allowing%20you%20to%20execute%20queries%20on%20data%20larger%20than%20available%20memory%20by%20processing%20data%20in%20batches.%0A%20%20%20%20-%20**Advanced%20Query%20Optimization**%3A%20DuckDB's%20optimizer%20can%20push%20down%20filters%20and%20projections%20directly%20into%20Arrow%20scans%2C%20reading%20only%20relevant%20columns%20and%20partitions%0A%20%20%20%20Let's%20demonstrate%20these%20benefits%20with%20concrete%20examples%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Memory%20Efficiency%20Demonstration%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pd%2C%20pl)%3A%0A%20%20%20%20import%20sys%0A%20%20%20%20import%20time%0A%0A%20%20%20%20%23%20Create%20identical%20datasets%20in%20different%20formats%0A%20%20%20%20n_rows%20%3D%201_000_000%0A%0A%20%20%20%20%23%20Pandas%20DataFrame%20(traditional%20approach)%0A%20%20%20%20pandas_data%20%3D%20pd.DataFrame(%7B%0A%20%20%20%20%20%20%20%20%22id%22%3A%20range(n_rows)%2C%0A%20%20%20%20%20%20%20%20%22value%22%3A%20%5Bi%20*%202.5%20for%20i%20in%20range(n_rows)%5D%2C%0A%20%20%20%20%20%20%20%20%22category%22%3A%20%5Bf%22cat_%7Bi%20%25%20100%7D%22%20for%20i%20in%20range(n_rows)%5D%2C%0A%20%20%20%20%20%20%20%20%22description%22%3A%20%5Bf%22This%20is%20a%20longer%20text%20description%20for%20row%20%7Bi%7D%22%20for%20i%20in%20range(n_rows)%5D%0A%20%20%20%20%7D)%0A%0A%20%20%20%20%23%20Polars%20DataFrame%20(Arrow-based)%0A%20%20%20%20polars_data%20%3D%20pl.DataFrame(%7B%0A%20%20%20%20%20%20%20%20%22id%22%3A%20range(n_rows)%2C%0A%20%20%20%20%20%20%20%20%22value%22%3A%20pl.Series(%5Bi%20*%202.5%20for%20i%20in%20range(n_rows)%5D)%2C%0A%20%20%20%20%20%20%20%20%22category%22%3A%20pl.Series(%5Bf%22cat_%7Bi%20%25%20100%7D%22%20for%20i%20in%20range(n_rows)%5D)%2C%0A%20%20%20%20%20%20%20%20%22description%22%3A%20pl.Series(%5Bf%22This%20is%20a%20longer%20text%20description%20for%20row%20%7Bi%7D%22%20for%20i%20in%20range(n_rows)%5D)%0A%20%20%20%20%7D)%0A%0A%20%20%20%20%23%20Get%20memory%20usage%0A%20%20%20%20pandas_memory%20%3D%20pandas_data.memory_usage(deep%3DTrue).sum()%20%2F%201024%20%2F%201024%20%20%23%20MB%0A%20%20%20%20polars_memory%20%3D%20polars_data.estimated_size()%20%2F%201024%20%2F%201024%20%20%23%20MB%0A%0A%20%20%20%20print(f%22Dataset%20size%3A%20%7Bn_rows%3A%2C%7D%20rows%22)%0A%20%20%20%20print(f%22Pandas%20memory%20usage%3A%20%7Bpandas_memory%3A.2f%7D%20MB%22)%0A%20%20%20%20print(f%22Polars%20(Arrow)%20memory%20usage%3A%20%7Bpolars_memory%3A.2f%7D%20MB%22)%0A%20%20%20%20print(f%22Memory%20savings%3A%20%7B((pandas_memory%20-%20polars_memory)%20%2F%20pandas_memory%20*%20100)%3A.1f%7D%25%22)%0A%20%20%20%20return%20pandas_data%2C%20polars_data%2C%20time%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Performance%20Comparison%3A%20Arrow%20vs%20Non-Arrow%20Approaches%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Let's%20compare%20three%20approaches%20for%20the%20same%20analytical%20query%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(duckdb%2C%20mo%2C%20pandas_data%2C%20polars_data%2C%20time)%3A%0A%20%20%20%20%23%20Test%20query%3A%20group%20by%20category%20and%20calculate%20aggregations%0A%20%20%20%20query%20%3D%20%22%22%22%0A%20%20%20%20SELECT%20%0A%20%20%20%20%20%20%20%20category%2C%0A%20%20%20%20%20%20%20%20COUNT(*)%20as%20count%2C%0A%20%20%20%20%20%20%20%20AVG(value)%20as%20avg_value%2C%0A%20%20%20%20%20%20%20%20MIN(value)%20as%20min_value%2C%0A%20%20%20%20%20%20%20%20MAX(value)%20as%20max_value%2C%0A%20%20%20%20%20%20%20%20SUM(value)%20as%20sum_value%0A%20%20%20%20FROM%20data_source%0A%20%20%20%20GROUP%20BY%20category%0A%20%20%20%20ORDER%20BY%20count%20DESC%0A%20%20%20%20%22%22%22%0A%0A%20%20%20%20%23%20Approach%201%3A%20Traditional%20-%20Copy%20data%20to%20DuckDB%20table%0A%20%20%20%20start_time%20%3D%20time.time()%0A%20%20%20%20conn%20%3D%20duckdb.connect('%3Amemory%3A')%0A%20%20%20%20conn.execute(%22CREATE%20TABLE%20pandas_table%20AS%20SELECT%20*%20FROM%20pandas_data%22)%0A%20%20%20%20result1%20%3D%20conn.execute(query.replace(%22data_source%22%2C%20%22pandas_table%22)).fetchall()%0A%20%20%20%20%23%20conn.close()%0A%20%20%20%20approach1_time%20%3D%20time.time()%20-%20start_time%0A%0A%20%20%20%20%23%20Approach%202%3A%20Direct%20Pandas%20query%20(no%20DuckDB)%0A%20%20%20%20start_time%20%3D%20time.time()%0A%20%20%20%20result2%20%3D%20pandas_data.groupby('category').agg(%7B%0A%20%20%20%20%20%20%20%20'id'%3A%20'count'%2C%0A%20%20%20%20%20%20%20%20'value'%3A%20%5B'mean'%2C%20'min'%2C%20'max'%2C%20'sum'%5D%0A%20%20%20%20%7D).sort_values(('id'%2C%20'count')%2C%20ascending%3DFalse)%0A%20%20%20%20approach2_time%20%3D%20time.time()%20-%20start_time%0A%0A%20%20%20%20%23%20Approach%203%3A%20Arrow-based%20-%20Zero-copy%20with%20Polars%0A%20%20%20%20start_time%20%3D%20time.time()%0A%20%20%20%20result3%20%3D%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20%0A%20%20%20%20%20%20%20%20%20%20%20%20category%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT(*)%20as%20count%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20AVG(value)%20as%20avg_value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20MIN(value)%20as%20min_value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20MAX(value)%20as%20max_value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20SUM(value)%20as%20sum_value%0A%20%20%20%20%20%20%20%20FROM%20polars_data%0A%20%20%20%20%20%20%20%20GROUP%20BY%20category%0A%20%20%20%20%20%20%20%20ORDER%20BY%20count%20DESC%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20approach3_time%20%3D%20time.time()%20-%20start_time%0A%0A%20%20%20%20print(%22Performance%20Comparison%3A%22)%0A%20%20%20%20print(f%221.%20Traditional%20(copy%20to%20DuckDB)%3A%20%7Bapproach1_time%3A.3f%7D%20seconds%22)%0A%20%20%20%20print(f%222.%20Pandas%20groupby%3A%20%7Bapproach2_time%3A.3f%7D%20seconds%22)%0A%20%20%20%20print(f%223.%20Arrow-based%20(zero-copy)%3A%20%7Bapproach3_time%3A.3f%7D%20seconds%22)%0A%20%20%20%20print(f%22%5CnSpeedup%20vs%20traditional%3A%20%7Bapproach1_time%2Fapproach3_time%3A.1f%7Dx%22)%0A%20%20%20%20print(f%22Speedup%20vs%20pandas%3A%20%7Bapproach2_time%2Fapproach3_time%3A.1f%7Dx%22)%0A%0A%20%20%20%20%23%20Return%20timing%20variables%20but%20not%20the%20closed%20connection%0A%20%20%20%20return%20approach1_time%2C%20approach2_time%2C%20approach3_time%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Visualizing%20the%20Performance%20Difference%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(approach1_time%2C%20approach2_time%2C%20approach3_time%2C%20mo%2C%20pl)%3A%0A%20%20%20%20import%20altair%20as%20alt%0A%0A%20%20%20%20%23%20Create%20a%20bar%20chart%20showing%20the%20performance%20comparison%0A%20%20%20%20performance_data%20%3D%20pl.DataFrame(%7B%0A%20%20%20%20%20%20%20%20%22Approach%22%3A%20%5B%22Traditional%5Cn(Copy%20to%20DuckDB)%22%2C%20%22Pandas%5CnGroupBy%22%2C%20%22Arrow-based%5Cn(Zero-copy)%22%5D%2C%0A%20%20%20%20%20%20%20%20%22Time%20(seconds)%22%3A%20%5Bapproach1_time%2C%20approach2_time%2C%20approach3_time%5D%0A%20%20%20%20%7D)%0A%0A%20%20%20%20%23%20Create%20the%20Altair%20chart%0A%20%20%20%20chart%20%3D%20alt.Chart(performance_data.to_pandas()).mark_bar().encode(%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%22Approach%22%2C%20type%3D%22nominal%22%2C%20sort%3D%22-y%22)%2C%0A%20%20%20%20%20%20%20%20y%3Dalt.Y(%22Time%20(seconds)%22%2C%20type%3D%22quantitative%22)%2C%0A%20%20%20%20%20%20%20%20color%3Dalt.Color(%22Approach%22%2C%20type%3D%22nominal%22%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(range%3D%5B%22%23ff6b6b%22%2C%20%22%23ffd93d%22%2C%20%22%236bcf7f%22%5D))%0A%20%20%20%20).properties(%0A%20%20%20%20%20%20%20%20title%3D%22Query%20Performance%20Comparison%22%2C%0A%20%20%20%20%20%20%20%20width%3D400%2C%0A%20%20%20%20%20%20%20%20height%3D300%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Display%20using%20marimo's%20altair_chart%20UI%20element%0A%20%20%20%20mo.ui.altair_chart(chart)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Complex%20Query%20Performance%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Let's%20test%20a%20more%20complex%20query%20with%20joins%20and%20window%20functions%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20pl%2C%20polars_data%2C%20time)%3A%0A%20%20%20%20%23%20Create%20additional%20datasets%20for%20join%20operations%0A%20%20%20%20categories_df%20%3D%20pl.DataFrame(%7B%0A%20%20%20%20%20%20%20%20%22category%22%3A%20%5Bf%22cat_%7Bi%7D%22%20for%20i%20in%20range(100)%5D%2C%0A%20%20%20%20%20%20%20%20%22category_group%22%3A%20%5Bf%22group_%7Bi%20%2F%2F%2010%7D%22%20for%20i%20in%20range(100)%5D%2C%0A%20%20%20%20%20%20%20%20%22priority%22%3A%20%5Bi%20%25%205%20%2B%201%20for%20i%20in%20range(100)%5D%0A%20%20%20%20%7D)%0A%0A%20%20%20%20%23%20Complex%20query%20with%20join%20and%20window%20functions%0A%20%20%20%20new_start_time%20%3D%20time.time()%0A%0A%20%20%20%20complex_result%20%3D%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20WITH%20ranked_data%20AS%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20SELECT%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20d.*%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20c.category_group%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20c.priority%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ROW_NUMBER()%20OVER%20(PARTITION%20BY%20c.category_group%20ORDER%20BY%20d.value%20DESC)%20as%20rank_in_group%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20AVG(d.value)%20OVER%20(PARTITION%20BY%20c.category_group)%20as%20group_avg_value%0A%20%20%20%20%20%20%20%20%20%20%20%20FROM%20polars_data%20d%0A%20%20%20%20%20%20%20%20%20%20%20%20JOIN%20categories_df%20c%20ON%20d.category%20%3D%20c.category%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20SELECT%20%0A%20%20%20%20%20%20%20%20%20%20%20%20category_group%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT(DISTINCT%20category)%20as%20unique_categories%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20AVG(value)%20as%20avg_value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20MAX(value)%20as%20max_value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20AVG(group_avg_value)%20as%20avg_group_value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT(CASE%20WHEN%20rank_in_group%20%3C%3D%2010%20THEN%201%20END)%20as%20top_10_count%0A%20%20%20%20%20%20%20%20FROM%20ranked_data%0A%20%20%20%20%20%20%20%20GROUP%20BY%20category_group%0A%20%20%20%20%20%20%20%20ORDER%20BY%20avg_value%20DESC%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%0A%20%20%20%20complex_query_time%20%3D%20time.time()%20-%20new_start_time%0A%20%20%20%20print(f%22Complex%20query%20with%20joins%20and%20window%20functions%20completed%20in%20%7Bcomplex_query_time%3A.3f%7D%20seconds%22)%0A%0A%20%20%20%20complex_result%0A%20%20%20%20return%20(categories_df%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Memory%20Efficiency%20During%20Operations%0A%0A%20%20%20%20Let's%20demonstrate%20how%20Arrow's%20zero-copy%20operations%20save%20memory%20during%20data%20transformations%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20polars_data%2C%20time)%3A%0A%20%20%20%20import%20pyarrow.compute%20as%20pc%0A%0A%20%20%20%20%23%20Perform%20multiple%20Arrow-based%20operations%20(zero-copy)%0A%20%20%20%20latest_start_time%20%3D%20time.time()%0A%0A%20%20%20%20%23%20These%20operations%20use%20Arrow's%20zero-copy%20capabilities%0A%20%20%20%20arrow_table%20%3D%20polars_data.to_arrow()%0A%20%20%20%20arrow_sliced%20%3D%20arrow_table.slice(0%2C%20100000)%0A%20%20%20%20arrow_filtered%20%3D%20arrow_table.filter(pc.greater(arrow_table%5B'value'%5D%2C%20500000))%0A%0A%20%20%20%20arrow_ops_time%20%3D%20time.time()%20-%20latest_start_time%0A%0A%20%20%20%20%23%20Compare%20with%20traditional%20copy-based%20operations%0A%20%20%20%20latest_start_time%20%3D%20time.time()%0A%0A%20%20%20%20%23%20These%20operations%20may%20create%20copies%20depending%20on%20Pandas'%20Copy-on-Write%20(CoW)%20behavior%0A%20%20%20%20pandas_copy%20%3D%20polars_data.to_pandas()%0A%20%20%20%20pandas_sliced%20%3D%20pandas_copy.iloc%5B%3A100000%5D.copy()%0A%20%20%20%20pandas_filtered%20%3D%20pandas_copy%5Bpandas_copy%5B'value'%5D%20%3E%20500000%5D.copy()%0A%0A%20%20%20%20copy_ops_time%20%3D%20time.time()%20-%20latest_start_time%0A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20**Time%20comparison%3A**%0A%0A%20%20%20%20%7C%20Method%20%7C%20Time%20(s)%20%7C%0A%20%20%20%20%7C--------%7C----------%7C%0A%20%20%20%20%7C%20Arrow%20operations%20%7C%20%7Barrow_ops_time%3A.3f%7D%20%7C%0A%20%20%20%20%7C%20Copy%20operations%20%7C%20%7Bcopy_ops_time%3A.3f%7D%20%7C%0A%20%20%20%20%7C%20Speedup%20%7C%20%7Bcopy_ops_time%2Farrow_ops_time%3A.1f%7Dx%20%7C%0A%0A%20%20%20%20%3E%20**Note%3A**%20Memory%20usage%20statistics%20are%20not%20available%20in%20this%20environment.%0A%20%20%20%20%3E%20Arrow's%20zero-copy%20design%20typically%20uses%2020%E2%80%9340%25%20less%20memory%20than%20Pandas%20copies.%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Summary%0A%0A%20%20%20%20In%20this%20notebook%2C%20we've%20explored%3A%0A%0A%20%20%20%201.%20**Creating%20Arrow%20tables%20from%20DuckDB%20queries**%20using%20%60.to_arrow()%60%0A%20%20%20%202.%20**Loading%20Arrow%20tables%20into%20DuckDB**%20and%20querying%20them%20directly%0A%20%20%20%203.%20**Converting%20between%20DuckDB%2C%20Arrow%2C%20Polars%2C%20and%20Pandas**%20with%20zero-copy%20operations%0A%20%20%20%204.%20**Combining%20data%20from%20multiple%20sources**%20in%20a%20single%20SQL%20query%0A%20%20%20%205.%20**Performance%20and%20memory%20benefits**%20including%3A%0A%20%20%20%20%20%20%20%20-%20**Memory%20efficiency**%3A%20Arrow%20format%20uses%2020-40%25%20less%20memory%20than%20traditional%20DataFrames%0A%20%20%20%20%20%20%20%20-%20**Query%20performance**%3A%202-10x%20faster%20queries%20through%20zero-copy%20operations%0A%20%20%20%20%20%20%20%20-%20**Reduced%20memory%20overhead**%3A%20Operations%20on%20Arrow%20data%20avoid%20creating%20copies%0A%20%20%20%20%20%20%20%20-%20**Better%20scalability**%3A%20Can%20handle%20larger%20datasets%20within%20the%20same%20memory%20constraints%0A%0A%20%20%20%20The%20seamless%20integration%20between%20DuckDB%20and%20Arrow-compatible%20systems%20makes%20it%20easy%20to%20work%20with%20data%20across%20different%20tools%20while%20maintaining%20high%20performance%20and%20memory%20efficiency.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20pyarrow%20as%20pa%0A%20%20%20%20import%20polars%20as%20pl%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20import%20duckdb%0A%20%20%20%20import%20sqlglot%0A%0A%20%20%20%20return%20duckdb%2C%20mo%2C%20pa%2C%20pd%2C%20pl%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A