08 loading parquet

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.10%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22duckdb%3D%3D1.4.4%22%2C%0A%23%20%20%20%20%20%22polars%5Bpyarrow%5D%3D%3D1.24.0%22%2C%0A%23%20%20%20%20%20%22plotly%5Bexpress%5D%3D%3D6.3.0%22%2C%0A%23%20%20%20%20%20%22sqlglot%3D%3D27.0.0%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.21.1%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Loading%20Parquet%20files%20with%20DuckDB%0A%20%20%20%20*By%20%5BThomas%20Liang%5D(https%3A%2F%2Fgithub.com%2Fthliang01)*%0A%20%20%20%20%23%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%5BApache%20Parquet%5D(https%3A%2F%2Fparquet.apache.org%2F)%20is%20a%20popular%20columnar%20storage%20format%2C%20optimized%20for%20analytics.%20Its%20columnar%20nature%20allows%20query%20engines%20like%20DuckDB%20to%20read%20only%20the%20necessary%20columns%2C%20leading%20to%20significant%20performance%20gains%2C%20especially%20for%20wide%20tables.%0A%0A%20%20%20%20DuckDB%20has%20excellent%2C%20built-in%20support%20for%20reading%20Parquet%20files%2C%20making%20it%20incredibly%20easy%20to%20query%20and%20analyze%20Parquet%20data%20directly%20without%20a%20separate%20loading%20step.%0A%0A%20%20%20%20In%20this%20notebook%2C%20we'll%20explore%20how%20to%20load%20and%20analyze%20Airbnb's%20stock%20price%20data%20from%20a%20remote%20Parquet%20file%3A%0A%20%20%20%20%3Cul%3E%0A%20%20%20%20%20%20%20%20%3Cli%3EQuerying%20a%20remote%20Parquet%20file%20directly.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%3Cli%3EUsing%20the%20%60read_parquet%60%20function%20for%20more%20control.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%3Cli%3ECreating%20a%20persistent%20table%20from%20a%20Parquet%20file.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%3Cli%3EPerforming%20basic%20data%20analysis%20and%20visualization.%3C%2Fli%3E%0A%20%20%20%20%3C%2Ful%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20AIRBNB_URL%20%3D%20'https%3A%2F%2Fhuggingface.co%2Fdatasets%2FBatteRaquette58%2Fairbnb-stock-price%2Fresolve%2Fmain%2Fdata%2Fairbnb-stock.parquet'%0A%20%20%20%20return%20(AIRBNB_URL%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Using%20%60FROM%60%20to%20query%20Parquet%20files%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20The%20simplest%20way%20to%20query%20a%20Parquet%20file%20is%20to%20use%20it%20directly%20in%20a%20%60FROM%60%20clause%2C%20just%20like%20you%20would%20with%20a%20table.%20DuckDB%20will%20automatically%20detect%20that%20it's%20a%20Parquet%20file%20and%20read%20it%20accordingly.%0A%0A%20%20%20%20Let's%20query%20a%20dataset%20of%20Airbnb's%20stock%20price%20from%20Hugging%20Face.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(AIRBNB_URL%2C%20mo)%3A%0A%20%20%20%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20*%0A%20%20%20%20%20%20%20%20FROM%20'%7BAIRBNB_URL%7D'%0A%20%20%20%20%20%20%20%20LIMIT%205%3B%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Using%20%60read_parquet%60%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20For%20more%20control%2C%20you%20can%20use%20the%20%60read_parquet%60%20table%20function.%20This%20is%20useful%20when%20you%20need%20to%20specify%20options%2C%20for%20example%2C%20when%20dealing%20with%20multiple%20files%20or%20specific%20data%20types.%0A%20%20%20%20Some%20useful%20options%20for%20%60read_parquet%60%20include%3A%0A%0A%20%20%20%20-%20%60binary_as_string%3DTrue%60%3A%20Reads%20%60BINARY%60%20columns%20as%20%60VARCHAR%60.%0A%20%20%20%20-%20%60filename%3DTrue%60%3A%20Adds%20a%20%60filename%60%20column%20with%20the%20path%20of%20the%20file%20for%20each%20row.%0A%20%20%20%20-%20%60hive_partitioning%3DTrue%60%3A%20Enables%20reading%20of%20Hive-partitioned%20datasets.%0A%0A%20%20%20%20Here%2C%20we'll%20use%20%60read_parquet%60%20to%20select%20only%20a%20few%20relevant%20columns.%20This%20is%20much%20more%20efficient%20than%20%60SELECT%20*%60%20because%20DuckDB%20only%20needs%20to%20read%20the%20data%20for%20the%20columns%20we%20specify.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(AIRBNB_URL%2C%20mo)%3A%0A%20%20%20%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20Date%2C%20Open%2C%20%22close_last%22%2C%20High%2C%20Low%0A%20%20%20%20%20%20%20%20FROM%20read_parquet('%7BAIRBNB_URL%7D')%0A%20%20%20%20%20%20%20%20LIMIT%205%3B%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20You%20can%20also%20read%20multiple%20Parquet%20files%20at%20once%20using%20a%20glob%20pattern.%20For%20example%2C%20to%20read%20all%20Parquet%20files%20in%20a%20directory%20%60data%2F%60%3A%0A%0A%20%20%20%20%60%60%60sql%0A%20%20%20%20SELECT%20*%20FROM%20read_parquet('data%2F*.parquet')%3B%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Creating%20a%20table%20from%20a%20Parquet%20file%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20While%20querying%20Parquet%20files%20directly%20is%20powerful%2C%20sometimes%20it's%20useful%20to%20load%20the%20data%20into%20a%20persistent%20table%20within%20your%20DuckDB%20database.%20This%20can%20simplify%20subsequent%20queries%20and%20is%20a%20good%20practice%20if%20you'll%20be%20accessing%20the%20data%20frequently.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(AIRBNB_URL%2C%20mo)%3A%0A%20%20%20%20stock_table%20%3D%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20CREATE%20OR%20REPLACE%20TABLE%20airbnb_stock%20AS%0A%20%20%20%20%20%20%20%20SELECT%20*%20FROM%20read_parquet('%7BAIRBNB_URL%7D')%3B%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%20(stock_table%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20stock_table)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%7Bstock_table%7D%0A%0A%20%20%20%20Now%20that%20the%20%60airbnb_stock%60%20table%20is%20created%2C%20we%20can%20query%20it%20like%20any%20other%20SQL%20table.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(airbnb_stock%2C%20mo)%3A%0A%20%20%20%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20*%20FROM%20airbnb_stock%20LIMIT%205%3B%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Analysis%20and%20Visualization%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Let's%20perform%20a%20simple%20analysis%3A%20plotting%20the%20closing%20stock%20price%20over%20time.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(airbnb_stock%2C%20mo)%3A%0A%20%20%20%20stock_data%20%3D%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%0A%20%20%20%20%20%20%20%20CAST(to_timestamp(Date)%20AS%20DATE)%20AS%20%22Date%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22close_last%22%0A%20%20%20%20%20%20%20%20FROM%20airbnb_stock%0A%20%20%20%20%20%20%20%20ORDER%20BY%20%22Date%22%3B%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%20(stock_data%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Now%20we%20can%20easily%20visualize%20this%20result%20using%20marimo's%20integration%20with%20plotting%20libraries%20like%20Plotly.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(px%2C%20stock_data)%3A%0A%20%20%20%20px.line(%0A%20%20%20%20%20%20%20%20stock_data%2C%0A%20%20%20%20%20%20%20%20x%3D%22Date%22%2C%0A%20%20%20%20%20%20%20%20y%3D%22close_last%22%2C%0A%20%20%20%20%20%20%20%20title%3D%22Airbnb%20(ABNB)%20Stock%20Price%20Over%20Time%22%2C%0A%20%20%20%20%20%20%20%20labels%3D%7B%22Date%22%3A%20%22Date%22%2C%20%22close_last%22%3A%20%22Closing%20Price%20(USD)%22%7D%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Conclusion%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20In%20this%20notebook%2C%20we've%20seen%20how%20easy%20it%20is%20to%20work%20with%20Parquet%20files%20in%20DuckDB.%20We%20learned%20how%20to%3A%0A%20%20%20%20%3Cul%3E%0A%20%20%20%20%20%20%20%20%3Cli%3EQuery%20Parquet%20files%20directly%20from%20a%20URL%20using%20a%20simple%20%60FROM%60%20clause.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%3Cli%3EUse%20the%20%60read_parquet%60%20function%20for%20more%20fine-grained%20control%20and%20efficiency.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%3Cli%3ELoad%20data%20from%20a%20Parquet%20file%20into%20a%20DuckDB%20table.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%3Cli%3ESeamlessly%20analyze%20and%20visualize%20the%20data%20using%20SQL%20and%20Python.%3C%2Fli%3E%0A%20%20%20%20%3C%2Ful%3E%0A%0A%20%20%20%20DuckDB's%20native%20Parquet%20support%20makes%20it%20a%20powerful%20tool%20for%20interactive%20data%20analysis%20on%20large%20datasets%20without%20complex%20ETL%20pipelines.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20plotly.express%20as%20px%0A%0A%20%20%20%20return%20mo%2C%20px%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20pyarrow%0A%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A