09 loading json

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22duckdb%3D%3D1.4.4%22%2C%0A%23%20%20%20%20%20%22polars%5Bpyarrow%5D%3D%3D1.24.0%22%2C%0A%23%20%20%20%20%20%22sqlglot%3D%3D27.0.0%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.21.1%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Loading%20JSON%0A%0A%20%20%20%20DuckDB%20supports%20reading%20and%20writing%20JSON%20through%20the%20%60json%60%20extension%20that%20should%20be%20present%20in%20most%20distributions%20and%20is%20autoloaded%20on%20first-use.%20If%20it's%20not%2C%20you%20can%20%5Binstall%20and%20load%5D(https%3A%2F%2Fduckdb.org%2Fdocs%2Fstable%2Fdata%2Fjson%2Finstalling_and_loading.html)%20it%20manually%20like%20any%20other%20extension.%0A%0A%20%20%20%20In%20this%20tutorial%20we'll%20cover%204%20different%20ways%20we%20can%20transfer%20JSON%20data%20in%20and%20out%20of%20DuckDB%3A%0A%0A%20%20%20%20-%20%5B%60FROM%60%5D(https%3A%2F%2Fduckdb.org%2Fdocs%2Fstable%2Fsql%2Fquery_syntax%2Ffrom.html)%20statement.%0A%20%20%20%20-%20%5B%60read_json%60%5D(https%3A%2F%2Fduckdb.org%2Fdocs%2Fstable%2Fdata%2Fjson%2Floading_json%23the-read_json-function)%20function.%0A%20%20%20%20-%20%5B%60COPY%60%5D(https%3A%2F%2Fduckdb.org%2Fdocs%2Fstable%2Fsql%2Fstatements%2Fcopy%23copy--from)%20statement.%0A%20%20%20%20-%20%5B%60IMPORT%20DATABASE%60%5D(https%3A%2F%2Fduckdb.org%2Fdocs%2Fstable%2Fsql%2Fstatements%2Fexport.html)%20statement.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Using%20%60FROM%60%0A%0A%20%20%20%20Loading%20data%20using%20%60FROM%60%20is%20simple%20and%20straightforward.%20We%20use%20a%20path%20or%20URL%20to%20the%20file%20we%20want%20to%20load%20where%20we'd%20normally%20put%20a%20table%20name.%20When%20we%20do%20this%2C%20DuckDB%20attempts%20to%20infer%20the%20right%20way%20to%20read%20the%20file%20including%20the%20correct%20format%20and%20column%20types.%20In%20most%20cases%20this%20is%20all%20we%20need%20to%20load%20data%20into%20DuckDB.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20_df%20%3D%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20*%20FROM%20'https%3A%2F%2Fraw.githubusercontent.com%2Fvega%2Fvega-datasets%2Frefs%2Fheads%2Fmain%2Fdata%2Fcars.json'%3B%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Using%20%60read_json%60%0A%0A%20%20%20%20For%20greater%20control%20over%20how%20the%20JSON%20is%20read%2C%20we%20can%20directly%20call%20the%20%5B%60read_json%60%5D(https%3A%2F%2Fduckdb.org%2Fdocs%2Fstable%2Fdata%2Fjson%2Floading_json%23the-read_json-function)%20function.%20It%20supports%20a%20few%20different%20arguments%20%E2%80%94%20some%20common%20ones%20are%3A%0A%0A%20%20%20%20-%20%60format%3D'array'%60%20or%20%60format%3D'newline_delimited'%60%20-%20the%20former%20tells%20DuckDB%20that%20the%20rows%20should%20be%20read%20from%20a%20top-level%20JSON%20array%20while%20the%20latter%20means%20the%20rows%20should%20be%20read%20from%20JSON%20objects%20separated%20by%20a%20newline%20(JSONL%2FNDJSON).%0A%20%20%20%20-%20%60ignore_errors%3Dtrue%60%20-%20skips%20lines%20with%20parse%20errors%20when%20reading%20newline%20delimited%20JSON.%0A%20%20%20%20-%20%60columns%3D%7BcolumnName%3A%20type%2C%20...%7D%60%20-%20lets%20you%20set%20types%20for%20individual%20columns%20manually.%0A%20%20%20%20-%20%60dateformat%60%20and%20%60timestampformat%60%20-%20controls%20how%20DuckDB%20attempts%20to%20parse%20%5BDate%5D(https%3A%2F%2Fduckdb.org%2Fdocs%2Fstable%2Fsql%2Fdata_types%2Fdate)%20and%20%5BTimestamp%5D(https%3A%2F%2Fduckdb.org%2Fdocs%2Fstable%2Fsql%2Fdata_types%2Ftimestamp)%20types.%20Use%20the%20format%20specifiers%20specified%20in%20the%20%5Bdocs%5D(https%3A%2F%2Fduckdb.org%2Fdocs%2Fstable%2Fsql%2Ffunctions%2Fdateformat.html%23format-specifiers).%0A%0A%20%20%20%20We%20could%20rewrite%20the%20previous%20query%20more%20explicitly%20as%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20cars_df%20%3D%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20*%0A%20%20%20%20%20%20%20%20FROM%0A%20%20%20%20%20%20%20%20%20%20%20%20read_json(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'https%3A%2F%2Fraw.githubusercontent.com%2Fvega%2Fvega-datasets%2Frefs%2Fheads%2Fmain%2Fdata%2Fcars.json'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20format%20%3D%20'array'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20columns%20%3D%20%7B%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Name%3A'VARCHAR'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Miles_per_Gallon%3A'FLOAT'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Cylinders%3A'FLOAT'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Displacement%3A'FLOAT'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Horsepower%3A'FLOAT'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Weight_in_lbs%3A'FLOAT'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Acceleration%3A'FLOAT'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Year%3A'DATE'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Origin%3A'VARCHAR'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dateformat%20%3D%20'%25Y-%25m-%25d'%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%3B%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Other%20than%20singular%20files%20we%20can%20read%20%5Bmultiple%20files%5D(https%3A%2F%2Fduckdb.org%2Fdocs%2Fstable%2Fdata%2Fmultiple_files%2Foverview.html)%20at%20a%20time%20by%20either%20passing%20a%20list%20of%20files%20or%20a%20UNIX%20glob%20pattern.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Using%20%60COPY%60%0A%0A%20%20%20%20%60COPY%60%20is%20for%20useful%20both%20for%20importing%20and%20exporting%20data%20in%20a%20variety%20of%20formats%20including%20JSON.%20For%20example%2C%20we%20can%20import%20data%20into%20an%20existing%20table%20from%20a%20JSON%20file.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20_df%20%3D%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20CREATE%20OR%20REPLACE%20TABLE%20cars2%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20Name%20VARCHAR%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20Miles_per_Gallon%20VARCHAR%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20Cylinders%20VARCHAR%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20Displacement%20FLOAT%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20Horsepower%20FLOAT%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20Weight_in_lbs%20FLOAT%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20Acceleration%20FLOAT%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20Year%20DATE%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20Origin%20VARCHAR%0A%20%20%20%20%20%20%20%20)%3B%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(cars2%2C%20mo)%3A%0A%20%20%20%20_df%20%3D%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20COPY%20cars2%20FROM%20'https%3A%2F%2Fraw.githubusercontent.com%2Fvega%2Fvega-datasets%2Frefs%2Fheads%2Fmain%2Fdata%2Fcars.json'%20(FORMAT%20json%2C%20ARRAY%20true%2C%20DATEFORMAT%20'%25Y-%25m-%25d')%3B%0A%20%20%20%20%20%20%20%20SELECT%20*%20FROM%20cars2%3B%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Similarly%2C%20we%20can%20write%20data%20from%20a%20table%20or%20select%20statement%20to%20a%20JSON%20file.%20For%20example%2C%20we%20create%20a%20new%20JSONL%20file%20with%20just%20the%20car%20names%20and%20miles%20per%20gallon.%20We%20first%20create%20a%20temporary%20directory%20to%20avoid%20cluttering%20our%20project%20directory.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Path)%3A%0A%20%20%20%20from%20tempfile%20import%20TemporaryDirectory%0A%0A%20%20%20%20TMP_DIR%20%3D%20TemporaryDirectory()%0A%20%20%20%20COPY_PATH%20%3D%20Path(TMP_DIR.name)%20%2F%20%22cars_mpg.jsonl%22%0A%20%20%20%20print(COPY_PATH)%0A%20%20%20%20return%20COPY_PATH%2C%20TMP_DIR%0A%0A%0A%40app.cell%0Adef%20_(COPY_PATH%2C%20cars2%2C%20mo)%3A%0A%20%20%20%20_df%20%3D%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20COPY%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20SELECT%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Name%20AS%20car_name%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Miles_per_Gallon%22%20AS%20mpg%20%0A%20%20%20%20%20%20%20%20%20%20%20%20FROM%20cars2%20%0A%20%20%20%20%20%20%20%20%20%20%20%20WHERE%20mpg%20IS%20NOT%20null%0A%20%20%20%20%20%20%20%20)%20TO%20'%7BCOPY_PATH%7D'%20(FORMAT%20json)%3B%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(COPY_PATH%2C%20Path)%3A%0A%20%20%20%20Path(COPY_PATH).exists()%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Using%20%60IMPORT%20DATABASE%60%0A%0A%20%20%20%20The%20last%20method%20we%20can%20use%20to%20load%20JSON%20data%20is%20using%20the%20%60IMPORT%20DATABASE%60%20statement.%20It%20works%20in%20conjunction%20with%20%60EXPORT%20DATABASE%60%20to%20save%20and%20load%20an%20entire%20database%20to%20and%20from%20a%20directory.%20For%20example%20let's%20try%20and%20export%20our%20default%20in-memory%20database.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Path%2C%20TMP_DIR)%3A%0A%20%20%20%20EXPORT_PATH%20%3D%20Path(TMP_DIR.name)%20%2F%20%22cars_export%22%0A%20%20%20%20print(EXPORT_PATH)%0A%20%20%20%20return%20(EXPORT_PATH%2C)%0A%0A%0A%40app.cell%0Adef%20_(EXPORT_PATH%2C%20mo)%3A%0A%20%20%20%20_df%20%3D%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20EXPORT%20DATABASE%20'%7BEXPORT_PATH%7D'%20(FORMAT%20json)%3B%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(EXPORT_PATH%2C%20Path)%3A%0A%20%20%20%20list(Path(EXPORT_PATH).iterdir())%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20We%20can%20then%20load%20the%20database%20back%20into%20DuckDB.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(EXPORT_PATH%2C%20mo)%3A%0A%20%20%20%20_df%20%3D%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20DROP%20TABLE%20IF%20EXISTS%20cars2%3B%0A%20%20%20%20%20%20%20%20IMPORT%20DATABASE%20'%7BEXPORT_PATH%7D'%3B%0A%20%20%20%20%20%20%20%20SELECT%20*%20FROM%20cars2%3B%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(TMP_DIR)%3A%0A%20%20%20%20TMP_DIR.cleanup()%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Further%20Reading%0A%0A%20%20%20%20-%20Complete%20information%20on%20the%20JSON%20support%20in%20DuckDB%20can%20be%20found%20in%20their%20%5Bdocumentation%5D(https%3A%2F%2Fduckdb.org%2Fdocs%2Fstable%2Fdata%2Fjson%2Foverview.html).%0A%20%20%20%20-%20You%20can%20also%20learn%20more%20about%20using%20SQL%20in%20marimo%20from%20the%20%5Bexamples%5D(https%3A%2F%2Fgithub.com%2Fmarimo-team%2Fmarimo%2Ftree%2Fmain%2Fexamples%2Fsql).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20from%20pathlib%20import%20Path%0A%0A%20%20%20%20return%20Path%2C%20mo%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A