16 lazy execution

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.8%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22faker%3D%3D37.1.0%22%2C%0A%23%20%20%20%20%20%22scipy%3D%3D1.17.1%22%2C%0A%23%20%20%20%20%20%22numpy%3D%3D2.4.3%22%2C%0A%23%20%20%20%20%20%22numba%3D%3D0.64.0%22%2C%0A%23%20%20%20%20%20%22polars%3D%3D1.24.0%22%2C%0A%23%20%20%20%20%20%22matplotlib%3D%3D3.10.8%22%2C%0A%23%20%20%20%20%20%22statsmodels%3D%3D0.14.5%22%2C%0A%23%20%20%20%20%20%22pandas%3D%3D2.3.2%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.20.4%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Lazy%20Execution%0A%0A%20%20%20%20Author%3A%20%5BDeb%20Debnath%5D(https%3A%2F%2Fgithub.com%2Fdebajyotid2)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20random%0A%20%20%20%20import%20re%0A%20%20%20%20import%20time%0A%20%20%20%20from%20datetime%20import%20datetime%2C%20timedelta%2C%20timezone%0A%20%20%20%20from%20typing%20import%20Generator%0A%20%20%20%20import%20numba%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20polars%20as%20pl%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20import%20scipy.special%20as%20spl%0A%20%20%20%20import%20scipy.stats%20as%20st%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20from%20faker%20import%20Faker%0A%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20Faker%2C%0A%20%20%20%20%20%20%20%20Generator%2C%0A%20%20%20%20%20%20%20%20datetime%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20%20%20%20%20pl%2C%0A%20%20%20%20%20%20%20%20random%2C%0A%20%20%20%20%20%20%20%20re%2C%0A%20%20%20%20%20%20%20%20time%2C%0A%20%20%20%20%20%20%20%20timedelta%2C%0A%20%20%20%20%20%20%20%20timezone%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20We%20saw%20the%20benefits%20of%20lazy%20evaluation%20when%20we%20learned%20about%20the%20Expressions%20API%20in%20Polars.%20Lazy%20execution%20is%20further%20extended%20as%20a%20philosophy%20by%20the%20Lazy%20API.%20It%20offers%20significant%20performance%20enhancements%20over%20eager%20(immediate)%20execution%20of%20queries%20and%20is%20one%20of%20the%20reasons%20why%20Polars%20is%20faster%20at%20working%20with%20large%20(GB%20scale)%20datasets%20than%20other%20libraries.%20The%20lazy%20API%20optimizes%20the%20full%20query%20pipeline%20instead%20of%20executing%20individual%20queries%20optimally%2C%20unlike%20eager%20execution.%20Some%20of%20the%20advantages%20of%20using%20the%20Lazy%20API%20over%20eager%20execution%20include%0A%0A%20%20%20%20-%20automatic%20query%20optimization%20with%20the%20query%20optimizer.%0A%20%20%20%20-%20ability%20to%20process%20datasets%20larger%20than%20memory%20using%20streaming.%0A%20%20%20%20-%20ability%20to%20catch%20schema%20errors%20before%20data%20processing.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Setup%0A%0A%20%20%20%20For%20this%20notebook%2C%20we%20are%20going%20to%20work%20with%20logs%20from%20an%20Apache%2FNginx%20web%20server%20-%20these%20logs%20contain%20useful%20information%20that%20can%20be%20utilized%20for%20performance%20optimization%2C%20security%20monitoring%2C%20etc.%20Such%20logs%20comprise%20of%20entries%20that%20look%20something%20like%20this%3A%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%2010.23.97.15%20-%20-%20%5B05%2FJul%2F2024%3A11%3A35%3A05%20%2B0000%5D%20%22GET%20%2Findex.html%20HTTP%2F1.1%22%20200%201342%20%22https%3A%2F%2Fwww.example.com%22%20%22Mozilla%2F5.0%20(Windows%20NT%2010.0%3B%20Win64%3B%20x64)%20AppleWebKit%2F528.32%20(KHTML%2C%20like%20Gecko)%20Chrome%2F19.0.1220.985%20Safari%2F528.32%22%20%22-%22%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20Different%20parts%20of%20the%20entry%20mean%20different%20things%3A%0A%0A%20%20%20%20-%20%6010.23.97.15%60%20is%20the%20client%20IP%20address.%0A%20%20%20%20-%20%60-%20-%60%20represent%20identity%20and%20username%20of%20the%20client%2C%20respectively%20and%20are%20typically%20unused.%0A%20%20%20%20-%20%6005%2FJul%2F2024%3A11%3A35%3A05%20%2B0000%60%20indicates%20the%20timestamp%20for%20the%20request.%0A%20%20%20%20-%20%60%22GET%20%2Findex.html%20HTTP%2F1.1%22%60%20represents%20the%20HTTP%20method%2C%20requested%20resource%20and%20the%20protocol%20version%20for%20HTTP%2C%20respectively.%0A%20%20%20%20-%20%60200%201342%60%20mean%20the%20response%20status%20code%20and%20size%20of%20the%20response%20in%20bytes%2C%20respectively%0A%20%20%20%20-%20%60%22https%3A%2F%2Fwww.example.com%22%60%20is%20the%20%22referer%22%2C%20or%20the%20webpage%20URL%20that%20brought%20the%20client%20to%20the%20resource.%0A%20%20%20%20-%20%60%22Mozilla%2F5.0%20(Windows%20NT%2010.0%3B%20Win64%3B%20x64)%20AppleWebKit%2F528.32%20(KHTML%2C%20like%20Gecko)%20Chrome%2F19.0.1220.985%20Safari%2F528.32%22%60%20is%20the%20%22User%20agent%22%20or%20the%20details%20of%20the%20client%20device%20making%20the%20request%20(including%20browser%20version%2C%20operating%20system%2C%20etc.)%0A%0A%20%20%20%20Normally%2C%20you%20would%20get%20your%20log%20files%20from%20a%20server%20that%20you%20have%20access%20to.%20In%20our%20case%2C%20we%20will%20generate%20fake%20data%20to%20simulate%20log%20records.%20We%20will%20simulate%207%20days%20of%20server%20activity%20with%2090%2C000%20recorded%20lines.%0A%0A%20%20%20%20%2F%2F%2FNote%0A%20%20%20%201.%20If%20you%20are%20interested%20in%20the%20process%20of%20generating%20fake%20log%20entries%2C%20unhide%20the%20code%20cells%20immediately%20below%20the%20next%20one.%0A%20%20%20%202.%20You%20can%20adjust%20the%20size%20of%20the%20dataset%20by%20resetting%20the%20%60num_log_lines%60%20variables%20to%20a%20size%20of%20your%20choice.%20It%20may%20be%20helpful%20if%20the%20data%20takes%20a%20long%20time%20to%20generate.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20num_log_lines%20%3D%2090_000%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Number%20of%20log%20entries%20to%20simulate%0A%20%20%20%20return%20(num_log_lines%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(Faker%2C%20datetime%2C%20np%2C%20random%2C%20timedelta%2C%20timezone)%3A%0A%20%20%20%20def%20generate_log_line(*%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20faker%3A%20Faker%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tz%3A%20timezone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sleep%3A%20int%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20otime%3A%20datetime%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rng%3A%20np.random.Generator%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20resources%3A%20list%5Bstr%5D%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20user_agents%3A%20dict%5Bstr%2C%20float%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20responses%3A%20dict%5Bstr%2C%20float%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20verbs%3A%20dict%5Bstr%2C%20float%5D)%20-%3E%20str%3A%0A%20%20%20%20%20%20%20%20%22%22%22%22%22%22%0A%20%20%20%20%20%20%20%20otime%20%2B%3D%20timedelta(seconds%3Dsleep)%20if%20sleep%20%3E%200%20else%20timedelta(seconds%3Drandom.randint(30%2C%20300))%0A%20%20%20%20%20%20%20%20dt%20%3D%20otime.strftime('%25d%2F%25b%2F%25Y%3A%25H%3A%25M%3A%25S')%0A%0A%20%20%20%20%20%20%20%20ip%2C%20referer%20%3D%20faker.ipv4()%2C%20faker.uri()%0A%20%20%20%20%20%20%20%20vrb%20%3D%20rng.choice(list(verbs.keys())%2C%20p%3Dlist(verbs.values()))%0A%0A%20%20%20%20%20%20%20%20uri%20%3D%20rng.choice(resources)%0A%20%20%20%20%20%20%20%20if%20uri.find(%22apps%22)%20%3E%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20uri%20%2B%3D%20str(rng.integers(1000%2C%2010000))%0A%0A%20%20%20%20%20%20%20%20resp%20%3D%20rng.choice(list(responses.keys())%2C%20p%3Dlist(responses.values()))%0A%20%20%20%20%20%20%20%20byte_size%20%3D%20int(rng.normal(5000%2C%2050))%0A%20%20%20%20%20%20%20%20useragent%20%3D%20rng.choice(list(user_agents.keys())%2C%20p%3Dlist(user_agents.values()))()%0A%20%20%20%20%20%20%20%20latency%20%3D%20rng.lognormal(-3%2C%200.8)%20%2B%200.5%20*%20rng.uniform()%0A%0A%20%20%20%20%20%20%20%20return%20f'%7Bip%7D%20-%20-%20%5B%7Bdt%7D%20%7Btz%7D%5D%20%22%7Bvrb%7D%20%7Buri%7D%20HTTP%2F1.0%22%20%7Bresp%7D%20%7Bbyte_size%7D%20%7Blatency%3A.3f%7D%20%22%7Breferer%7D%22%20%22%7Buseragent%7D%22'%0A%0A%20%20%20%20return%20(generate_log_line%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(Faker%2C%20datetime%2C%20np%2C%20num_log_lines%2C%20time)%3A%0A%20%20%20%20tz%20%3D%20datetime.now().strftime('%25z')%0A%0A%20%20%20%20faker%20%3D%20Faker()%0A%0A%20%20%20%20timestr%20%3D%20time.strftime(%22%25Y%25m%25d-%25H%25M%25S%22)%0A%20%20%20%20otime%20%3D%20datetime.now()%0A%0A%20%20%20%20responses%20%3D%20dict(zip(%5B%22200%22%2C%20%22404%22%2C%20%22500%22%2C%20%22301%22%2C%20%22403%22%2C%20%22502%22%5D%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B0.82%2C%200.04%2C%200.02%2C%200.04%2C%200.05%2C%200.03%5D))%0A%0A%20%20%20%20verbs%20%3D%20dict(zip(%5B%22GET%22%2C%20%22POST%22%2C%20%22DELETE%22%2C%20%22PUT%22%5D%2C%20%5B0.6%2C%200.1%2C%200.1%2C%200.2%5D))%0A%0A%20%20%20%20resources%20%3D%20%5B%22%2Flist%22%2C%20%22%2Fwp-content%22%2C%20%22%2Fwp-admin%22%2C%20%22%2Fexplore%22%2C%20%22%2Fsearch%2Ftag%2Flist%22%2C%20%22%2Fapp%2Fmain%2Fposts%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%2Fposts%2Fposts%2Fexplore%22%2C%20%22%2Fapps%2Fcart.jsp%3FappID%3D%22%5D%0A%0A%20%20%20%20user_agents%20%3D%20dict(zip(%5Bfaker.firefox%2C%20faker.chrome%2C%20faker.safari%2C%20faker.internet_explorer%2C%20faker.opera%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B0.5%2C%200.3%2C%200.1%2C%200.05%2C%200.05%5D))%0A%0A%20%20%20%20sleep%20%3D%207%20*%2024%20*%2060%20*%2060%20%2F%2F%20num_log_lines%20%20%20%20%20%23%20Set%20interval%20for%207%20days%20of%20log%20data%0A%0A%20%20%20%20rng%20%3D%20np.random.default_rng(seed%3Dint(time.time()))%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20faker%2C%0A%20%20%20%20%20%20%20%20otime%2C%0A%20%20%20%20%20%20%20%20resources%2C%0A%20%20%20%20%20%20%20%20responses%2C%0A%20%20%20%20%20%20%20%20rng%2C%0A%20%20%20%20%20%20%20%20sleep%2C%0A%20%20%20%20%20%20%20%20tz%2C%0A%20%20%20%20%20%20%20%20user_agents%2C%0A%20%20%20%20%20%20%20%20verbs%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20Generator%2C%0A%20%20%20%20faker%2C%0A%20%20%20%20generate_log_line%2C%0A%20%20%20%20otime%2C%0A%20%20%20%20re%2C%0A%20%20%20%20resources%2C%0A%20%20%20%20responses%2C%0A%20%20%20%20rng%2C%0A%20%20%20%20sleep%2C%0A%20%20%20%20tz%2C%0A%20%20%20%20user_agents%2C%0A%20%20%20%20verbs%2C%0A)%3A%0A%20%20%20%20pattern%20%3D%20(%0A%20%20%20%20%20%20%20%20r'%5E(%5CS%2B)'%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20IP%20address%0A%20%20%20%20%20%20%20%20r'%20-%20%5B%5CS%2B%5D'%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%0A%20%20%20%20%20%20%20%20r'%20%5C%5B(%5B%5E%5C%5D%5D%2B)%5C%5D'%20%20%20%20%20%20%20%20%20%20%20%20%23%20timestamp%0A%20%20%20%20%20%20%20%20r'%20%22(%5BA-Z%5D%2B)'%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20HTTP%20request%20code%0A%20%20%20%20%20%20%20%20r'%20(%5B%5E%22%5D%2B)'%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20HTTP%20request%20resource%0A%20%20%20%20%20%20%20%20r'%20HTTP%2F%5B%5E%22%5D%2B%22'%20%20%20%20%20%20%20%20%20%20%0A%20%20%20%20%20%20%20%20r'%20(%5Cd%7B3%7D)'%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Status%20code%20(3%20digits)%0A%20%20%20%20%20%20%20%20r'%20(%5CS%2B)'%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Response%20size%0A%20%20%20%20%20%20%20%20r'%20(%5CS%2B)'%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Latency%0A%20%20%20%20%20%20%20%20r'%20%22(%5B%5E%22%5D*)%22'%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Referrer%0A%20%20%20%20%20%20%20%20r'%20%22(%5B%5E%22%5D*)%22'%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20User%20agent%0A%20%20%20%20)%0A%0A%20%20%20%20def%20generator(log_lines%3A%20int)%20-%3E%20%5C%0A%20%20%20%20%20%20%20%20Generator%5Blist%5Bstr%5D%2C%20int%2C%20None%5D%3A%0A%20%20%20%20%20%20%20%20for%20idx%20in%20range(log_lines)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20log_line%20%3D%20generate_log_line(tz%3Dtz%2C%20sleep%3Didx*sleep%2C%20otime%3Dotime%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20faker%3Dfaker%2C%20rng%3Drng%2C%20resources%3Dresources%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20user_agents%3Duser_agents%2C%20responses%3Dresponses%2C%20verbs%3Dverbs)%0A%20%20%20%20%20%20%20%20%20%20%20%20yield%20list(re.findall(pattern%2C%20log_line)%5B0%5D)%0A%0A%20%20%20%20return%20(generator%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Since%20we%20are%20generating%20data%20using%20a%20Python%20generator%2C%20we%20create%20a%20%60pl.LazyFrame%60%20directly%2C%20but%20we%20can%20start%20with%20either%20a%20file%20or%20an%20existing%20%60DataFrame%60.%20When%20using%20a%20file%2C%20the%20functions%20beginning%20with%20%60pl.scan_%60%20from%20the%20Polars%20API%20can%20be%20used%2C%20while%20in%20the%20case%20of%20an%20existing%20%60pl.DataFrame%60%2C%20we%20can%20simply%20call%20%60.lazy()%60%20to%20convert%20it%20to%20a%20%60pl.LazyFrame%60.%0A%0A%20%20%20%20%2F%2F%2FNote%0A%20%20%20%20Depending%20on%20your%20machine%2C%20the%20following%20cell%20may%20take%20some%20time%20to%20execute.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(generator%2C%20num_log_lines%2C%20pl)%3A%0A%20%20%20%20log_data%20%3D%20pl.LazyFrame(generator(num_log_lines)%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20schema%3D%5B%22ip%22%2C%20%22time%22%2C%20%22request_code%22%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22request_resource%22%2C%20%22status%22%2C%20%22size%22%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22latency%22%2C%20%22referer%22%2C%20%22agent%22%5D)%0A%20%20%20%20return%20(log_data%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Schema%0A%0A%20%20%20%20A%20schema%20denotes%20the%20names%20and%20respective%20datatypes%20of%20columns%20in%20a%20DataFrame%20or%20LazyFrame.%20It%20can%20be%20specified%20when%20a%20DataFrame%20or%20LazyFrame%20is%20generated%20(as%20you%20may%20have%20noticed%20in%20the%20cell%20creating%20the%20LazyFrame%20above).%0A%0A%20%20%20%20You%20can%20see%20the%20schema%20with%20the%20.collect_schema%20method%20on%20a%20DataFrame%20or%20LazyFrame.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(log_data)%3A%0A%20%20%20%20print(log_data.collect_schema())%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Since%20our%20generator%20yields%20strings%2C%20Polars%20defaults%20to%20the%20%60pl.String%60%20datatype%20while%20reading%20in%20the%20data%20from%20the%20generator%2C%20unless%20specified.%20This%2C%20however%2C%20is%20not%20the%20most%20space%20or%20computation%20efficient%20form%20of%20data%20storage%2C%20so%20we%20would%20like%20to%20convert%20the%20datatypes%20of%20some%20of%20the%20columns%20in%20our%20LazyFrame.%0A%0A%20%20%20%20%2F%2F%2FNote%0A%20%20%20%20The%20data%20type%20conversion%20can%20also%20be%20done%20by%20specifying%20it%20in%20the%20schema%20when%20creating%20the%20LazyFrame%20or%20DataFrame.%20We%20are%20skipping%20doing%20this%20for%20demonstration.%20For%20more%20details%20on%20specifying%20data%20types%20in%20LazyFrames%2C%20please%20refer%20to%20the%20Polars%20%5Bdocumentation%5D(https%3A%2F%2Fdocs.pola.rs%2Fapi%2Fpython%2Fstable%2Freference%2Flazyframe%2Findex.html).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20The%20Lazy%20API%20validates%20a%20query%20pipeline%20end-to-end%20for%20schema%20consistency%20and%20correctness.%20The%20checks%20make%20sure%20that%20if%20there%20is%20a%20mistake%20in%20your%20query%2C%20you%20can%20correct%20it%20before%20the%20data%20gets%20processed.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20The%20%60log_data_erroneous%60%20query%20below%20throws%20an%20%60InvalidOperationError%60%20because%20Polars%20finds%20inconsistencies%20between%20the%20timestamps%20we%20parsed%20from%20the%20logs%20and%20the%20timestamp%20format%20specified.%20It%20turns%20out%20that%20the%20time%20stamps%20in%20string%20format%20still%20have%20trailing%20whitespace%20which%20leads%20to%20errors%20during%20conversion%20to%20%60datetime%5B%CE%BCs%5D%60%20objects.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(log_data%2C%20pl)%3A%0A%20%20%20%20log_data_erroneous%20%3D%20log_data.with_columns(%0A%20%20%20%20%20%20%20%20pl.col(%22time%22).str.to_datetime(%22%25d%2F%25b%2F%25Y%3A%25H%3A%25M%3A%25S%22)%2C%0A%20%20%20%20%20%20%20%20pl.col(%22status%22).cast(pl.Int16)%2C%0A%20%20%20%20%20%20%20%20pl.col(%22size%22).cast(pl.Int32)%2C%0A%20%20%20%20%20%20%20%20pl.col(%22latency%22).cast(pl.Float32)%0A%20%20%20%20)%0A%20%20%20%20return%20(log_data_erroneous%2C)%0A%0A%0A%40app.cell%0Adef%20_(log_data_erroneous)%3A%0A%20%20%20%20log_data_erroneous.collect()%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Polars%20uses%20a%20**query%20optimizer**%20to%20make%20sure%20that%20a%20query%20pipeline%20is%20executed%20with%20the%20least%20computational%20cost%20(more%20on%20this%20later).%20In%20order%20to%20be%20able%20to%20do%20the%20optimization%2C%20the%20optimizer%20must%20know%20the%20schema%20for%20each%20step%20of%20the%20pipeline%20(query%20plan).%20For%20example%2C%20if%20you%20have%20a%20%60.pivot%60%20operation%20somewhere%20in%20your%20pipeline%2C%20you%20are%20generating%20new%20columns%20based%20on%20the%20data.%20This%20is%20new%20information%20unknown%20to%20the%20query%20optimizer%20that%20it%20cannot%20work%20with%2C%20and%20so%20the%20lazy%20API%20does%20not%20support%20%60.pivot%60%20operations.%0A%0A%20%20%20%20For%20example%2C%20suppose%20you%20would%20like%20to%20know%20how%20many%20requests%20of%20each%20kind%20were%20received%20at%20a%20given%20time%20that%20were%20not%20%22POST%22%20requests.%20For%20this%20we%20would%20want%20to%20create%20a%20pivot%20table%20as%20follows%2C%20except%20that%20it%20throws%20an%20error%20as%20the%20lazy%20API%20does%20not%20support%20pivot%20operations.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(log_data%2C%20pl)%3A%0A%20%20%20%20(%0A%20%20%20%20%20%20%20%20log_data.pivot(index%3D%22time%22%2C%20on%3D%22request_code%22%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20values%3D%22status%22%2C%20aggregate_function%3D%22len%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.filter(pl.col(%22POST%22).is_null())%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.collect()%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20As%20a%20workaround%2C%20we%20can%20jump%20between%20%22lazy%20mode%22%20and%20%22eager%20mode%22%20by%20converting%20a%20LazyFrame%20to%20a%20DataFrame%20just%20before%20the%20unsupported%20operation%20(e.g.%20%60.pivot%60).%20We%20can%20do%20this%20by%20calling%20%60.collect()%60%20on%20the%20LazyFrame.%20Once%20done%20with%20the%20%22eager%20mode%22%20operations%2C%20we%20can%20jump%20back%20to%20%22lazy%20mode%22%20by%20calling%20%22.lazy()%22%20on%20the%20DataFrame!%0A%0A%20%20%20%20As%20an%20example%2C%20see%20the%20fix%20to%20the%20query%20in%20the%20previous%20cell%20below%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(log_data%2C%20pl)%3A%0A%20%20%20%20(%0A%20%20%20%20%20%20%20%20log_data%0A%20%20%20%20%20%20%20%20%20%20%20%20.collect()%0A%20%20%20%20%20%20%20%20%20%20%20%20.pivot(index%3D%22time%22%2C%20on%3D%22request_code%22%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20values%3D%22status%22%2C%20aggregate_function%3D%22len%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20.lazy()%0A%20%20%20%20%20%20%20%20%20%20%20%20.filter(pl.col(%22POST%22).is_null())%0A%20%20%20%20%20%20%20%20%20%20%20%20.collect()%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Query%20plan%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Polars%20has%20a%20query%20optimizer%20that%20works%20on%20a%20%22query%20plan%22%20to%20create%20a%20computationally%20efficient%20query%20pipeline.%20It%20builds%20the%20query%20plan%2Fquery%20graph%20from%20the%20user-specified%20lazy%20operations.%0A%0A%20%20%20%20We%20can%20understand%20query%20graphs%20with%20visualization%20and%20by%20printing%20them%20as%20text.%0A%0A%20%20%20%20Say%20we%20want%20to%20convert%20the%20data%20in%20our%20log%20dataset%20from%20%60pl.String%60%20more%20space%20efficient%20data%20types.%20We%20also%20would%20like%20to%20view%20all%20%22GET%22%20requests%20that%20resulted%20in%20errors%20(client%20side).%20We%20build%20our%20query%20first%2C%20and%20then%20we%20visualize%20the%20query%20graph%20using%20%60.show_graph()%60%20and%20print%20it%20using%20%60.request_code()%60.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(log_data%2C%20pl)%3A%0A%20%20%20%20a_query%20%3D%20(%0A%20%20%20%20%20%20%20%20log_data%0A%20%20%20%20%20%20%20%20%20%20%20%20.with_columns(pl.col(%22status%22).cast(pl.Int16))%0A%20%20%20%20%20%20%20%20%20%20%20%20.with_columns(pl.col(%22size%22).cast(pl.Int32))%0A%20%20%20%20%20%20%20%20%20%20%20%20.with_columns(pl.col(%22latency%22).cast(pl.Float32))%0A%20%20%20%20%20%20%20%20%20%20%20%20.with_columns(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pl.col(%22time%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.str.strip_chars()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.str.to_datetime(%22%25d%2F%25b%2F%25Y%3A%25H%3A%25M%3A%25S%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20.filter((pl.col(%22status%22)%20%3E%3D%20400)%20%26%20(pl.col(%22request_code%22)%20%3D%3D%20%22GET%22))%0A%20%20%20%20)%0A%20%20%20%20return%20(a_query%2C)%0A%0A%0A%40app.cell%0Adef%20_(a_query)%3A%0A%20%20%20%20a_query.show_graph()%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(a_query)%3A%0A%20%20%20%20print(a_query.explain())%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Execution%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20As%20mentioned%20before%2C%20Polars%20builds%20a%20query%20graph%20by%20going%20lazy%20operation%20by%20operation%20and%20then%20optimizes%20it%20by%20running%20a%20query%20optimizer%20on%20the%20graph.%20This%20optimized%20graph%20is%20run%20by%20default.%0A%0A%20%20%20%20We%20can%20execute%20our%20query%20on%20the%20full%20dataset%20by%20calling%20the%20.collect%20method%20on%20the%20query.%20But%20since%20this%20option%20processes%20all%20data%20in%20one%20batch%2C%20it%20is%20not%20memory%20efficient%2C%20and%20can%20crash%20if%20the%20size%20of%20the%20data%20exceeds%20the%20amount%20of%20memory%20your%20query%20can%20support.%0A%0A%20%20%20%20For%20fast%20iterative%20development%20running%20%60.collect%60%20on%20the%20entire%20dataset%20is%20not%20a%20good%20idea%20due%20to%20slow%20runtimes.%20If%20your%20dataset%20is%20partitioned%2C%20you%20can%20use%20a%20few%20of%20them%20for%20testing.%20Another%20option%20is%20to%20use%20%60.head%60%20to%20limit%20the%20number%20of%20records%20processed%2C%20and%20%60.collect%60%20as%20few%20times%20as%20possible%20and%20toward%20the%20end%20of%20your%20query%2C%20as%20shown%20below.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(log_data%2C%20pl)%3A%0A%20%20%20%20(%0A%20%20%20%20%20%20%20%20log_data%0A%20%20%20%20%20%20%20%20%20%20%20%20.head(n%3D100)%0A%20%20%20%20%20%20%20%20%20%20%20%20.with_columns(pl.col(%22status%22).cast(pl.Int16))%0A%20%20%20%20%20%20%20%20%20%20%20%20.with_columns(pl.col(%22size%22).cast(pl.Int32))%0A%20%20%20%20%20%20%20%20%20%20%20%20.with_columns(pl.col(%22latency%22).cast(pl.Float32))%0A%20%20%20%20%20%20%20%20%20%20%20%20.with_columns(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pl.col(%22time%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.str.strip_chars()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.str.to_datetime(%22%25d%2F%25b%2F%25Y%3A%25H%3A%25M%3A%25S%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20.filter((pl.col(%22status%22)%20%3E%3D%20400)%20%26%20(pl.col(%22request_code%22)%20%3D%3D%20%22GET%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20.collect()%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20For%20large%20datasets%20Polars%20supports%20streaming%20mode%20by%20collecting%20data%20in%20batches.%20Streaming%20mode%20can%20be%20used%20by%20passing%20the%20keyword%20%60engine%3D%22streaming%22%60%20into%20the%20%60collect%60%20method.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(a_query)%3A%0A%20%20%20%20a_query.collect(engine%3D%22streaming%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Optimizations%0A%0A%20%20%20%20The%20lazy%20API%20runs%20a%20query%20optimizer%20on%20every%20Polars%20query.%20To%20do%20this%2C%20first%20it%20builds%20a%20non-optimized%20plan%20with%20the%20set%20of%20steps%20in%20the%20order%20they%20were%20specified%20by%20the%20user.%20Then%20it%20checks%20for%20optimization%20opportunities%20within%20the%20plan%20and%20reorders%20operations%20following%20specific%20rules%20to%20create%20an%20optimized%20query%20plan.%20Some%20of%20them%20are%20executed%20up%20front%2C%20others%20are%20determined%20just%20in%20time%20as%20the%20materialized%20data%20comes%20in.%20For%20the%20query%20that%20we%20built%20before%20and%20saw%20the%20query%20graph%2C%20we%20can%20view%20the%20unoptimized%20and%20optimized%20versions%20below.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(a_query)%3A%0A%20%20%20%20a_query.show_graph(optimized%3DFalse)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(a_query)%3A%0A%20%20%20%20a_query.show_graph()%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20One%20difference%20between%20the%20optimized%20and%20the%20unoptimized%20versions%20above%20is%20that%20all%20of%20the%20datatype%20cast%20operations%20except%20for%20the%20conversion%20of%20the%20%60%22status%22%60%20column%20to%20%60pl.Int16%60%20are%20performed%20at%20the%20end%20together.%20Also%2C%20the%20%60filter()%60%20operation%20is%20%22pushed%20down%22%20the%20graph%2C%20but%20after%20the%20datatype%20cast%20operation%20for%20%60%22status%22%60.%20This%20is%20called%20**predicate%20pushdown**%2C%20and%20the%20lazy%20API%20optimizes%20the%20query%20graph%20for%20filters%20to%20be%20performed%20as%20early%20as%20possible.%20Since%20the%20datatype%20coercion%20makes%20the%20filter%20operation%20more%20efficient%2C%20the%20graph%20preserves%20its%20order%20to%20be%20before%20the%20filter.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Sources%20and%20Sinks%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20For%20data%20sources%20like%20Parquets%2C%20CSVs%2C%20etc%2C%20the%20lazy%20API%20provides%20%60scan_*%60%20(%60scan_parquet%60%2C%20%60scan_csv%60%2C%20etc.)%20to%20lazily%20read%20in%20the%20data%20into%20LazyFrames.%20If%20queries%20are%20chained%20to%20the%20%60scan_*%60%20method%2C%20Polars%20will%20run%20the%20usual%20query%20optimizations%20and%20delay%20execution%20until%20the%20query%20is%20collected.%20An%20added%20benefit%20of%20chaining%20queries%20to%20%60scan_*%60%20operations%20is%20that%20the%20%22scanners%22%20can%20skip%20reading%20columns%20and%20rows%20that%20aren't%20required.%20This%20is%20helpful%20when%20streaming%20large%20datasets%20as%20well%2C%20as%20rows%20are%20processed%20in%20batches%20before%20the%20entire%20file%20is%20read.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20The%20results%20of%20a%20query%20from%20a%20lazyframe%20can%20be%20saved%20in%20streaming%20mode%20using%20%60sink_*%60%20(e.g.%20%60sink_parquet%60)%20functions.%20Sinks%20support%20saving%20data%20to%20disk%20or%20cloud%2C%20and%20are%20especially%20helpful%20with%20large%20datasets.%20The%20data%20being%20sunk%20can%20also%20be%20partitioned%20into%20multiple%20files%20if%20needed%2C%20after%20specifying%20a%20suitable%20partitioning%20strategy%2C%20as%20shown%20below.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(a_query%2C%20pl)%3A%0A%20%20%20%20(%0A%20%20%20%20%20%20%20%20a_query%0A%20%20%20%20%20%20%20%20%20%20%20%20.sink_parquet(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pl.PartitionMaxSize(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22log_data_filtered_%7Bpart%7D.parquet%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20max_size%3D1_000%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20We%20can%20also%20write%20to%20multiple%20sinks%20at%20the%20same%20time.%20We%20just%20need%20to%20specify%20two%20separate%20lazy%20sinks%20and%20combine%20them%20by%20calling%20%60pl.collect_all%60%20and%20mentioning%20both%20sinks.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(a_query%2C%20pl)%3A%0A%20%20%20%20_q1%20%3D%20a_query.sink_parquet(%22log_data_filtered.parquet%22%2C%20lazy%3DTrue)%0A%20%20%20%20_q2%20%3D%20a_query.sink_ipc(%22log_data_filtered.ipc%22%2C%20lazy%3DTrue)%0A%20%20%20%20pl.collect_all(%5B_q1%2C%20_q2%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20References%0A%0A%20%20%20%201.%20Polars%20%5Bdocumentation%5D(https%3A%2F%2Fdocs.pola.rs%2Fuser-guide%2Flazy%2F)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A