4. KB National Library e-Depot Archiving

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.12%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22altair%22%2C%0A%23%20%20%20%20%20%22pandas%22%2C%0A%23%20%20%20%20%20%22pyarrow%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.25.0%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22full%22%2C%0A%20%20%20%20app_title%3D%224.%20KB%20National%20Library%20e-Depot%20Archiving%22%2C%0A)%0A%0A%0A%40app.cell%0Adef%20imports()%3A%0A%20%20%20%20import%20altair%20as%20alt%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20alt%2C%20mo%2C%20pd%0A%0A%0A%40app.cell%0Adef%20intro(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%204.%20KB%20National%20Library%20e-Depot%20Archiving%0A%0A%20%20%20%20%23%23%20Goal%0A%0A%20%20%20%20Comprehensive%20preservation%20achieved%20of%20Dutch%20scientific%20output%20in%20the%20KB%20e-Depot.%0A%0A%20%20%20%20%23%23%20What%20this%20dashboard%20monitors%0A%0A%20%20%20%20%22Backup%20health%22%3A%20the%20ratio%20of%20PDFs%20archived%20in%20the%20KB%20e-Depot%20versus%20PDFs%20present%20in%20the%20source%20repository%2C%20per%20repo%2C%20over%20time%20--%20plus%20whether%20the%20URN%3ANBN%20resolver%20is%20functioning%20for%20the%20institution's%20identifiers.%0A%0A%20%20%20%20%23%23%20Datapoints%20needed%20from%20participating%20institutions%0A%0A%20%20%20%20-%20Repository%20%2F%20CRIS%20name%0A%20%20%20%20-%20PDFs%20present%20in%20the%20source%20repository%0A%20%20%20%20-%20PDFs%20confirmed%20archived%20in%20the%20KB%20e-Depot%0A%20%20%20%20-%20URN%3ANBN%20resolution%20success%20rate%20for%20the%20institution's%20identifiers%0A%20%20%20%20-%20Snapshot%20date%0A%0A%20%20%20%20---%0A%0A%20%20%20%20**Status%3A%20live%2C%20usually%20sparse.**%20The%20table%20and%20chart%20below%20read%0A%20%20%20%20%60data.csv%60%20straight%20from%20GitHub%20on%20every%20page%20load%20--%20a%20new%20submission%0A%20%20%20%20needs%20no%20site%20rebuild%2C%20just%20a%20page%20reload%20(GitHub's%20raw-file%20cache%20can%0A%20%20%20%20lag%20a%20few%20minutes%20behind).%20Data%20arrives%20through%20the%0A%20%20%20%20%5B04-edepot-archiving%20Issue%20Form%5D(https%3A%2F%2Fgithub.com%2Fdurf-project%2Fdashboards%2Fissues%2Fnew%3Ftemplate%3D04-edepot-archiving-data.yml)%2C%0A%20%20%20%20auto-ingested%20by%20%60.github%2Fworkflows%2Fingest-submission.yml%60%20--%20no%20manual%0A%20%20%20%20transcription%20step.%20%60submitted_by%60%20on%20each%20row%20is%20the%20submitter's%20GitHub%0A%20%20%20%20username%3B%20sort%20or%20filter%20that%20column%20in%20the%20table%20to%20spot%20bad%20entries.%0A%20%20%20%20Select%20rows%20in%20the%20table%20to%20filter%20the%20chart%20to%20just%20those.%20See%0A%20%20%20%20%60AGENTS.md%60%20for%20the%20full%20pipeline.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20theme04_edepot_archiving_data(pd)%3A%0A%20%20%20%20%23%20Fetched%20fresh%20on%20every%20load%20from%20the%20data.csv%20that%0A%20%20%20%20%23%20.github%2Fscripts%2Fingest_issue.py%20appends%20to%20--%20see%20the%20intro%20above.%0A%20%20%20%20%23%20No%20validation%20happened%20on%20the%20way%20in%2C%20so%20coerce%20numeric%20columns%20with%0A%20%20%20%20%23%20errors%3D%22coerce%22%20(bad%20values%20become%20NaN)%20rather%20than%20trust%20the%20input.%0A%20%20%20%20_url%20%3D%20(%0A%20%20%20%20%20%20%20%20%22https%3A%2F%2Fraw.githubusercontent.com%2Fdurf-project%2Fdashboards%2Fmain%2F%22%0A%20%20%20%20%20%20%20%20%22notebooks%2F04-edepot-archiving%2Fdata.csv%22%0A%20%20%20%20)%0A%20%20%20%20_empty%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22repo%22%3A%20pd.array(%5B%5D%2C%20dtype%3D%22string%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22pdfs_in_repo%22%3A%20pd.array(%5B%5D%2C%20dtype%3D%22Int64%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22pdfs_in_edepot%22%3A%20pd.array(%5B%5D%2C%20dtype%3D%22Int64%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22urn_nbn_resolution_pct%22%3A%20pd.array(%5B%5D%2C%20dtype%3D%22Float64%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22snapshot_date%22%3A%20pd.array(%5B%5D%2C%20dtype%3D%22string%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22submitted_by%22%3A%20pd.array(%5B%5D%2C%20dtype%3D%22string%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22submitted_via_issue%22%3A%20pd.array(%5B%5D%2C%20dtype%3D%22Int64%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22submitted_at%22%3A%20pd.array(%5B%5D%2C%20dtype%3D%22string%22)%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20theme04_edepot_archiving_data%20%3D%20pd.read_csv(_url%2C%20dtype%3D%22string%22)%0A%20%20%20%20except%20Exception%3A%0A%20%20%20%20%20%20%20%20theme04_edepot_archiving_data%20%3D%20_empty%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20for%20_col%2C%20_dtype%20in%20%7B%22pdfs_in_repo%22%3A%20%22Int64%22%2C%20%22pdfs_in_edepot%22%3A%20%22Int64%22%2C%20%22urn_nbn_resolution_pct%22%3A%20%22Float64%22%2C%20%22submitted_via_issue%22%3A%20%22Int64%22%7D.items()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20theme04_edepot_archiving_data%5B_col%5D%20%3D%20pd.to_numeric(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20theme04_edepot_archiving_data%5B_col%5D%2C%20errors%3D%22coerce%22%0A%20%20%20%20%20%20%20%20%20%20%20%20).astype(_dtype)%0A%20%20%20%20%20%20%20%20theme04_edepot_archiving_data%20%3D%20theme04_edepot_archiving_data.reindex(columns%3D_empty.columns)%0A%20%20%20%20return%20(theme04_edepot_archiving_data%2C)%0A%0A%0A%40app.cell%0Adef%20theme04_edepot_archiving_table(mo%2C%20theme04_edepot_archiving_data)%3A%0A%20%20%20%20theme04_edepot_archiving_table%20%3D%20mo.ui.table(theme04_edepot_archiving_data%2C%20label%3D%22Submitted%20data%22)%0A%20%20%20%20theme04_edepot_archiving_table%0A%20%20%20%20return%20(theme04_edepot_archiving_table%2C)%0A%0A%0A%40app.cell%0Adef%20theme04_edepot_archiving_chart(%0A%20%20%20%20alt%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20theme04_edepot_archiving_data%2C%0A%20%20%20%20theme04_edepot_archiving_table%2C%0A)%3A%0A%20%20%20%20_shown%20%3D%20(%0A%20%20%20%20%20%20%20%20theme04_edepot_archiving_table.value%20if%20len(theme04_edepot_archiving_table.value)%20else%20theme04_edepot_archiving_data%0A%20%20%20%20)%0A%20%20%20%20theme04_edepot_archiving_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(_shown)%0A%20%20%20%20%20%20%20%20.mark_bar()%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22repo%3AN%22%2C%20title%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22pdfs_in_edepot%3AQ%22)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(title%3D%22PDFs%20archived%20in%20the%20e-Depot%2C%20by%20repo%22)%0A%20%20%20%20)%0A%20%20%20%20mo.ui.altair_chart(theme04_edepot_archiving_chart)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20outro(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Add%20or%20correct%20data%0A%0A%20%20%20%20Submit%20new%20data%20via%20the%0A%20%20%20%20%5B04-edepot-archiving%20Issue%20Form%5D(https%3A%2F%2Fgithub.com%2Fdurf-project%2Fdashboards%2Fissues%2Fnew%3Ftemplate%3D04-edepot-archiving-data.yml).%0A%20%20%20%20To%20fix%20a%20mistake%20in%20an%20existing%20row%2C%20edit%20%60notebooks%2F04-edepot-archiving%2Fdata.csv%60%0A%20%20%20%20directly%20and%20open%20a%20PR%20--%20see%20%60AGENTS.md%60.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A