5. Metadata Distribution & Discovery Optimization

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.12%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22altair%22%2C%0A%23%20%20%20%20%20%22pandas%22%2C%0A%23%20%20%20%20%20%22pyarrow%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.25.0%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22full%22%2C%0A%20%20%20%20app_title%3D%225.%20Metadata%20Distribution%20%26%20Discovery%20Optimization%22%2C%0A)%0A%0A%0A%40app.cell%0Adef%20imports()%3A%0A%20%20%20%20import%20altair%20as%20alt%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20alt%2C%20mo%2C%20pd%0A%0A%0A%40app.cell%0Adef%20intro(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%205.%20Metadata%20Distribution%20%26%20Discovery%20Optimization%0A%0A%20%20%20%20%23%23%20Goal%0A%0A%20%20%20%20Increase%20the%20visibility%20of%20Dutch%20research%20content%20in%20major%20international%20indexes.%0A%0A%20%20%20%20%23%23%20What%20this%20dashboard%20monitors%0A%0A%20%20%20%20%22Discoverability%20health%22%3A%20implementation%20of%20the%20Google%20Scholar%20inclusion%20guidelines%2C%20per%20repo%2C%20over%20time%20--%20plus%20the%20DOI-minting%20rate%20for%20grey%20literature%20that%20has%20a%20locally%20attached%20PDF%20but%20no%20DOI.%0A%0A%20%20%20%20%23%23%20Datapoints%20needed%20from%20participating%20institutions%0A%0A%20%20%20%20-%20Repository%20%2F%20CRIS%20name%0A%20%20%20%20-%20Google%20Scholar%20inclusion-guideline%20compliance%20status%2Fscore%0A%20%20%20%20-%20Grey-literature%20records%20with%20a%20local%20PDF%20but%20no%20DOI%0A%20%20%20%20-%20Of%20those%2C%20records%20that%20have%20since%20had%20a%20DOI%20minted%0A%20%20%20%20-%20Snapshot%20date%0A%0A%20%20%20%20---%0A%0A%20%20%20%20**Status%3A%20live%2C%20usually%20sparse.**%20The%20table%20and%20chart%20below%20read%0A%20%20%20%20%60data.csv%60%20straight%20from%20GitHub%20on%20every%20page%20load%20--%20a%20new%20submission%0A%20%20%20%20needs%20no%20site%20rebuild%2C%20just%20a%20page%20reload%20(GitHub's%20raw-file%20cache%20can%0A%20%20%20%20lag%20a%20few%20minutes%20behind).%20Data%20arrives%20through%20the%0A%20%20%20%20%5B05-distribution-discovery%20Issue%20Form%5D(https%3A%2F%2Fgithub.com%2Fdurf-project%2Fdashboards%2Fissues%2Fnew%3Ftemplate%3D05-distribution-discovery-data.yml)%2C%0A%20%20%20%20auto-ingested%20by%20%60.github%2Fworkflows%2Fingest-submission.yml%60%20--%20no%20manual%0A%20%20%20%20transcription%20step.%20%60submitted_by%60%20on%20each%20row%20is%20the%20submitter's%20GitHub%0A%20%20%20%20username%3B%20sort%20or%20filter%20that%20column%20in%20the%20table%20to%20spot%20bad%20entries.%0A%20%20%20%20Select%20rows%20in%20the%20table%20to%20filter%20the%20chart%20to%20just%20those.%20See%0A%20%20%20%20%60AGENTS.md%60%20for%20the%20full%20pipeline.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20theme05_distribution_discovery_data(pd)%3A%0A%20%20%20%20%23%20Fetched%20fresh%20on%20every%20load%20from%20the%20data.csv%20that%0A%20%20%20%20%23%20.github%2Fscripts%2Fingest_issue.py%20appends%20to%20--%20see%20the%20intro%20above.%0A%20%20%20%20%23%20No%20validation%20happened%20on%20the%20way%20in%2C%20so%20coerce%20numeric%20columns%20with%0A%20%20%20%20%23%20errors%3D%22coerce%22%20(bad%20values%20become%20NaN)%20rather%20than%20trust%20the%20input.%0A%20%20%20%20_url%20%3D%20(%0A%20%20%20%20%20%20%20%20%22https%3A%2F%2Fraw.githubusercontent.com%2Fdurf-project%2Fdashboards%2Fmain%2F%22%0A%20%20%20%20%20%20%20%20%22notebooks%2F05-distribution-discovery%2Fdata.csv%22%0A%20%20%20%20)%0A%20%20%20%20_empty%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22repo%22%3A%20pd.array(%5B%5D%2C%20dtype%3D%22string%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22scholar_guideline_compliance_pct%22%3A%20pd.array(%5B%5D%2C%20dtype%3D%22Float64%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22grey_lit_without_doi%22%3A%20pd.array(%5B%5D%2C%20dtype%3D%22Int64%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22grey_lit_doi_minted%22%3A%20pd.array(%5B%5D%2C%20dtype%3D%22Int64%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22snapshot_date%22%3A%20pd.array(%5B%5D%2C%20dtype%3D%22string%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22submitted_by%22%3A%20pd.array(%5B%5D%2C%20dtype%3D%22string%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22submitted_via_issue%22%3A%20pd.array(%5B%5D%2C%20dtype%3D%22Int64%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22submitted_at%22%3A%20pd.array(%5B%5D%2C%20dtype%3D%22string%22)%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20theme05_distribution_discovery_data%20%3D%20pd.read_csv(_url%2C%20dtype%3D%22string%22)%0A%20%20%20%20except%20Exception%3A%0A%20%20%20%20%20%20%20%20theme05_distribution_discovery_data%20%3D%20_empty%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20for%20_col%2C%20_dtype%20in%20%7B%22scholar_guideline_compliance_pct%22%3A%20%22Float64%22%2C%20%22grey_lit_without_doi%22%3A%20%22Int64%22%2C%20%22grey_lit_doi_minted%22%3A%20%22Int64%22%2C%20%22submitted_via_issue%22%3A%20%22Int64%22%7D.items()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20theme05_distribution_discovery_data%5B_col%5D%20%3D%20pd.to_numeric(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20theme05_distribution_discovery_data%5B_col%5D%2C%20errors%3D%22coerce%22%0A%20%20%20%20%20%20%20%20%20%20%20%20).astype(_dtype)%0A%20%20%20%20%20%20%20%20theme05_distribution_discovery_data%20%3D%20theme05_distribution_discovery_data.reindex(columns%3D_empty.columns)%0A%20%20%20%20return%20(theme05_distribution_discovery_data%2C)%0A%0A%0A%40app.cell%0Adef%20theme05_distribution_discovery_table(%0A%20%20%20%20mo%2C%0A%20%20%20%20theme05_distribution_discovery_data%2C%0A)%3A%0A%20%20%20%20theme05_distribution_discovery_table%20%3D%20mo.ui.table(theme05_distribution_discovery_data%2C%20label%3D%22Submitted%20data%22)%0A%20%20%20%20theme05_distribution_discovery_table%0A%20%20%20%20return%20(theme05_distribution_discovery_table%2C)%0A%0A%0A%40app.cell%0Adef%20theme05_distribution_discovery_chart(%0A%20%20%20%20alt%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20theme05_distribution_discovery_data%2C%0A%20%20%20%20theme05_distribution_discovery_table%2C%0A)%3A%0A%20%20%20%20_shown%20%3D%20(%0A%20%20%20%20%20%20%20%20theme05_distribution_discovery_table.value%20if%20len(theme05_distribution_discovery_table.value)%20else%20theme05_distribution_discovery_data%0A%20%20%20%20)%0A%20%20%20%20theme05_distribution_discovery_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(_shown)%0A%20%20%20%20%20%20%20%20.mark_bar()%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22repo%3AN%22%2C%20title%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22scholar_guideline_compliance_pct%3AQ%22)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(title%3D%22Google%20Scholar%20guideline%20compliance%2C%20by%20repo%22)%0A%20%20%20%20)%0A%20%20%20%20mo.ui.altair_chart(theme05_distribution_discovery_chart)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20outro(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Add%20or%20correct%20data%0A%0A%20%20%20%20Submit%20new%20data%20via%20the%0A%20%20%20%20%5B05-distribution-discovery%20Issue%20Form%5D(https%3A%2F%2Fgithub.com%2Fdurf-project%2Fdashboards%2Fissues%2Fnew%3Ftemplate%3D05-distribution-discovery-data.yml).%0A%20%20%20%20To%20fix%20a%20mistake%20in%20an%20existing%20row%2C%20edit%20%60notebooks%2F05-distribution-discovery%2Fdata.csv%60%0A%20%20%20%20directly%20and%20open%20a%20PR%20--%20see%20%60AGENTS.md%60.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A