2. Metadata Quality Improvement

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.12%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22altair%22%2C%0A%23%20%20%20%20%20%22pandas%22%2C%0A%23%20%20%20%20%20%22pyarrow%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.25.0%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22%2C%20app_title%3D%222.%20Metadata%20Quality%20Improvement%22)%0A%0A%0A%40app.cell%0Adef%20imports()%3A%0A%20%20%20%20import%20altair%20as%20alt%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20alt%2C%20mo%2C%20pd%0A%0A%0A%40app.cell%0Adef%20intro(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%202.%20Metadata%20Quality%20Improvement%0A%0A%20%20%20%20%23%23%20Goal%0A%0A%20%20%20%20Repository%2FCRIS%20systems%20have%20adopted%20the%20updated%20metadata-%20and%20exchange-standards%20for%20high-quality%20research%20metadata%20that%20comply%20with%20international%20guidelines%20and%20meet%20national%20requirements.%0A%0A%20%20%20%20%23%23%20What%20this%20dashboard%20monitors%0A%0A%20%20%20%20Two%20health%20signals%20per%20repo%2C%20over%20time%3A%20(1)%20validation%20results%20against%20the%20oai_cerif_openaire_NL%20%2F%20oai_dc_openaire_NL%20application%20profiles%20(%22Compliancy%20health%22)%2C%20and%20(2)%20presence%20of%20ROR%2C%20ORCID%20and%20DOI%20identifiers%20in%20records%20(%22PID%20health%22).%0A%0A%20%20%20%20%23%23%20Datapoints%20needed%20from%20participating%20institutions%0A%0A%20%20%20%20-%20Repository%20%2F%20CRIS%20name%0A%20%20%20%20-%20Share%20of%20records%20passing%20OAI%20application-profile%20validation%2C%20with%20snapshot%20date%0A%20%20%20%20-%20Share%20of%20records%20with%20a%20ROR-identified%20institution%0A%20%20%20%20-%20Share%20of%20records%20with%20an%20ORCID%20for%20at%20least%20one%20author%0A%20%20%20%20-%20Share%20of%20records%20with%20a%20DOI%0A%0A%20%20%20%20---%0A%0A%20%20%20%20**Status%3A%20live%2C%20usually%20sparse.**%20The%20table%20and%20chart%20below%20read%0A%20%20%20%20%60data.csv%60%20straight%20from%20GitHub%20on%20every%20page%20load%20--%20a%20new%20submission%0A%20%20%20%20needs%20no%20site%20rebuild%2C%20just%20a%20page%20reload%20(GitHub's%20raw-file%20cache%20can%0A%20%20%20%20lag%20a%20few%20minutes%20behind).%20Data%20arrives%20through%20the%0A%20%20%20%20%5B02-metadata-quality%20Issue%20Form%5D(https%3A%2F%2Fgithub.com%2Fdurf-project%2Fdashboards%2Fissues%2Fnew%3Ftemplate%3D02-metadata-quality-data.yml)%2C%0A%20%20%20%20auto-ingested%20by%20%60.github%2Fworkflows%2Fingest-submission.yml%60%20--%20no%20manual%0A%20%20%20%20transcription%20step.%20%60submitted_by%60%20on%20each%20row%20is%20the%20submitter's%20GitHub%0A%20%20%20%20username%3B%20sort%20or%20filter%20that%20column%20in%20the%20table%20to%20spot%20bad%20entries.%0A%20%20%20%20Select%20rows%20in%20the%20table%20to%20filter%20the%20chart%20to%20just%20those.%20See%0A%20%20%20%20%60AGENTS.md%60%20for%20the%20full%20pipeline.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20theme02_metadata_quality_data(pd)%3A%0A%20%20%20%20%23%20Fetched%20fresh%20on%20every%20load%20from%20the%20data.csv%20that%0A%20%20%20%20%23%20.github%2Fscripts%2Fingest_issue.py%20appends%20to%20--%20see%20the%20intro%20above.%0A%20%20%20%20%23%20No%20validation%20happened%20on%20the%20way%20in%2C%20so%20coerce%20numeric%20columns%20with%0A%20%20%20%20%23%20errors%3D%22coerce%22%20(bad%20values%20become%20NaN)%20rather%20than%20trust%20the%20input.%0A%20%20%20%20_url%20%3D%20(%0A%20%20%20%20%20%20%20%20%22https%3A%2F%2Fraw.githubusercontent.com%2Fdurf-project%2Fdashboards%2Fmain%2F%22%0A%20%20%20%20%20%20%20%20%22notebooks%2F02-metadata-quality%2Fdata.csv%22%0A%20%20%20%20)%0A%20%20%20%20_empty%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22repo%22%3A%20pd.array(%5B%5D%2C%20dtype%3D%22string%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22compliance_pct%22%3A%20pd.array(%5B%5D%2C%20dtype%3D%22Float64%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22ror_pct%22%3A%20pd.array(%5B%5D%2C%20dtype%3D%22Float64%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22orcid_pct%22%3A%20pd.array(%5B%5D%2C%20dtype%3D%22Float64%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22doi_pct%22%3A%20pd.array(%5B%5D%2C%20dtype%3D%22Float64%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22snapshot_date%22%3A%20pd.array(%5B%5D%2C%20dtype%3D%22string%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22submitted_by%22%3A%20pd.array(%5B%5D%2C%20dtype%3D%22string%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22submitted_via_issue%22%3A%20pd.array(%5B%5D%2C%20dtype%3D%22Int64%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22submitted_at%22%3A%20pd.array(%5B%5D%2C%20dtype%3D%22string%22)%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20theme02_metadata_quality_data%20%3D%20pd.read_csv(_url%2C%20dtype%3D%22string%22)%0A%20%20%20%20except%20Exception%3A%0A%20%20%20%20%20%20%20%20theme02_metadata_quality_data%20%3D%20_empty%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20for%20_col%2C%20_dtype%20in%20%7B%22compliance_pct%22%3A%20%22Float64%22%2C%20%22ror_pct%22%3A%20%22Float64%22%2C%20%22orcid_pct%22%3A%20%22Float64%22%2C%20%22doi_pct%22%3A%20%22Float64%22%2C%20%22submitted_via_issue%22%3A%20%22Int64%22%7D.items()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20theme02_metadata_quality_data%5B_col%5D%20%3D%20pd.to_numeric(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20theme02_metadata_quality_data%5B_col%5D%2C%20errors%3D%22coerce%22%0A%20%20%20%20%20%20%20%20%20%20%20%20).astype(_dtype)%0A%20%20%20%20%20%20%20%20theme02_metadata_quality_data%20%3D%20theme02_metadata_quality_data.reindex(columns%3D_empty.columns)%0A%20%20%20%20return%20(theme02_metadata_quality_data%2C)%0A%0A%0A%40app.cell%0Adef%20theme02_metadata_quality_table(mo%2C%20theme02_metadata_quality_data)%3A%0A%20%20%20%20theme02_metadata_quality_table%20%3D%20mo.ui.table(theme02_metadata_quality_data%2C%20label%3D%22Submitted%20data%22)%0A%20%20%20%20theme02_metadata_quality_table%0A%20%20%20%20return%20(theme02_metadata_quality_table%2C)%0A%0A%0A%40app.cell%0Adef%20theme02_metadata_quality_chart(%0A%20%20%20%20alt%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20theme02_metadata_quality_data%2C%0A%20%20%20%20theme02_metadata_quality_table%2C%0A)%3A%0A%20%20%20%20_shown%20%3D%20(%0A%20%20%20%20%20%20%20%20theme02_metadata_quality_table.value%20if%20len(theme02_metadata_quality_table.value)%20else%20theme02_metadata_quality_data%0A%20%20%20%20)%0A%20%20%20%20theme02_metadata_quality_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(_shown)%0A%20%20%20%20%20%20%20%20.mark_bar()%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22repo%3AN%22%2C%20title%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22compliance_pct%3AQ%22)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(title%3D%22OAI%20application-profile%20compliance%20by%20repo%22)%0A%20%20%20%20)%0A%20%20%20%20mo.ui.altair_chart(theme02_metadata_quality_chart)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20outro(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Add%20or%20correct%20data%0A%0A%20%20%20%20Submit%20new%20data%20via%20the%0A%20%20%20%20%5B02-metadata-quality%20Issue%20Form%5D(https%3A%2F%2Fgithub.com%2Fdurf-project%2Fdashboards%2Fissues%2Fnew%3Ftemplate%3D02-metadata-quality-data.yml).%0A%20%20%20%20To%20fix%20a%20mistake%20in%20an%20existing%20row%2C%20edit%20%60notebooks%2F02-metadata-quality%2Fdata.csv%60%0A%20%20%20%20directly%20and%20open%20a%20PR%20--%20see%20%60AGENTS.md%60.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A