DCAT - transformer le thésaurus des législations en applicableLegislation

[vbombaerts]

Voir https://semiceu.github.io/DCAT-AP/r5r/releases/3.0.0/#applicableLegislation

C'est demandé pour DCAT-AP, GeoDCAT-AP, MobilityDCAT-AP, et DCAT-AP HVD.

Actuellement elles sont sous dcat:theme (mot-clé issu de thésaurus).

Exemple : https://metawal-temp.wallonie.be/geonetwork/napits/api/records/70c5ee8d-1554-468b-b5d4-7c976b046894/formatters/eu-dcat-ap?output=xml

[fxprunayre]

En HVD, il y a le mapping vers applicableLegislation à partir du moment où le thésaurus référence l'URI du vocabulaire cf. https://github.com/geonetwork/core-geonetwork/pull/7600/files#diff-7eca6a2931dc843b0bdcf96cdda73c1805d6d59c7ac0e00f9089d295cc23d555R22-R23

eg. https://metawal-temp.wallonie.be/geonetwork/napits/api/records/70c5ee8d-1554-468b-b5d4-7c976b046894/formatters/eu-dcat-ap-hvd?output=xml

<dcatap:applicableLegislation rdf:resource="http://data.europa.eu/eli/reg_impl/2023/138/oj"/> 
<dcatap:hvdCategory>
<skos:Concept rdf:about="http://data.europa.eu/bna/c_b79e35eb">
<prefLabel xmlns="http://www.w3.org/2004/02/skos/core#" xml:lang="fr">Mobilité</prefLabel>
</skos:Concept>
</dcatap:hvdCategory>

Par contre, ce n'est vrai que pour legislation?
eg. mobility DCAT
https://mobilitydcat-ap.github.io/mobilityDCAT-AP/drafts/latest/#dataset-applicable-legislation

Semaine dernière on a évoqué la possibilité de créer un DCAT qui contient toutes les propriétés mais ça pose quelques questions:

• validation - problème quand un élément est 0..n dans un profil et 1..1 dans un autre (eg. identifiant de la donnée)
• definition - parfois les définitions pour un même élément ne sont pas identiques (y'avait des discussions sur dcat:theme je crois)
• encodage - on encode la même info de différentes manières (eg. projection, hvdCategory)

[vbombaerts]

En HVD, il y a le mapping vers applicableLegislation à partir du moment où le thésaurus référence l'URI du vocabulaire cf. https://github.com/geonetwork/core-geonetwork/pull/7600/files#diff-7eca6a2931dc843b0bdcf96cdda73c1805d6d59c7ac0e00f9089d295cc23d555R22-R23

J'ai pas compris pq ce n'est dispo que pour le mapping vers DCAT-HVD alors que c'est défini dans le DCAT-AP et le mobilitydcat et geodcat et dcat-hvd reprennent cet élément ?

EDIT : Au temps pour moi. Je pensais qu'on avait un thésaurus avec toutes les législations, mais c'est seulement pour HVD.
Mais j'imagine que si j'en crée un deuxième avec le même espace de nommage pour ajouter les références des législations non HVD ça marchera aussi. Je teste.

[vbombaerts]

J'ai créé un nouveau thésaurus pour les législation européennes, mais ça ne marche toujours pas.
Qu'est-ce qui manque pour que ce soit bien traduit ?

https://metawal-temp.wallonie.be/geonetwork/napits/fre/admin.console#/classification --> Legislations européennes

https://metawal-temp.wallonie.be/geonetwork/napits/api/records/bfbaf3f5-9c83-43fb-8ad0-3388f96c2e75/formatters/xml

[fxprunayre]

Actuellement, on utilise un thésaurus "http://data.europa.eu/r5r/applicableLegislation" pour créer les dcatap:applicableLegislation pour HVD. Mais tu voudrais encoder d'autres législations non HVD ? et peut être les combiner dans un même thésaurus ?

[vbombaerts]

oui, c'est ça. Pour mobilitydcat, on doit renseigner des législation européennes aussi.
Je pense qu'on aura de plus en plus souvent le cas.

https://www.transportdata.be/fr/pages/declaration-of-compliance

[fxprunayre]

Je pense qu'on aura de plus en plus souvent le cas.

Pour GeoNetwork 5, on envisage de retravailler le module thésaurus. Les idées :

• Stocker les thésaurus en base de données (au lieu de RDF - pour simplifier)
• L'import de thésaurus externe peut être planifié (comme un moissonneur - pour obtenir les mises à jour, avoir un rapport d'importation)
• Pouvoir créer des listes virtuelles / ordonnées (parfois un veut un éditeur avec un champ qui ne contient qu'un sous ensemble de concepts - ou des concepts de plusieurs thésaurus, dans un certain ordre eg. unités de mesures)
• Gérer les codelists ISO comme les thésaurus (pour simplifier la gestion et rendre les choses plus homogènes dans l'édition)

[fxprunayre]

357f461

Maintenant, tous mots clés ayant une ancre commençant par "http://data.europa.eu/eli'" sont mappés en dcatap:applicableLegislation en DCAT-AP et ses extension.

Amélioration de la conversion OWL > SKOS pour mobility theme geonetwork#8393

A déployer

[fxprunayre]

Nouveau thésaurus https://metawal.wallonie.be/geonetwork/srv/api/registries/vocabularies/external.theme.europeanLegislation
visible depuis https://metawal.wallonie.be/geonetwork/srv/fre/admin.console#/classification

Exemple de fiche utilisant l'ancien thésaurus https://metawal.wallonie.be/geonetwork/hvd/api/records/af191ba4-8e0c-48b4-8d48-830472f57265/formatters/xml

<mri:descriptiveKeywords>
        <mri:MD_Keywords>
          <mri:keyword>
            <gco:CharacterString>2022/1172/EU</gco:CharacterString>
          </mri:keyword>
          <mri:keyword>
            <gco:CharacterString>2007/2/EC</gco:CharacterString>
          </mri:keyword>
          <mri:keyword>
            <gco:CharacterString>2021/2116/EU</gco:CharacterString>
          </mri:keyword>
          <mri:keyword>
            <gco:CharacterString>1306/2013</gco:CharacterString>
          </mri:keyword>
          <mri:keyword>
            <gco:CharacterString>2023/138</gco:CharacterString>
          </mri:keyword>
          <mri:type>
            <mri:MD_KeywordTypeCode codeList="http://standards.iso.org/iso/19115/resources/Codelists/cat/codelists.xml#MD_KeywordTypeCode" codeListValue="theme" />
          </mri:type>
          <mri:thesaurusName>
            <cit:CI_Citation>
              <cit:title>
                <gcx:Anchor xlink:href="http://data.europa.eu/r5r/applicableLegislation">High-value dataset applicable legislations</gcx:Anchor>
              </cit:title>
              <cit:date>
                <cit:CI_Date>
                  <cit:date>
                    <gco:Date>2024-04-18</gco:Date>
                  </cit:date>
                  <cit:dateType>
                    <cit:CI_DateTypeCode codeList="http://standards.iso.org/iso/19115/resources/Codelists/cat/codelists.xml#CI_DateTypeCode" codeListValue="publication" />
                  </cit:dateType>
                </cit:CI_Date>
              </cit:date>
              <cit:date>
                <cit:CI_Date>
                  <cit:date>
                    <gco:Date>2024-04-18</gco:Date>
                  </cit:date>
                  <cit:dateType>
                    <cit:CI_DateTypeCode codeList="http://standards.iso.org/iso/19115/resources/Codelists/cat/codelists.xml#CI_DateTypeCode" codeListValue="publication" />
                  </cit:dateType>
                </cit:CI_Date>
              </cit:date>
              <cit:identifier>
                <mcc:MD_Identifier>
                  <mcc:code>
                    <gcx:Anchor xlink:href="https://metawal.wallonie.be/geonetwork/srv/api/registries/vocabularies/external.theme.high-value-dataset-applicable-legislation">geonetwork.thesaurus.external.theme.high-value-dataset-applicable-legislation</gcx:Anchor>
                  </mcc:code>
                </mcc:MD_Identifier>
              </cit:identifier>
            </cit:CI_Citation>
          </mri:thesaurusName>
        </mri:MD_Keywords>
      </mri:descriptiveKeywords>

Donc options:

1. en base de données, avec SQL , il nous faut remplacer:

• "High-value dataset applicable legislations" > "Législations européennes" ? - à vérifier
• "external.theme.high-value-dataset-applicable-legislation" > "external.theme.applicable-legislation" ? - à vérifier

Ensuite réindexer

2. via l'interface, batch edit chercher/remplacer sur les fiches q(_exists_:th_high-value-dataset-applicable-legislation)
   On risque d'avoir le problème de timeout sur le batchedit, donc j'aurai une préférence pour 1).

Pour vérifier
https://metawal.wallonie.be/geonetwork/srv/fre/catalog.search#/search?any=q(_exists_:th_high-value-dataset-applicable-legislation)
retourne 221 fiches. Devrait retourner 0 après migration

[vbombaerts]

Le nouveau thésaurus, c'est Applicable legislations
Il remplace Législations européennes et High-value dataset applicable legislations

[vbombaerts]

2. via l'interface, batch edit chercher/remplacer sur les fiches q(_exists_:th_high-value-dataset-applicable-legislation)
   On risque d'avoir le problème de timeout sur le batchedit, donc j'aurai une préférence pour 1).

On peut batcher par blocs de 60. Je procède comme ça quand il y a un grand nombre de fiches ("tout sélectionner dans la page")

[vbombaerts]

external.theme.high-value-dataset-applicable-legislation > external.theme.applicable-legislation
external.theme.europeanLegislation > external.theme.applicable-legislation

Législations européennes > Applicable legislations
High-value dataset applicable legislations > Applicable legislations

[vbombaerts]

Appliqué en test et en prod.
La valid se synchronisera avec la prod.