repercussion modif develop

Author: TheoLechemia

VERSION

@@ -1 +1 @@
-1.0.1.dev0
+1.1.X

docs/changelog.md

@@ -1,20 +1,34 @@
 CHANGELOG
 =========
 
+1.2.0 - unreleased
+-------------------
+
+- id_digitiser si pas de création de site ?
 
 1.1.0
 -----
 
-- Compatibilité avec GeoNature 2.15 (taxhub v2 et monitoring 1.0.0 (?))
+- Compatibilité avec GeoNature 2.14 et monitoring 0.7.X
+- Possibilité d'utiliser le module sans avoir le module monitoring d'installé
 
 Note de version : 
 
 - installer le module ODK2GN comme un module geonature : 
-
 ```
   geonature install-gn-module <chemin vers odk2gn> --build=false
 ```
-Vous devrez ensuite associer des permssions au module :
+- Supprimez les champs `data` de la configuration de vos modules dans le fichier `odk2gn_config.toml`
+- La gestion de la création des sites / visites / observations change. Le fait de pouvoir créer des sites étaient controlé par un paramètre de configuration `create_site` qui pointait vers le nom d'un champs du formulaire ODK. Ce sont désormais 3 booléens qui controle ça au niveau de la configuration ODK2GN de chaque sous module (voir le fichier d'exemple `odk2gn_config.toml.example`). Par défault les valeurs sont à `True` (bien veiller à passer les bonne valeur si vous voulez désactiver la création d'entitité à un niveau)
+
+```
+    create_site=false
+    create_visit=true
+    create_observation=true
+```
+
+
+Vous devrez ensuite associer des permissions au module :
 
 Pour donner tous les droits aux groupe admin : 
 `geonature permissions supergrant --group --nom "Grp_admin" --yes

odk2gn/gn2_utils.py

@@ -2,7 +2,7 @@
 import os
 import csv
 import flatdict
-from shapely.geometry import shape, Point, Polygon
+from shapely.geometry import shape
 from shapely.ops import transform
 from sqlalchemy.exc import SQLAlchemyError
 from geoalchemy2.shape import from_shape
@@ -14,13 +14,12 @@
 from geonature.core.gn_commons.models import TModules
 from geonature.utils.utilsmails import send_mail
 from geonature.utils.config import config
-from geonature.core.gn_monitoring.models import TBaseSites, BibTypeSite
 
 
 from pypnusershub.db.models import User
 from pypnnomenclature.models import TNomenclatures, CorTaxrefNomenclature
 
-from apptax.taxonomie.models import BibListes, cor_nom_liste, Taxref
+from apptax.taxonomie.models import BibListes, Taxref
 from odk2gn.odk_api import update_review_state
 
 log = logging.getLogger("app")

odk2gn/monitoring/command.py

@@ -80,98 +80,103 @@ def synchronize_module(module_code, project_id, form_id):
     for sub in form_data:
         flatten_data = flat_and_short_dict(sub)
         id_digitiser = get_digitiser(flatten_data, module_parser_config)
-        site = parse_and_create_site(
-            flatten_data,
-            module_parser_config,
-            monitoring_config=monitoring_config,
-            module=gn_module,
-            odk_form_schema=odk_form_schema,
-        )
-        site.id_digitiser = id_digitiser
-        get_and_post_medium(
-            project_id=project_id,
-            form_id=form_id,
-            uuid_sub=flatten_data.get("instanceID"),
-            filename=flatten_data.get(module_parser_config["SITE"]["media"]),
-            monitoring_table="t_base_sites",
-            media_type=module_parser_config["SITE"]["media_type"],
-            uuid_gn_object=site.uuid_base_site,
-        )
-        if site:
-            DB.session.add(site)
-
-        visit = parse_and_create_visit(
-            flatten_data,
-            module_parser_config,
-            monitoring_config,
-            gn_module,
-            odk_form_schema,
-        )
-        if not visit:
-            # S'il n'y a pas de visites
-            # Sauvegarde des données et passage à la submission suivante
-            log.warning("No visit for this site")
+        if module_parser_config["can_create_site"]:
+            site = parse_and_create_site(
+                flatten_data,
+                module_parser_config,
+                monitoring_config=monitoring_config,
+                module=gn_module,
+                odk_form_schema=odk_form_schema,
+            )
+            
+            # Dans certain cas on peut soit créer des site soit selectionner un site existant
+            if site:
+                site.id_digitiser = id_digitiser
+                get_and_post_medium(
+                    project_id=project_id,
+                    form_id=form_id,
+                    uuid_sub=flatten_data.get("instanceID"),
+                    filename=flatten_data.get(module_parser_config["SITE"]["media"]),
+                    monitoring_table="t_base_sites",
+                    media_type=module_parser_config["SITE"]["media_type"],
+                    uuid_gn_object=site.uuid_base_site,
+                )
+                DB.session.add(site)
+        # si pas de visite pour le module
+        if not "visit" in monitoring_config:
             commit_data(project_id, form_id, sub["__id"])
             continue
-
-        visit.id_digitiser = id_digitiser
-
-        get_and_post_medium(
-            project_id=project_id,
-            form_id=form_id,
-            uuid_sub=flatten_data.get("instanceID"),
-            filename=flatten_data.get(module_parser_config["VISIT"]["media"]),
-            monitoring_table="t_base_visits",
-            media_type=module_parser_config["VISIT"]["media_type"],
-            uuid_gn_object=visit.uuid_base_visit,
-        )
-
-        observations_list = []
-        try:
-            observations_list = flatten_data.pop(
-                module_parser_config["OBSERVATION"]["observations_repeat"]
-            )
-            assert type(observations_list) is list
-        except KeyError:
-            log.warning("No observation for this visit")
-        except AssertionError:
-            log.error("Observation node is not a list")
-            raise
-        except Exception as e:
-            raise
-
-        for obs in observations_list:
-            gn_uuid_obs = uuid.uuid4()
-            flatten_obs = flat_and_short_dict(obs)
-            observation = parse_and_create_obs(
-                flatten_obs,
+        else:
+            visit = parse_and_create_visit(
+                flatten_data,
                 module_parser_config,
                 monitoring_config,
+                gn_module,
                 odk_form_schema,
-                gn_uuid_obs,
             )
-            observation.id_digitiser = id_digitiser
+            if not visit:
+                # S'il n'y a pas de visites
+                # Sauvegarde des données et passage à la submission suivante
+                log.warning("No visit for this site")
+                commit_data(project_id, form_id, sub["__id"])
+                continue
+
+            visit.id_digitiser = id_digitiser
+
             get_and_post_medium(
                 project_id=project_id,
                 form_id=form_id,
                 uuid_sub=flatten_data.get("instanceID"),
-                filename=flatten_obs.get(module_parser_config["OBSERVATION"]["media"]),
-                monitoring_table="t_observations",
-                media_type=module_parser_config["OBSERVATION"]["media_type"],
-                uuid_gn_object=gn_uuid_obs,
+                filename=flatten_data.get(module_parser_config["VISIT"]["media"]),
+                monitoring_table="t_base_visits",
+                media_type=module_parser_config["VISIT"]["media_type"],
+                uuid_gn_object=visit.uuid_base_visit,
             )
-            visit.observations.append(observation)
-        if site and visit:
-            site.visits.append(visit)
-
+            if "observation" in monitoring_config:
+                observations_list = []
+                try:
+                    observations_list = flatten_data.pop(
+                        module_parser_config["OBSERVATION"]["observations_repeat"]
+                    )
+                    assert type(observations_list) is list
+                except KeyError:
+                    log.warning("No observation for this visit")
+                except AssertionError:
+                    log.error("Observation node is not a list")
+                    raise
+                except Exception as e:
+                    raise
+
+                for obs in observations_list:
+                    gn_uuid_obs = uuid.uuid4()
+                    flatten_obs = flat_and_short_dict(obs)
+                    observation = parse_and_create_obs(
+                        flatten_obs,
+                        module_parser_config,
+                        monitoring_config,
+                        gn_module,
+                        odk_form_schema,
+                    )
+                    observation.id_digitiser = id_digitiser
+                    get_and_post_medium(
+                        project_id=project_id,
+                        form_id=form_id,
+                        uuid_sub=flatten_data.get("instanceID"),
+                        filename=flatten_obs.get(module_parser_config["OBSERVATION"]["media"]),
+                        monitoring_table="t_observations",
+                        media_type=module_parser_config["OBSERVATION"]["media_type"],
+                        uuid_gn_object=gn_uuid_obs,
+                    )
+                    visit.observations.append(observation)
+            if site and visit:
+                site.visits.append(visit)
         if visit:
             DB.session.add(visit)
 
         commit_data(project_id, form_id, sub["__id"])
     log.info(f"--- Finish synchronize for module {module_code} ---")
 
 
-
 def upgrade_module(
     module_code,
     project_id,

odk2gn/monitoring/config_schema.py

@@ -3,6 +3,7 @@
 
 
 class SiteSchema(Schema):
+    create_site = fields.Str(load_default="create_site")
     base_site_name = fields.Str(load_default="base_site_name")
     base_site_code = fields.Str(load_default="base_site_code")
     base_site_description = fields.Str(load_default="base_site_description")
@@ -19,6 +20,7 @@ class SiteSchema(Schema):
 
 
 class VisitSchema(Schema):
+    create_visit = fields.Str(load_default="create_visit")
     observers_repeat = fields.Str(load_default="observers")
     id_observer = fields.Str(load_default="id_role")
     media = fields.Str(load_default="medias_visit")
@@ -42,8 +44,7 @@ class ObservationSchema(Schema):
 
 class ProcoleSchema(Schema):
     module_code = fields.Str(required=True)
-    create_site = fields.Str(load_default="create_site")
-    create_visit = fields.Str(load_default="create_visit")
+    can_create_site = fields.Boolean(load_default=True)
     SITE = fields.Nested(SiteSchema, load_default=SiteSchema().load({}))
     VISIT = fields.Nested(VisitSchema, load_default=VisitSchema().load({}))
     OBSERVATION = fields.Nested(ObservationSchema, load_default=ObservationSchema().load({}))

odk2gn/monitoring/utils.py

@@ -20,6 +20,11 @@
 from pypnusershub.db.models import User
 
 from odk2gn.odk_api import get_attachment
+from odk2gn.gn2_utils import format_jdd_list, get_observers
+
+log = logging.getLogger("app")
+
+from pypnnomenclature.models import TNomenclatures
 from odk2gn.gn2_utils import (
     format_jdd_list,
     to_wkb,
@@ -92,29 +97,21 @@ def process_additional_data(monitoring_config, odk_form_schema, field_name, val)
 
 def get_digitiser(flatten_sub, module_parser_config):
     for key, val in flatten_sub.items():
-        odk_column_name = key.split("/")[-1]
         # specifig digitiser column
-        if odk_column_name == module_parser_config.get("id_digitiser"):
+        if key == module_parser_config.get("id_digitiser"):
             return int(val)
 
 
-def get_observers(observers_list):
-    obss = DB.session.query(User).filter(User.id_role.in_(tuple(observers_list))).all()
-    return obss
-
-
-
 def parse_and_create_site(
     flatten_sub, module_parser_config, monitoring_config, module, odk_form_schema
 ):
-    # Test de création du site
-    # S'il y a un champ create_site dans le formulaire
-    #   et qu'il  est  renseigné de façon négative
-    if module_parser_config.get("create_site") in flatten_sub.keys():
+    # Le module peut accepter à la fois la création de site et la selection d'un site existant
+    # Ici on est dans le cas ou le formulaire ODK accepte la création de site
+    # on va vérifier dans la soumission si l'utilisateur a choisi de créer un site ou non
+    if module_parser_config["SITE"].get("create_site") in flatten_sub.keys():
         create_site_key = module_parser_config.get("create_site")
         if flatten_sub[create_site_key] in ("0", 0, "false", "no", False, None):
             return None
-
     id_type = None
     site_dict_to_post = {
         "data": {},
@@ -196,22 +193,17 @@ def parse_and_create_visit(
     :type monitoring_config: dict
 
     :param gn_module: the gn_module object
-    :type monitoring_config: TMpodulesMonitoring
+    :type monitoring_config: TModulesMonitoring
 
     :param odk_form_schema: a ODKSchema object describing the ODK form
     :type odk_form_schema: ODKSchema
 
 
     """
-    if not "visit" in monitoring_config:
-        # si pas de visite pour le module
-        return None
-
     visit_generic_column = monitoring_config["visit"]["generic"]
     visit_specific_column = monitoring_config["visit"]["specific"]
     # get uuid from the submission and use it has visit UUID
     visit_uuid = flatten_sub["__id"].split(":")[-1]
-    # DB.session.query(TMonitoringVisits).filter_by(uuid_base_visit=visit_uuid).exitst()
     visit_dict_to_post = {
         "uuid_base_visit": visit_uuid,
         "id_module": gn_module.id_module,
@@ -297,7 +289,6 @@ def parse_and_create_obs(
     :param odk_form_schema: a ODKSchema object describing the ODK form
     :type odk_form_schema: ODKSchema
     """
-    # TODO : make a class and not get these column a each loop
     observation_generic_column = monitoring_config["observation"]["generic"]
     observation_specific_column = monitoring_config["observation"]["specific"]
 

odk2gn/odk_api.py

@@ -22,7 +22,7 @@ def get_attachment(project_id, form_id, uuid_sub, media_name):
     if img.status_code == 200:
         return img.content
     else:
-        log.warning(f"Image not found for submission {uuid_sub}")
+        log.warning(f"No image found for submission {uuid_sub}")