[0.2.9] Lenteur sur le chargement des occurrences #142

maximetoma · 2022-02-02T11:04:44Z

Version GeoNature: 2.9.1
Version Monitoring : 0.2.9

Bonjour, j'observe depuis quelques temps des lenteurs d'affichage des données sur mes sous-modules monitoring.
Par exemple, pour charger 19 visites d'un site, la requête met 33 secondes à finir de s'exécuter

Sur quoi s'appuie cette requête ? Qu'est-ce qui pourrait à ce point prendre du temps à charger ? Je trouver que 19 visites c'est quand meme peu :-)

maximetoma · 2022-02-11T11:28:44Z

Pour alimenter, voici la fenêtre Délai via Firefox, je rendu à plus d'1 min d'attente pour 39 visites....

joelclems · 2022-02-11T14:27:33Z

bonjour maxime,

je n'arrive pas à reproduire le bug,
c'est bien la route object/test/site/1?depth=1
est ce que tu aurai beaucoup de jdd ?

maximetoma · 2022-02-11T14:34:46Z

Oui c'est bien le type de route: http://xxxxxx/geonature/api//monitoring/object/comptage_rnmo/site/1199?depth=1

Alors, sur le sous-module en question, je n'ai qu'un seul jeu de données attaché.
Par contre en tout dans mon GeoNature, j'en ai plus de 150

joelclems · 2022-02-11T14:36:44Z

la donnée renvoyée parait normale (de quelques kilos seulement) ?

maximetoma · 2022-02-11T15:04:33Z

oui je pense, 24,4 kB

joelclems · 2022-02-11T15:16:45Z

il n' y a pas de changement majeur dans le backend de monitoring
cela doit venir de geonature mais il reste à trouver comment et comment résoudre le problème
j'essaierai de refaire des test en début de semaine prochaine

maximetoma · 2022-02-11T15:18:54Z

okay pas de soucis, merci beaucoup !
Je ne sais d'où peut venir cette difficulté... Dans ce dit-module, il n'y a "que" 5000 données

maximetoma · 2022-03-17T09:48:56Z

Bonjour, je me permet de relancer la problématique :)
Pour le moment, je n'ai pas réussi à trouver de pistes...

Le plus curieux est que ça fasse ça sur un sous-module en particulier...

camillemonchicourt · 2022-03-17T10:01:52Z

Si le soucis n'est que dans ce sous-module, il faut que tu analyses ce qu'il a de différent, au niveau de sa structure, de ses données, de ses volumes de données, des droits qui y sont configurés, etc... ?

joelclems · 2022-03-17T10:44:30Z

Bonjour maxime, peux tu nous envoyer la configuration du module ?

maximetoma · 2022-03-17T12:58:54Z

@camillemonchicourt Un comparatif du délai et du nombre de données pour le module entre mon serveur TEST et PROD (qui ont chacun une version différente du module et du nombre de données), après oui à voir sur la structure du code

Module	Données totales du module	Id site	Id visite	Nb visites du site chargé	Nb d'obs du site chargé	Nb d'obs de la visite chargée	Délai d'affichage des visites du site chargé (s)	Délai d'affichage des observations de la visite chargée (s)
Comptages décadaires [TEST]	47380	1193	161543	27	42	7	18,49	1,11
Comptages décadaires [PROD]	6100	1193	212661	13	16	4	23,59	2,22

@joelclems je t’envoie le module par mail, tu as une adresse pour te joindre ? :)

joelclems · 2022-03-17T13:18:31Z

joel.clement

cevennes-parcnational.net

joelclems · 2022-03-17T13:23:05Z

j'ai fait une coquille, c'est
cevennes-parcnational.fr

camillemonchicourt · 2022-03-17T13:26:39Z

@maximetoma, n'hésite pas à partager la configuration de ton sous-module directement.
D'ailleurs on essaie de les partager au maximum pour pouvoir mutualiser des protocoles, les faire converger ou s'inspirer : https://github.com/PnCevennes/protocoles_suivi

A moins que cela soit sensible ? 🤔

maximetoma · 2022-03-17T13:33:46Z

C'est prévu mais vu qu'il n'est pas tout à fait prêt, je n'osais pas forcement le mettre tout de suite, et je dois avoir l'aval de mes chefs je pense 🙂

joelclems · 2022-03-17T15:38:09Z

je tombe sur cette erreur à l'installation du module

joelclems · 2022-03-17T15:38:16Z

Execution du script synthese.sql
(psycopg2.errors.UndefinedTable) relation "gn_monitoring.cor_observation_observer" does not exist
LINE 75: FROM gn_monitoring.cor_observation_observer cvo

joelclems · 2022-03-17T15:59:49Z

avec 1 site et 6000 visites ça rame bonne nouvelle j'ai pu reproduire, reste à creuser pourquoi

joelclems · 2022-03-17T16:36:31Z

SELECT.txt

la requete des visite va chercher les realtions beaucoup trop loin il faut voir comment limiter cela pour gagner du temps

maximetoma · 2022-03-18T08:18:45Z

Execution du script synthese.sql (psycopg2.errors.UndefinedTable) relation "gn_monitoring.cor_observation_observer" does not exist LINE 75: FROM gn_monitoring.cor_observation_observer cvo

Ah oui j'ai oublié, j'ai créé une table perso sur le même fonctionnement que cor_visit_observer mais pour les observations. Et la vue de synthèse s'appuie dessus

la requete des visite va chercher les realtions beaucoup trop loin il faut voir comment limiter cela pour gagner du temps

Il s'agit de la requête principale de Monitoring qui va chercher toutes les informations ?

joelclems · 2022-03-18T09:33:12Z

Bonjour maxime, des changements dans les modèles des métadonnées font que l'on va chercher pas mal de chose dont on a pas besoin.

Peux tu essayer d'ajouter la ligne

TBaseVisits.dataset = DB.relationship(TDatasets)

Juste avant

gn_module_monitoring/backend/monitoring/models.py

Lines 85 to 92 in 9325840

    
           @serializable 
        
           class TMonitoringVisits(TBaseVisits): 
        
               __tablename__ = "t_visit_complements" 
        
               __table_args__ = {"schema": "gn_monitoring"} 
        
               __mapper_args__ = { 
        
                   'polymorphic_identity': 'monitoring_visit', 
        
               }

maximetoma · 2022-03-18T10:10:12Z

Okay d'accord !

J'ai rajouté la ligne puis ai rechargé la config mais je n'ai pas d'amélioration du délai 😕

joelclems · 2022-03-18T10:23:02Z

est ce que tu as relancé l'application geonature ?

maximetoma · 2022-03-18T10:25:20Z

Ah oui c'est vrai qu'il faut relancer l'application en plus maintenant !

Ah oui effectivement c'est beaucoup mieux !!!!! :) Merci beaucoup !

EDIT: 4 secondes pour afficher 200 visites

joelclems · 2022-03-18T10:27:09Z

quand on change un fichier python il faut relancer l'application

c'est cool si ça marche tu as quel ordre de delai désormais ?

joelclems · 2022-03-18T10:28:42Z

ça reste un peu limte en temps et ça vaudrait le coup d'avoir du serveur side
je garde le ticket ouvert en attendant la release

maximetoma · 2022-03-18T10:31:14Z

Ah d'accord !

Oui encore un petit délai mais cela reste beaucoup plus acceptable que 45secondes ou encore 1 ou 2 minutes

Qu'est ce que tu appelle le "serveur-side" ? C'est plus de côté de notre serveur ou du côté du code de GeoNature ?

joelclems · 2022-03-18T10:35:33Z

C'est par exemple le fat que pour le tableau on aurait pas besoin de charger les 200 visite mais seulement celles des 10 lignes que l'on affiche.

Cela impliquerai vraiment beaucoup de changements, mais on s'affranchirai du nombre de données présentes en base

maximetoma · 2022-03-18T10:40:18Z

Ah oui effectivement, ça vaudrait peut être le coup... mais si c'est pas trop contraignant, ou alors pour un grosse MAJ de Monitoring....

Ce fonctionnement existe actuellement sur Occtax ?

joelclems · 2022-03-18T11:00:12Z

oui je dirai que c'est déjà le cas pour occtax

camillemonchicourt · 2022-03-18T11:12:13Z

Oui c'est comme ça que fonctionne Occtax

maximetoma · 2022-03-18T11:24:14Z

Okay merci :)
Du coup à voir dans quelles mesures on peut l'adapter à Monitoring effectivement....

@joelclems

En lien avec le ticket PnX-SI#142 Ce paramètre proposé par @joelclems améliore grandement les performances (chargement des occurrences quasi instantané versus 7 à 20 secondes sans). Après je ne sais pas s'il y a une grande répercution si on fixe ce bout de code dans la branche master... ? Mais j'ai remarqué lors de la dernière MAJ effectué qu'il n'y était pas :)

camillemonchicourt · 2023-04-12T11:02:49Z

A priori amélioré suite aux évolutions dans la 0.4.1.

maximetoma mentioned this issue Dec 20, 2022

Modification models.py (Amélioration performances) #197

Closed

joelclems added a commit that referenced this issue Dec 28, 2022

amelioration performances #197 #142

5e8cac4

camillemonchicourt closed this as completed Apr 12, 2023

maximetoma mentioned this issue Jan 14, 2025

[1.0.0] Lenteur sur les chargements des sites #406

Closed

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

[0.2.9] Lenteur sur le chargement des occurrences #142

[0.2.9] Lenteur sur le chargement des occurrences #142

maximetoma commented Feb 2, 2022 •

edited

Loading

maximetoma commented Feb 11, 2022 •

edited

Loading

joelclems commented Feb 11, 2022

maximetoma commented Feb 11, 2022 •

edited

Loading

joelclems commented Feb 11, 2022

maximetoma commented Feb 11, 2022

joelclems commented Feb 11, 2022

maximetoma commented Feb 11, 2022

maximetoma commented Mar 17, 2022 •

edited

Loading

camillemonchicourt commented Mar 17, 2022

joelclems commented Mar 17, 2022

maximetoma commented Mar 17, 2022 •

edited

Loading

joelclems commented Mar 17, 2022

joelclems commented Mar 17, 2022

camillemonchicourt commented Mar 17, 2022

maximetoma commented Mar 17, 2022

joelclems commented Mar 17, 2022

joelclems commented Mar 17, 2022

joelclems commented Mar 17, 2022

joelclems commented Mar 17, 2022

maximetoma commented Mar 18, 2022 •

edited

Loading

joelclems commented Mar 18, 2022

maximetoma commented Mar 18, 2022

joelclems commented Mar 18, 2022

maximetoma commented Mar 18, 2022 •

edited

Loading

joelclems commented Mar 18, 2022

joelclems commented Mar 18, 2022

maximetoma commented Mar 18, 2022

joelclems commented Mar 18, 2022

maximetoma commented Mar 18, 2022

joelclems commented Mar 18, 2022

camillemonchicourt commented Mar 18, 2022

maximetoma commented Mar 18, 2022

camillemonchicourt commented Apr 12, 2023

[0.2.9] Lenteur sur le chargement des occurrences #142

[0.2.9] Lenteur sur le chargement des occurrences #142

Comments

maximetoma commented Feb 2, 2022 • edited Loading

maximetoma commented Feb 11, 2022 • edited Loading

joelclems commented Feb 11, 2022

maximetoma commented Feb 11, 2022 • edited Loading

joelclems commented Feb 11, 2022

maximetoma commented Feb 11, 2022

joelclems commented Feb 11, 2022

maximetoma commented Feb 11, 2022

maximetoma commented Mar 17, 2022 • edited Loading

camillemonchicourt commented Mar 17, 2022

joelclems commented Mar 17, 2022

maximetoma commented Mar 17, 2022 • edited Loading

joelclems commented Mar 17, 2022

joelclems commented Mar 17, 2022

camillemonchicourt commented Mar 17, 2022

maximetoma commented Mar 17, 2022

joelclems commented Mar 17, 2022

joelclems commented Mar 17, 2022

joelclems commented Mar 17, 2022

joelclems commented Mar 17, 2022

maximetoma commented Mar 18, 2022 • edited Loading

joelclems commented Mar 18, 2022

maximetoma commented Mar 18, 2022

joelclems commented Mar 18, 2022

maximetoma commented Mar 18, 2022 • edited Loading

joelclems commented Mar 18, 2022

joelclems commented Mar 18, 2022

maximetoma commented Mar 18, 2022

joelclems commented Mar 18, 2022

maximetoma commented Mar 18, 2022

joelclems commented Mar 18, 2022

camillemonchicourt commented Mar 18, 2022

maximetoma commented Mar 18, 2022

camillemonchicourt commented Apr 12, 2023

maximetoma commented Feb 2, 2022 •

edited

Loading

maximetoma commented Feb 11, 2022 •

edited

Loading

maximetoma commented Feb 11, 2022 •

edited

Loading

maximetoma commented Mar 17, 2022 •

edited

Loading

maximetoma commented Mar 17, 2022 •

edited

Loading

maximetoma commented Mar 18, 2022 •

edited

Loading

maximetoma commented Mar 18, 2022 •

edited

Loading