When generating yearly reports, warn and abort if there are less than 100 valid data days #292

why-not-try-calmer · 2023-11-14T15:29:54Z

No description provided.

why-not-try-calmer · 2023-11-15T10:37:00Z

@spch-GL Navré mais le commentaire très utile que tu as fait sur cette même Pull Request semble ne plus être visible (si c'est parce que j'ai basculé la Pull Request en mode "ébauche", je m'en excuse).

Oserais-je te demander de bien vouloir me dire, toujours sur cette même PR plutôt qu'en réponse à ce courriel, quelle logique tu souhaiterais idéalement? Une erreur? Un avertissement avec une tentative de quand même générer le rapport? Un effort du système pour générer le rapport quoi qu'il en soit sauf problème majeur?

Bien cordialement

spch-GL · 2023-11-15T10:59:25Z

@why-not-try-calmer Je ne crois pas avoir fait de commentaire sur un PR mais seulement sur des issues...

Dans l'idéal, il faudrait avertir l'utilisateur qu'il n'y a pas assez de données en indiquant le nombre de jours pris en compte, et lui demander si il veut tout de même générer le rapport annuel oui ou non ("non" par défaut), le tout dans une seule boite de dialogue.

why-not-try-calmer · 2023-11-15T11:25:06Z

@why-not-try-calmer Je ne crois pas avoir fait de commentaire sur un PR mais seulement sur des issues...

Dans l'idéal, il faudrait avertir l'utilisateur qu'il n'y a pas assez de données en indiquant le nombre de jours pris en compte, et lui demander si il veut tout de même générer le rapport annuel oui ou non ("non" par défaut), le tout dans une seule boite de dialogue.

Très bien, et "pas assez de données" serait défini comme "moins que le maximum possible" (incomplet) ou autrement?

spch-GL · 2023-11-15T15:02:28Z

extrait de #273 : ... pas de rapport annuel avec moins de 100 jours de données

C'est la définition de "pas assez de données"

Mais il reste à déterminer comment vérifier si les données fournies sont assez complètes ...

why-not-try-calmer · 2023-11-15T15:26:58Z

extrait de #273 : ... pas de rapport annuel avec moins de 100 jours de données

C'est la définition de "pas assez de données"

Mais il reste à déterminer comment vérifier si les données fournies sont assez complètes ...

A très bien, c'est précisément cette définition dont je craignais qu'elle ait été perdue avec un commentaire. Tout est clair, je ferai une proposition pour le seuil "assez complètes"

spch-GL · 2023-11-23T11:52:22Z

Salut Adrien, Désolé, j’étais en séance et ne vois ta question que maintenant… Je n’ai pas retrouvé ton commentaire dans la PR 292… alors je te réponds par courriel Je ne vois pas ton intervalle 14-38… Mais ce que je comprends : Hour : intervalle horaire entre x et x+1 THM : nombre de véhicules pendant cette heure (Trafic Horaire Moyen) Par contre date, c’est plus étrange… Nous avons les jours de la semaine (0-6 ou 1-7) Mais cela pourrait aussi être les jours ouvrables/les week-end/les jours fériés Pierre Grellet Chef de projets en informatique technique (DDTE - SPCH - OSMO) De : Adrien ***@***.***> Envoyé : jeudi, 23 novembre 2023 11:08 À : opengisch/OpenComptage ***@***.***> Cc : Grellet Pierre ***@***.***>; Mention ***@***.***> Objet : Re: [opengisch/OpenComptage] When generating yearly reports, warn and abort if there are less than 100 valid data days (PR #292) [E-MAIL EXTERNE] Je ne comprends pas ce dataframe Panda: date hour thm 0 1 0 7 1 1 1 6 2 1 2 12 3 1 3 40 4 1 4 229 5 1 5 755 6 1 6 744 7 1 7 488 8 1 8 423 9 1 9 419 10 1 10 535 11 1 11 429 12 1 12 462 13 1 13 313 14 4 14 121 15 4 15 547 16 4 16 631 17 4 17 520 18 4 18 393 19 4 19 200 20 4 20 88 21 4 21 70 22 4 22 58 23 4 23 35 24 6 0 102 25 6 1 64 26 6 2 52 27 6 3 19 28 6 4 20 29 6 5 19 30 6 6 59 31 6 7 84 32 6 8 165 33 6 9 262 34 6 10 391 35 6 11 535 36 6 12 365 37 6 13 323 38 6 14 352 obtenu par la fonction get_time_data_yearly(2021, section) où section est le fameux tronçon 0010769. Que représente l'intervalle "14-38" (colonne "heure")? — Reply to this email directly, view it on GitHub<#292 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/AGJHY27IVIK762WCRM6OYLLYF4N6XAVCNFSM6AAAAAA7K766X6VHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMYTQMRUGEYTGOJQHA>. You are receiving this because you were mentioned.Message ID: ***@***.******@***.***>>

why-not-try-calmer · 2023-11-23T14:22:43Z

Pas de problème, commentaire effacé, cette question-là est réglée

…back on exceptions

spch-GL · 2023-12-05T09:56:58Z

Désolé, je ne suis de retour que maintenant et ne trouve pas ce 25...
Mais si cela devrait représenter le nombre de jours complet de l'année 2021, c'est trop peu

why-not-try-calmer · 2023-12-05T10:37:07Z

Okay on est bon, c'est déjà disponible dans la release à laquelle je t'ai référé dans mon email de tout à l'heure.

spch-GL · 2023-12-05T10:47:00Z

Avec la version 2.1.3b, le rapport annuel n'est pas généré, il y a une erreur de date

2023-12-05T11:22:10     WARNING    Traceback (most recent call last):
              File "C:\apps\OSGeo4W\apps\Python39\lib\site-packages\pandas\core\indexes\base.py", line 3800, in get_loc
              return self._engine.get_loc(casted_key)
              File "pandas\_libs\index.pyx", line 138, in pandas._libs.index.IndexEngine.get_loc
              File "pandas\_libs\index.pyx", line 165, in pandas._libs.index.IndexEngine.get_loc
              File "pandas\_libs\hashtable_class_helper.pxi", line 5745, in pandas._libs.hashtable.PyObjectHashTable.get_item
              File "pandas\_libs\hashtable_class_helper.pxi", line 5753, in pandas._libs.hashtable.PyObjectHashTable.get_item
             KeyError: 'date'
             
             The above exception was the direct cause of the following exception:
             
             Traceback (most recent call last):
              File "C:\Users/GrelletP/AppData/Roaming/QGIS/QGIS3\profiles\cptg_dev/python/plugins\comptages\core\report_task.py", line 44, in run
              raise e
              File "C:\Users/GrelletP/AppData/Roaming/QGIS/QGIS3\profiles\cptg_dev/python/plugins\comptages\core\report_task.py", line 32, in run
              report.prepare_reports(
              File "C:\Users/GrelletP/AppData/Roaming/QGIS/QGIS3\profiles\cptg_dev/python/plugins\comptages\core\report.py", line 39, in prepare_reports
              _prepare_yearly_report(
              File "C:\Users/GrelletP/AppData/Roaming/QGIS/QGIS3\profiles\cptg_dev/python/plugins\comptages\core\report.py", line 103, in _prepare_yearly_report
              _data_day_yearly(count, section, year, workbook)
              File "C:\Users/GrelletP/AppData/Roaming/QGIS/QGIS3\profiles\cptg_dev/python/plugins\comptages\core\report.py", line 400, in _data_day_yearly
              df = statistics.get_time_data_yearly(year, section, direction=2)
              File "C:\Users/GrelletP/AppData/Roaming/QGIS/QGIS3\profiles\cptg_dev/python/plugins\comptages\core\statistics.py", line 95, in get_time_data_yearly
              df = df.groupby([df["date"].dt.dayofweek, "hour"]).thm.sum()
              File "C:\apps\OSGeo4W\apps\Python39\lib\site-packages\pandas\core\frame.py", line 3805, in __getitem__
              indexer = self.columns.get_loc(key)
              File "C:\apps\OSGeo4W\apps\Python39\lib\site-packages\pandas\core\indexes\base.py", line 3802, in get_loc
              raise KeyError(key) from err
             KeyError: 'date'

Le code passe donc toujours par le groupBy or tu as ajouté de nouvelles fonctions et il me semble qu'elles ne sont pas utilisées

spch-GL · 2023-12-05T10:56:40Z

J'ai oublié de préciser que le cas ci-dessus, c'est pour le cas spécial EGAS et qu'il n'a pas proposé le choix des rapports à produire
En testant un cas standard (00107695) il n'y a pas d'erreur mais pas de rapport non plus:

2023-12-05T11:51:44     INFO    2023-12-05 11:51:44.741799 - Generate yearly report action started
2023-12-05T11:51:50     INFO    2023-12-05 11:51:50.156943 - Generate yearly report action can really begin now for count 1 with file_path: L:/Devel/Inf_Technique/Comptage/OpenComptage/_tst_V211/RPT_heb
2023-12-05T11:52:08     INFO    2023-12-05 11:52:08.449955 - Report generation RPT_heb ended
2023-12-05T11:52:08     INFO    2023-12-05 11:52:08.449955 - All tasks ended

why-not-try-calmer · 2023-12-05T11:07:28Z

Avec la version 2.1.3b, le rapport annuel n'est pas généré, il y a une erreur de date

2023-12-05T11:22:10     WARNING    Traceback (most recent call last):
              File "C:\apps\OSGeo4W\apps\Python39\lib\site-packages\pandas\core\indexes\base.py", line 3800, in get_loc
              return self._engine.get_loc(casted_key)
              File "pandas\_libs\index.pyx", line 138, in pandas._libs.index.IndexEngine.get_loc
              File "pandas\_libs\index.pyx", line 165, in pandas._libs.index.IndexEngine.get_loc
              File "pandas\_libs\hashtable_class_helper.pxi", line 5745, in pandas._libs.hashtable.PyObjectHashTable.get_item
              File "pandas\_libs\hashtable_class_helper.pxi", line 5753, in pandas._libs.hashtable.PyObjectHashTable.get_item
             KeyError: 'date'
             
             The above exception was the direct cause of the following exception:
             
             Traceback (most recent call last):
              File "C:\Users/GrelletP/AppData/Roaming/QGIS/QGIS3\profiles\cptg_dev/python/plugins\comptages\core\report_task.py", line 44, in run
              raise e
              File "C:\Users/GrelletP/AppData/Roaming/QGIS/QGIS3\profiles\cptg_dev/python/plugins\comptages\core\report_task.py", line 32, in run
              report.prepare_reports(
              File "C:\Users/GrelletP/AppData/Roaming/QGIS/QGIS3\profiles\cptg_dev/python/plugins\comptages\core\report.py", line 39, in prepare_reports
              _prepare_yearly_report(
              File "C:\Users/GrelletP/AppData/Roaming/QGIS/QGIS3\profiles\cptg_dev/python/plugins\comptages\core\report.py", line 103, in _prepare_yearly_report
              _data_day_yearly(count, section, year, workbook)
              File "C:\Users/GrelletP/AppData/Roaming/QGIS/QGIS3\profiles\cptg_dev/python/plugins\comptages\core\report.py", line 400, in _data_day_yearly
              df = statistics.get_time_data_yearly(year, section, direction=2)
              File "C:\Users/GrelletP/AppData/Roaming/QGIS/QGIS3\profiles\cptg_dev/python/plugins\comptages\core\statistics.py", line 95, in get_time_data_yearly
              df = df.groupby([df["date"].dt.dayofweek, "hour"]).thm.sum()
              File "C:\apps\OSGeo4W\apps\Python39\lib\site-packages\pandas\core\frame.py", line 3805, in __getitem__
              indexer = self.columns.get_loc(key)
              File "C:\apps\OSGeo4W\apps\Python39\lib\site-packages\pandas\core\indexes\base.py", line 3802, in get_loc
              raise KeyError(key) from err
             KeyError: 'date'

Le code passe donc toujours par le groupBy or tu as ajouté de nouvelles fonctions et il me semble qu'elles ne sont pas utilisées

Il y a bien du code inutilisé mais pas de groupby de ma part. L'erreur ci-contre ne fait pas partie du code que j'ai modifié.

spch-GL · 2023-12-05T11:24:11Z

Justement, je pensais que tu avais créé les fonctions (get_valid_days, count_valid_blocks) pour ne plus utiliser get_time_data_yearly (qui effectue le groupby pour un autre but) danms la recherche du nombre de jours valides

why-not-try-calmer · 2023-12-05T12:04:05Z

Non j'ai écrit get_valid_days pour implémenter la requête de #285. Nulle fusion ni remplacement nécessaire. Concernant l'erreur que tu as rencontrée, si elle se confirme elle mérite probablement une nouvelle Issue, car je ne vois pas le rapport avec mes modifications.

spch-GL · 2023-12-05T13:40:06Z

Après avoir ajouté un print()
print('{} - do_yearly_report_action: valid_days({},{})={}'.format(datetime.now(),year, section, valid_days))
au retour de l'appel à la fonction get_valid_days(), j'ai refait des tests sur le cas spécial EGAS, en sélectionnant à chaque fois une autre des 6 sections concernées résultats du print():

2023-12-05 13:59:24.192957 - do_yearly_report_action: valid_days(2021,Section object (53316875))=357
2023-12-05 14:01:03.222133 - do_yearly_report_action: valid_days(2021,Section object (53326880))=357
2023-12-05 14:01:37.161569 - do_yearly_report_action: valid_days(2021,Section object (53336885))=0
2023-12-05 14:02:34.086857 - do_yearly_report_action: valid_days(2021,Section object (00056202))=357
2023-12-05 14:05:35.343081 - do_yearly_report_action: valid_days(2021,Section object (00056200))=357
2023-12-05 14:07:18.047476 - do_yearly_report_action: valid_days(2021,Section object (53346890))=353

Seuls les rapports des 2 sections 00056202 et 00056200 ont été générés normalement.
Par contre pour les 3 autres ayant suffisamment de jours valides, c'est l'erreur 'date' qui est sortie

Remarque :
Comme pour les rapports hebdomadaires, la procédure de création d'un rapport annuel devrait vérifier si c'est un cas spécial et demander quels rapports sont à produire, mais en indiquant lesquels ont suffisamment de jours valides

spch-GL · 2023-12-05T14:03:45Z

Encore une précision: j'ai encore testé sur la section 00107695, et le print() donne:
2023-12-05 14:57:53.614999 - do_yearly_report_action: valid_days(2021,Section object (00107695))=365
Aucune erreur mais aucun rapport produit non plus

Ce que je remarque, c'est que lorsque qu'il n'y a pas de rapport produit, le nombre de voies de la section est impaire !
Est-ce que cela t'aide ?

why-not-try-calmer · 2023-12-05T14:37:08Z

Merci pour tes tests, c'est intriguant en effet. Je vais regarder.

why-not-try-calmer · 2023-12-05T15:03:41Z

2023-12-05 14:01:37.161569 - do_yearly_report_action: valid_days(2021,Section object (53336885))=0
0 est un résultat erroné, alors que les valid_days de toutes les autres sections sont corrects?

spch-GL · 2023-12-05T15:13:25Z

Oui et non !
Nous avions un souci avec les capteurs dans cette section, du coup 0 est correct pour cette année 2021
Pour les autres, j'imagine qu'ils sont corrects aussi, mais je n'ai pas vérifié

why-not-try-calmer · 2023-12-07T07:52:21Z

Est-ce que les rapports EGAS sont générés correctement sur la dernière version officielle (sans mes changements)?

spch-GL · 2023-12-07T08:40:21Z

Non, c'est pourquoi il y a des issue

why-not-try-calmer · 2023-12-07T09:15:35Z

Non, c'est pourquoi il y a des issue

Okay, alors si ce problème n'est pas lié spécifiquement à cette PR, est-ce qu'on peut valider cette PR? Cela impliquerait que je mets le label "reviewed" et que je passe à la suite, pour ensuite refaire une release p1, puis enfin réitérer le processur avec p2.

spch-GL · 2023-12-07T09:50:40Z

Presque...

vérifier la présence de données : c'est bon
Rapport annuel : aucun fichier #273 : cela survient encore (cf mon commentaire d'il y a 2 jours)

This was linked to issues Nov 14, 2023

Comptages annuels – rapport #285

Open

Rapport annuel : aucun fichier #273

Open

why-not-try-calmer changed the title ~~warns and aborts when Count objects are below 100 when generating report~~ When generating yearl reports, warn and abort if Count objects are less than 100 Nov 14, 2023

why-not-try-calmer changed the title ~~When generating yearl reports, warn and abort if Count objects are less than 100~~ When generating yearly reports, warn and abort if Count objects are less than 100 Nov 14, 2023

why-not-try-calmer marked this pull request as draft November 15, 2023 10:16

why-not-try-calmer force-pushed the 285-prepare-yearly-report branch from e669965 to 20f7ea2 Compare November 17, 2023 08:16

why-not-try-calmer marked this pull request as ready for review November 20, 2023 11:15

why-not-try-calmer changed the title ~~When generating yearly reports, warn and abort if Count objects are less than 100~~ When generating yearly reports, warn and abort if there are less than 100 valid data days Nov 20, 2023

why-not-try-calmer added the p1 label Nov 20, 2023

why-not-try-calmer force-pushed the 285-prepare-yearly-report branch 2 times, most recently from eb9ee79 to 44f9ee5 Compare November 23, 2023 10:59

why-not-try-calmer force-pushed the 285-prepare-yearly-report branch 2 times, most recently from 6ee6dfa to c2bf1d8 Compare November 23, 2023 16:53

why-not-try-calmer added 9 commits November 27, 2023 10:53

warns and aborts when Count objects are below 100 when generating report

9e37122

push_info cannot be called from its parent django app, so let us fall…

05499ea

…back on exceptions

added util and warning for missing days

faf4418

docstring

e368c7c

New definition of 'valid days in year'

e4c4c95

clean up

9b2f5d0

leftover

1bac7d4

typos

bf2a14a

adjusted expected test outcome

4e66666

why-not-try-calmer force-pushed the 285-prepare-yearly-report branch from 8cffcec to 4e66666 Compare November 27, 2023 09:53

why-not-try-calmer mentioned this pull request Dec 5, 2023

P1 Test Version #311

Closed

This comment was marked as resolved.

Sign in to view

let's try importing all files (painfully slow)

a416e6b

restored 'utils.py'

46891fb

why-not-try-calmer and others added 5 commits December 8, 2023 10:44

testouputs and 1 more test

0b39c6c

Merge branch 'master' into 285-prepare-yearly-report

a7eb49c

testing special cases

141cb08

---

c600e2c

spcial cases passing

ce107a8

why-not-try-calmer added the reviewed label Dec 12, 2023

why-not-try-calmer force-pushed the master branch from 2d61de0 to 674f440 Compare January 20, 2024 00:50

This was unlinked from issues Jan 23, 2024

Rapport annuel : aucun fichier #273

Open

Comptages annuels – rapport #285

Open

why-not-try-calmer closed this Jan 23, 2024

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

When generating yearly reports, warn and abort if there are less than 100 valid data days #292

When generating yearly reports, warn and abort if there are less than 100 valid data days #292

why-not-try-calmer commented Nov 14, 2023

why-not-try-calmer commented Nov 15, 2023

spch-GL commented Nov 15, 2023

why-not-try-calmer commented Nov 15, 2023 •

edited

Loading

spch-GL commented Nov 15, 2023

why-not-try-calmer commented Nov 15, 2023 •

edited

Loading

spch-GL commented Nov 23, 2023 via email

why-not-try-calmer commented Nov 23, 2023 •

edited

Loading

spch-GL commented Dec 5, 2023

This comment was marked as resolved.

why-not-try-calmer commented Dec 5, 2023

spch-GL commented Dec 5, 2023

spch-GL commented Dec 5, 2023

why-not-try-calmer commented Dec 5, 2023 •

edited

Loading

spch-GL commented Dec 5, 2023

why-not-try-calmer commented Dec 5, 2023 •

edited

Loading

spch-GL commented Dec 5, 2023

spch-GL commented Dec 5, 2023

why-not-try-calmer commented Dec 5, 2023

why-not-try-calmer commented Dec 5, 2023

spch-GL commented Dec 5, 2023

why-not-try-calmer commented Dec 7, 2023 •

edited

Loading

spch-GL commented Dec 7, 2023

why-not-try-calmer commented Dec 7, 2023 •

edited

Loading

spch-GL commented Dec 7, 2023

When generating yearly reports, warn and abort if there are less than 100 valid data days #292

When generating yearly reports, warn and abort if there are less than 100 valid data days #292

Conversation

why-not-try-calmer commented Nov 14, 2023

why-not-try-calmer commented Nov 15, 2023

spch-GL commented Nov 15, 2023

why-not-try-calmer commented Nov 15, 2023 • edited Loading

spch-GL commented Nov 15, 2023

why-not-try-calmer commented Nov 15, 2023 • edited Loading

spch-GL commented Nov 23, 2023 via email

why-not-try-calmer commented Nov 23, 2023 • edited Loading

spch-GL commented Dec 5, 2023

This comment was marked as resolved.

why-not-try-calmer commented Dec 5, 2023

spch-GL commented Dec 5, 2023

spch-GL commented Dec 5, 2023

why-not-try-calmer commented Dec 5, 2023 • edited Loading

spch-GL commented Dec 5, 2023

why-not-try-calmer commented Dec 5, 2023 • edited Loading

spch-GL commented Dec 5, 2023

spch-GL commented Dec 5, 2023

why-not-try-calmer commented Dec 5, 2023

why-not-try-calmer commented Dec 5, 2023

spch-GL commented Dec 5, 2023

why-not-try-calmer commented Dec 7, 2023 • edited Loading

spch-GL commented Dec 7, 2023

why-not-try-calmer commented Dec 7, 2023 • edited Loading

spch-GL commented Dec 7, 2023

why-not-try-calmer commented Nov 15, 2023 •

edited

Loading

why-not-try-calmer commented Nov 15, 2023 •

edited

Loading

why-not-try-calmer commented Nov 23, 2023 •

edited

Loading

why-not-try-calmer commented Dec 5, 2023 •

edited

Loading

why-not-try-calmer commented Dec 5, 2023 •

edited

Loading

why-not-try-calmer commented Dec 7, 2023 •

edited

Loading

why-not-try-calmer commented Dec 7, 2023 •

edited

Loading