Progetto

Generale

Profilo

Actions

Nuova funzione #4

chiusa

test sulla mancata corrispondenza fra metadati e raster di sismogrammi

Aggiunto da Graziano Ferrari circa 8 anni fa. Aggiornato oltre 6 anni fa.

Stato:
Chiuso
Priorità:
Normal
Assegnato a:
Inizio:
25-07-2017
Scadenza:
% Completato:

80%

Tempo stimato:

Descrizione

Sarebbe utile avere un test periodico (una volta ogni 15gg/1mese) della corrispondenza fra sismogrammi catalogati e raster corrispondenti. A valle di questo test si potrebbe fare una ricerca per fare l'upload da back up oppure rifare la scansione se il materiale originale è nelle nostre disponibilità.

Actions #1

Aggiornato da Diego Sorrentino circa 8 anni fa

  • Stato modificata da Nuovo a In lavorazione
  • % Completato modificata da 0 a 60

Ciao,
potrebbe essere una cosa simile a questa:
http://seismogramrequest.rm.ingv.it/checkMensile.html

il file pero' e' MOOOOLTO pesante (ad ora circa 210Mb di html puro), quindi ci mette un po a scaricarlo.

Actions #2

Aggiornato da Graziano Ferrari circa 8 anni fa

Il file mi sembra ottimo, anche se non ho capito cosa sia il suffisso e non ho capito se i 210 MB si riferiscono a tutti i sismogrammi o solo a quelli mancanti. Certo che a complicare le cose c'è, giustamente il test su B e C. MI sto chiedendo se non farlo - per ora - solo sula presenza di almeno 1 (A) immagine. Potremmo prevedere questa opzione per il default quindicinale/mensile e una versione on demand da lanciare all'occorrenza con la possibilità di scegliere diversi parametri di check fra cui anche la presenza di B e (più raramente) di C. Per questo si potrebbe aggiornare il DB di SISMOS con un flag che ci dice l'attesa presenza di A, B e C. Una volta sistemata in maniera affidabile l'associazione fra la instr_installs_buona.id, i sismogrammi e le sue immagini (quest'ultima è da fare, ma ci potrebbe aiutare questo test che fai tu importato) nella seismograms_instr_intsall_new si potrebbe fare una distinct sull'id dello strumento e vedere quali hanno prevalentemente l'A, il B e il C. MI spiego meglio: se nella seismograms_instr_intsall_new aggiungiamo 3 campi nuovi A, B, C di default '0' che diventano 1 quando importate le info dal file system. A quel punto basta fare la distinct (con count) su instr_installs_buona.id, Flag_A, Flag_B e Flag_C e prendere come riferimento il record con instr_installs_buona.id che ha la maggiore frequenza sui Flag_A, Flag_B e Flag_C e, dopo attento esame, estendere a tutti gli altri record il/i Flag atteso.
Faccio una premessa, alla fine..... Tranne casi molto particolari, gli strumenti hanno sempre lavorato con la stessa lunghezza di carta, quindi con potenzialità di A,B e C. Un occhio esperto potrà valutare i risultati delle distinct. Io continuo a chiamare distinct per semplicità, ma tu usa pure quello che vuoi. In questo modo il test si ridurrebbe a una manciata di record (qualche migliaio al massimo di record nella peggiore delle ipotesi e destinato a ridursi progressivamente). Che ne pensi?

Actions #3

Aggiornato da Graziano Ferrari quasi 8 anni fa

Senza buttare quanto già fatto, comunque molto utile (anche se devo capire il significato dell'output) propongo di spezzare il ticket in più di uno e per ora limitarci ad avere in più un test solo sulla mancanza dei raster a 200dpi, 600dpi, 1016dpi solo per A.
Tutto il resto andrebbe articolato in più ticket, come estensione della procedura minimale qui sopra suggerita, da fissare a valle di quanto già funzionerà e di una più approfondita analisi delle necessità.

Actions #4

Aggiornato da Diego Sorrentino quasi 8 anni fa

  • % Completato modificata da 60 a 80

Ciao,
visti i tempi strettissimi (sto passando da una riunione all'altra...) ho cambiato leggermente la procedura ma credo sia piu' semplice da capire.
Intanto ho spostato il risultato nella pagina con tutti i controlli per sismos:
http://seismogramrequest.rm.ingv.it/graziano-checks/checks.html
(link Vedi inconsistenze tra tabella `sismogrammi` ma assenti o su tabella `scansioni` o file system)
ora esce un file di circa 50mb CON SOLO LE DISCORDANZE TRA DB E FILESYSTEM suddivisi nei 6 blocchi:

BIANCO: elenco completo di tutti i COD_SEISMOGRAMS presi da db (tabella `sismogrammi` e tabella `scansioni`) e files (200, 600, 1016 dpi)
SALMONE: controllo di esistenza su tabella `sismogrammi`
GIALLO: controllo di esistenza su tabella `scansioni` (A, B, C)
VERDE: controllo di esistenza file 200dpi (senza A|B|C, e con A,B,C)
AZZURRO: controllo di esistenza file 600dpi (senza A|B|C, e con A,B,C)
ROSA: controllo di esistenza file 1016dpi (senza A|B|C, e con A,B,C)

Actions #5

Aggiornato da Graziano Ferrari oltre 6 anni fa

Vedo che la data del test è sempre il 28 gennaio 2018. E' per caso inattiva la procedura?

Actions #6

Aggiornato da Diego Sorrentino oltre 6 anni fa

  • Stato modificata da In lavorazione a Chiuso

si, era inattiva in attesa di una conferma che fosse corretta.
cmq l'ho riattivata e messa a girare mensilmente

Actions

Esporta su Atom PDF