Sito web Arcade Database

Il database che raccoglie tutte le informazioni sui giochi, video, screenshot e tanto altro ancora

Moderatore: Moderatore ADB

Avatar utente
motoschifo
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 2699
Iscritto il: 12/07/2013, 20:29
Medaglie: 2
Reputation: 42
Città: Parma
Località: Parma
:
Gold Medal Donatore
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo » 26/05/2018, 22:24

Questa sera ero curioso di provare alcune particolarità per la prossima funzione di ricerca full-text su mameinfo, history e tutti gli altri file.
I primi esperimenti avevano dato esito positivo, ma poi alcune controindicazioni mi hanno fatto cambiare idea sul progetto originale.

In pratica sono riuscito a ricreare una ricerca dappertutto e l'ho riprodotta sui giochi presenti (meno di 45 mila record). La somma di tutti gli indici e i file a corredo portano l'intero database a superare quota 1GB, e considerando che ora siamo a poco più di 200MB direi che è un incremento notevole (le info extra sono dentro a file esterni, quindi non vengono conteggiati nel totale).

Ma il vero problema è che anche con una ricerca di questo tipo restano comunque esclusi casi comuni, come l'utilizzo dei simboli. In questo caso "pac-man" è diverso da "pacman" che è ancora diverso rispetto a "pac man". Quindi devo cambiare strada oppure generare dei testi e poi sfruttare questi indici con i termini trasformati.

Salvo tutto quanto per continuare queste prove più avanti :wink:
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase


Avatar utente
motoschifo
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 2699
Iscritto il: 12/07/2013, 20:29
Medaglie: 2
Reputation: 42
Città: Parma
Località: Parma
:
Gold Medal Donatore
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo » 27/05/2018, 11:41

Week-end pieno di test...
Stamattina ho abbozzato una ricerca per nomefile, sha1 o crc (anche valori multipli).
Il problema, ancora una volta, è la dimensione del database che se fatto per tutti i giochi mai usciti inizia ad aumentare parecchio.

La prima soluzione che ho trovato è molto veloce e permette ricerche libere in centesimi di secondo, ma non sarà di certo quella finale perchè lo spazio occupato è esagerato. Infatti non ho ancora concluso il processo ma dalle prime stime dovrebbe essere circa 330GB <-dash->
Questo vuol dire che solo quelle tabelle occuperebbero quanto tutto il sito, video compresi <-w00t-anim->
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase


Avatar utente
motoschifo
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 2699
Iscritto il: 12/07/2013, 20:29
Medaglie: 2
Reputation: 42
Città: Parma
Località: Parma
:
Gold Medal Donatore
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo » 28/05/2018, 19:07

Ho interrotto il processo di generazione dati per i file nelle rom ed ho applicato parecchie ottimizzazioni, riuscendo a ridurre fino a 2GB il contenuto delle tabelle dedicate a quella parte. Questo processo ha richiesto quasi 2 giorni in tutto.
Purtroppo è ancora una dimensione troppo elevata e devo trovare il modo di ridurlo a max 500MB, altrimenti sarà poco gestibile per via dei backup, delle generazioni mensili, ecc.

Come tempi di ricerca invece siamo a valori praticamente trascurabili, ovvero centesimi di secondo, tanto che una ricerca per romset o per nomefile ci mette lo stesso tempo per arrivare.

Spero di apportare ulteriori migliorie già nei prossimi giorni, così da dare il via all'aggiunta di questi filtri nella versione online.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase


Avatar utente
motoschifo
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 2699
Iscritto il: 12/07/2013, 20:29
Medaglie: 2
Reputation: 42
Città: Parma
Località: Parma
:
Gold Medal Donatore
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo » 29/05/2018, 20:55

Ultimati i test per le ricerche sui file del romset, ovviamente come nella tradizioni del sito sarà possibile usare il filtro per tutti i giochi mai usciti del Mame, più di 800 release.

Ho provato 4 possibili strade e alla fine la cosa migliore è usare due nuove tabelle dedicate a questa ricerca e che si popoleranno, per differenza, sui giochi modificati mensilmente come già accade per tantissimi altri campi.
Nell'ipotesi meno performante avevo un'occupazione di soli 200MB aggiuntivi ma purtroppo i tempi di ricerca erano davvero lunghi: dai 7 ai 20 secondi.
Usando giri differenti e soprattutto tabelle indicizzate, i tempi sono scesi a 0.0007 secondi che è praticamente nullo.

Questo porta però più complessità al sito (cioè devo stare più attento in diversi punti), e soprattutto fa lievitare l'occupazione del database di altri 800MB dato che il numero di record è molto elevato (13 milioni). In quel caso la tabella è formata solo da 3 campi numerici, quindi occupa molto poco, ma essendo tanti record il peso si fa sentire.
Per dare un'idea dello spazio necessario, il db oggi è di 600-700MB circa, ovvero andrà a più del doppio.

Non avendo trovato altre strade, userò questa soluzione per aggiungere i filtri al sito.
Probabilmente non ci sono altre possibilità vista la mole di dati, parliamo sempre di qualcosa che supera i 150 milioni di file diversi e già averne memorizzati "solo" 13 milioni è un'ottima cosa. Ma soprattutto i tempi di ricerca sono davvero veloci.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase


Avatar utente
Tox Nox Fox
Moderatore
Moderatore
Messaggi: 6988
Iscritto il: 14/01/2007, 23:35
Medaglie: 3
Reputation: 26
Been thanked: 1 time

Re: Sito web Arcade Database

Messaggio da Tox Nox Fox » 29/05/2018, 23:05

"E io pago"
😂

( È una battuta eh.. prendila come tale )
Immagine
WP.ARCADEITALIA.NET


Avatar utente
motoschifo
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 2699
Iscritto il: 12/07/2013, 20:29
Medaglie: 2
Reputation: 42
Città: Parma
Località: Parma
:
Gold Medal Donatore
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo » 29/05/2018, 23:31

Beh non ci vai tanto lontano in effetti! <-lol->

Però mancano ancora i full text su history/mameinfo e l'history in italiano, con indici pure lì. Altri 150-200MB non ce li toglie nessuno 8-)

Spero di sfruttare questo periodo ricco di nuove idee voglia di sperimentare e chiudere entro agosto con entrambe le funzioni.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase


Avatar utente
motoschifo
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 2699
Iscritto il: 12/07/2013, 20:29
Medaglie: 2
Reputation: 42
Città: Parma
Località: Parma
:
Gold Medal Donatore
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo » 05/06/2018, 18:37

Pensavo di aggiornare il sito questo week-end ma l'elaborazione sta durando più del previsto.
Mancano ancora 800 mila giochi all'appello e poi ci siamo <-lol->
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase


Avatar utente
motoschifo
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 2699
Iscritto il: 12/07/2013, 20:29
Medaglie: 2
Reputation: 42
Città: Parma
Località: Parma
:
Gold Medal Donatore
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo » 25/06/2018, 20:20

Dopo 23 giorni di elaborazione continua, siamo arrivati a poco più del 60% di dati completati.
Questo vuol dire che ci vorranno indicativamenteo altri 10-15 giorni e che, fino al completamento di questi calcoli, non potrò aggiornare il sito con la nuova versione prevista per questi giorni...
Spero di farlo entro la metà di luglio.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase


SparrowJ
Cab-dipendente
Cab-dipendente
Messaggi: 529
Iscritto il: 03/05/2017, 10:22
Medaglie: 1
Reputation: 6
Città: Napoli
:
Donatore
Been thanked: 1 time

Re: Sito web Arcade Database

Messaggio da SparrowJ » 27/06/2018, 17:25

Sei di ferro moto!!! :)


Avatar utente
motoschifo
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 2699
Iscritto il: 12/07/2013, 20:29
Medaglie: 2
Reputation: 42
Città: Parma
Località: Parma
:
Gold Medal Donatore
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo » 30/06/2018, 13:44

A sorpresa sono riuscito ad anticipare la fine dei lavori sulla ricerca romset e quindi l'aggiornamento alla nuova versione 0.199 del Mame.

Quindi da oggi fa capolino un'altra funzione importante, nel senso che è stata grossa e complessa da gestire 8-)
Per ciascun romset sono disponibili le informazioni di tutti i file contenuti, per tutte le release del Mame e ricercabili per nome, codice crc o sha1. Tutti e tre questi campi li trovate nella sezione DRIVER dei filtri aggiuntivi, sono presenti anche gli autocompletamenti mentre si scrive il testo e prevedono la possibilità di avere valori multipli.
Ormai i filtri aggiuntivi sono davvero tanti ed avrebbero bisogno di più spazio... ma non so come mostrarli a video in maniera più pulita <-on_confused->

Ci sono altre piccole aggiunte nei filtri per voto medio e bestgames, che permettono ora di selezionare anche i titoli migliori (es. da "buono" in poi).

In futuro aggiungerò una pagina di ricerca solo per i file in cui ci saranno i dati mostrati in maniera migliore e con funzioni aggiuntive solo per i romset. Ancora tutta da pensare.

Questa ricerca è la seconda delle 3 grandi modifiche che avevo in programma di chiudere durante l'anno, la prima è stata la ricerca delle versioni "u". La terza è invece il full-text search su history e mameinfo.
Se poi "avanza" tempo, c'è l'history italiano ma quello è tutto un altro progetto nel progetto e forse è meglio dargli lo spazio che merita nel nuovo anno <-Gelato->

Allego qualche screenshot per far capire meglio.
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase


Rispondi

Torna a “Progetto Arcade Data Base”