Sito web Arcade Database

Il database che raccoglie tutte le informazioni sui giochi, video, screenshot e tanto altro ancora

Moderatore: Moderatore ADB

Avatar utente
motoschifo
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 2332
Iscritto il: 12/07/2013, 19:29
Medaglie: 2
Reputation: 42
Città: Parma
Località: Parma
:
Gold Medal Donatore
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo » 02/09/2017, 9:53

C'è già ma è nei filtri di ricerca, quindi prima dell'export devi attivare quel particolarissimo filtro. Ricordo che non era stato facile aggiungerlo per via delle modalità di ricerca del sito.
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase


Avatar utente
motoschifo
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 2332
Iscritto il: 12/07/2013, 19:29
Medaglie: 2
Reputation: 42
Città: Parma
Località: Parma
:
Gold Medal Donatore
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo » 07/09/2017, 19:55

Un nuovo scraper si è aggiunto alla lista:
https://github.com/muldjord/skyscraper

Può essere usato con EmulationStation ed AttractMode e gestisce anche i video.
Per adesso solo arcade, poi in futuro se ci sarà la voglia dello sviluppatore si troverà anche il modo di integrare i software e tutte le console (il problema è sempre il nome del file, ma con una tabella di trascodifica si potrebbe risolvere).

A breve potrebbe aggiungersene un altro, non proprio uno scraper ma comunque un client, e "presto" fornirò documentazione completa ed aggiornata per i programmatori volenterosi che sono interessati a pescare dati dal sito.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase


Avatar utente
motoschifo
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 2332
Iscritto il: 12/07/2013, 19:29
Medaglie: 2
Reputation: 42
Città: Parma
Località: Parma
:
Gold Medal Donatore
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo » 09/09/2017, 10:00

Stavolta ho cambiato alcune cose che non sono visibili sul sito, ma aiutano a tenerlo aggiornato facendomi risparmiare tempo.

Si tratta di una differente gestione/filosofia della parte di importazione dati, che ad oggi comprende 70 tipi diversi di file e che dovrebbe arrivare a 76 entro fine anno.
Diciamo che all'inizio pensavo di non aumentare così tanto il numero di dati e quindi avevo predisposto una serie di link "stupidi" che si attivavano solo se non avevo ancora importato qualcosa di simile, con gestione update separata.
La pagine risultante era simile a questa (qui erano presenti poche importazioni quando ho fatto lo screen):

import_old.png

In altre parole avevo un elenco di operazioni che dovevo fare dopo aver copiato i file, dato che i file non diventano "ufficiali" se non c'è l'ok e tutta una serie di controlli e storicizzazioni. Questo ovviamente non poteva essere altrimenti.
L'aggiunta di una nuova tipologia di import è qualcosa di molto rapido e agisco solo in due punti, mentre prima avevo parecchi file da sistemare (javascript, css, php, html). Giusto per dare un'idea ho rimosso quasi 8 mila righe di codice che nel tempo si erano accumulate inutilmente (all'epoca erano fondamentali, oggi sono secondarie perchè aggiungo risorse di continuo...)

Oggi ho pubblicato un aggiornamento di quella pagina in modo da dare un po' di intelligenza al processo e fare apparire subito i pulsanti delle cose che posso caricare, gestendo gli update successivi in maniera automatica (se la tipologia lo supporta e ci sono file da elaborare, apparirà il pulsante) e filtrando i dati nel caso in cui l'emulatore non sia supportato (es. gamelist.xml non è supportato dall'ex-Mess, in quel caso c'è softwarelist.xml).
A corredo ci sono altri valori che guidano il processo, come il fatto di poter mostrare a video con un click i dati e i link necessari per raggiungere le risorse, più eventuali note.
Questo processo ieri era fatto a mano con qualche documento e tanti copia/incolla.

Ecco come apparirà la finestra. Lo stile è ancora un work in progress ma le funzionalità ci sono tutte:

import_new.png

Si aggiungerà un pulsante unico "importa tutto" che eseguirà tutto ciò che è supportato e presente sul server come aggiornamenti, ma già così il risparmio di tempo che ho è notevole, soprattutto quando faccio aggiornamenti corposi: un colpo d'occhio e so già cosa è in esecuzione, cosa è in attesa e cosa non ho mai eseguito.
Inoltre vedrò subito tra parentesi il numero di file trovati e potrò quindi andare a controllare eventuali problemi senza farlo ogni volta manualmente (considerate che la parte Software ha decine di cartelle per ciascun sistema e ciascun tipo di risorsa, quindi un semplice "dir" via ftp è una serie di avanti e indietro infinita).

La modifica più interessante è però che questo processo, quando eseguito da telefonino, ha finalmente un layout molto comodo che sfrutta l'intera area a disposizione ed è a prova di ditoni. Ormai gli update li lancio solo da lì per cui prima ero costretto a fare click con molta attenzione.

import_new_mobile.png

Ed oggi pomeriggio continuo il lavorone sull'export... anche quello molto impegnativo ma necessario <-dash-> 8-)
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase


Avatar utente
motoschifo
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 2332
Iscritto il: 12/07/2013, 19:29
Medaglie: 2
Reputation: 42
Città: Parma
Località: Parma
:
Gold Medal Donatore
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo » 16/09/2017, 21:21

Oggi è stata una giornata produttiva, ho messo mano a tante piccole cose e soprattutto ripreso i vecchi emulatori "u" che erano fermi da troppo tempo.
Ci vorrà parecchio ma comunque non ho fretta... <-whistling->

Ho anche ritoccato un po' le ultime routine per la gestione dei numeri "umani", ed ora sembrano molto meglio rispetto a qualche giorno fa.
Per es. non esce più "5.0" ma "5", il numero di decimali è in funzione dell'unità di misura (da 0 a massimo 2), ci sono arrotondamenti più adatti al numero e cose del genere.
La lettura finale risulta quindi migliore.

numeri_human.png
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase


Rispondi