Esportazione liste giochi dal sito

Il database che raccoglie tutte le informazioni sui giochi, video, screenshot e tanto altro ancora

Moderatore: Moderatore ADB

Avatar utente
Emu
Affezionato
Affezionato
Messaggi: 248
Iscritto il: 30/11/2014, 13:00
Medaglie: 1
Reputation: 2
Città: ReggioEmilia
:
Donatore

Esportazione liste giochi dal sito

Messaggio da Emu » 21/04/2016, 22:23

Ciao motoschifo
Complimenti, gran bel lavoro

Ti segnalo un piccolo bug estetico, con la visualizzazione in inglese nella pagina di ricerca in alto non è tradotto DI in OF (Page 1 DI 191)

Ne approfitto per chiederti se è possibile avere nell'XML di esportazione tutti i campi disponibili sul sito in quanto mi pare che ci siano solo i campi esportati dal MAME e mancano tutti i dati aggiuntivi.

Un'altra opzione che (almeno per me) sarebbe estremamente utile è aggiungere fra i formati di esportazione anche un XML compatibile con HyperSpin :)
Ad oggi direi che non c'è uno strumento migliore per farsi elenchi custom di rom del MAME e poterli esportare già pronti per HS sarebbe fantastico

Emu
Emu


Avatar utente
motoschifo
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 2368
Iscritto il: 12/07/2013, 19:29
Medaglie: 2
Reputation: 42
Città: Parma
Località: Parma
:
Gold Medal Donatore
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo » 21/04/2016, 22:40

Correggo la dicitura grazie.

[Rettifico la risposta, avevo letto male]
L'xml contiene dati pensati per il Mame. Potrei aggiungere cose extra ma sarebbe un formato "mio", quindi non standard. Pensavi a qualche campo in particolare?

Nessun problema per aggiungere formati nuovi come un XML-HS, mi basta sapere come è fatto e lo posso replicare. Hai qualche link in cui spiegano il formato xml di HS?
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase


Avatar utente
Emu
Affezionato
Affezionato
Messaggi: 248
Iscritto il: 30/11/2014, 13:00
Medaglie: 1
Reputation: 2
Città: ReggioEmilia
:
Donatore

Re: Sito web Arcade Database

Messaggio da Emu » 22/04/2016, 0:55

Ciao
Si, in realtà l'esigenza attuale era quella di convertire l'xml nel formato hyperspin :) I campi che mancano sono Genre e Rating.

Più in generale i campi che userei pre fare vari filtri + o - custom sono:
  • name
    description
    rate
    require chd (boolean)
    type
    cloneof
    manifacturer
    year
    driver
    genre
    category
    language
    input
    buttons
    players
    coins
    resolution
    orientation
Più che XML che è complesso potrebbe bastare anche un CSV. Potresti metterci direttamente tutti i campi che non sono multivalue (come le rom) ma se serve solo a me dedica il tempo ad altro.

Piuttosto avere l'XML di hyperspin sarebbe molto bello :)
Il formato è molto semplice, riporto di seguito un estratto:

Codice: Seleziona tutto

<?xml version="1.0"?>
<menu>
	<header>
		<listname>MAME</listname>
		<lastlistupdate>02/08/2016</lastlistupdate>
		<listversion>.160 Ongoing</listversion>
		<exporterversion>HyperList XML Exporter Version 1.3 Copywrite (c) 2009-2011 William Strong</exporterversion>
	</header>
	<game name="88games" index="true" image="'">
		<description>&apos;88 Games</description>
		<cloneof></cloneof>
		<crc></crc>
		<manufacturer>Konami</manufacturer>
		<year>1988</year>
		<genre>Sports / Track & Field</genre>
		<rating>AAMA - Green (Suitable For All Ages)</rating>
		<enabled>Yes</enabled>
	</game>
	<game name="99lstwark" index="" image="">
		<description>&apos;99: The Last War (Kyugo)</description>
		<cloneof>repulse</cloneof>
		<crc></crc>
		<manufacturer>Crux / Kyugo</manufacturer>
		<year>1985</year>
		<genre>Shooter / Gallery</genre>
		<rating>AAMA - Green (Suitable For All Ages)</rating>
		<enabled>Yes</enabled>
	</game>
	<game name="99lstwar" index="" image="">
		<description>&apos;99: The Last War (set 1)</description>
		<cloneof>repulse</cloneof>
		<crc></crc>
		<manufacturer>Crux / Proma</manufacturer>
		<year>1985</year>
		<genre>Shooter / Gallery</genre>
		<rating>AAMA - Green (Suitable For All Ages)</rating>
		<enabled>Yes</enabled>
	</game>
	<game name="99lstwara" index="" image="">
		<description>&apos;99: The Last War (set 2)</description>
		<cloneof>repulse</cloneof>
		<crc></crc>
		<manufacturer>Crux / Proma</manufacturer>
		<year>1985</year>
		<genre>Shooter / Gallery</genre>
		<rating>AAMA - Green (Suitable For All Ages)</rating>
		<enabled>Yes</enabled>
	</game>
	<game name="005" index="true" image="0">
		<description>005</description>
		<cloneof></cloneof>
		<crc></crc>
		<manufacturer>Sega</manufacturer>
		<year>1981</year>
		<genre>Maze / Shooter Small</genre>
		<rating>AAMA - Green (Suitable For All Ages)</rating>
		<enabled>Yes</enabled>
	</game>
	<game name="1on1gov" index="true" image="1">
		<description>1 on 1 Government (Japan)</description>
		<cloneof></cloneof>
		<crc></crc>
		<manufacturer>Tecmo</manufacturer>
		<year>2000</year>
		<genre>Sports / Basketball</genre>
		<rating>AAMA - Green (Suitable For All Ages)</rating>
		<enabled>Yes</enabled>
	</game>
	<game name="10yard85" index="" image="">
		<description>10-Yard Fight &apos;85 (US, Taito license)</description>
		<cloneof>10yard</cloneof>
		<crc></crc>
		<manufacturer>Irem (Taito license)</manufacturer>
		<year>1985</year>
		<genre>Sports / Amer. Football</genre>
		<rating>AAMA - Green (Suitable For All Ages)</rating>
		<enabled>Yes</enabled>
	</game>
</menu>
I giochi devono essere in ordine alfabetico per il campo description.
I campi sono abbastanza parlanti, ti spiego quelli particolari:
index va a true se il tuitolo è il primo di una determinata lettera/carattere.
image ha valore solo se index è true ed il valore è il primo carattere di description
crc serve solo per gli XML delle console (c'è l'md5)
Genre dovrebbe essere in inglese così matcha i files di hyperspin per le icone (altrimenti c'è da rinominare i files).
Rating dovrebbe avere uno di questi valori:

Codice: Seleziona tutto

AAMA - Green (Suitable For All Ages)
AAMA - Red (Animated Violence Strong)
AAMA - Red (Language Strong)
AAMA - Red (Life Like Violence Strong)
AAMA - Red (Sexual Content Strong)
AAMA - Yellow (Animated Violence Mild)
AAMA - Yellow (Language Mild)
AAMA - Yellow (Life Like Violence Mild)
AAMA - Yellow (Sexual Content Mild)
CERO - A (All Ages)
CERO - B (Ages 12+)
CERO - C (Ages 15+)
CERO - D (Ages 17+)
CERO - Z (Ages 18+)
ESRB - AO (Adults Only)
ESRB - E (Everyone)
ESRB - E10+ (Everyone 10+)
ESRB - EC (Early Childhood)
ESRB - M (Mature)
ESRB - T (Teen)
HSRS - 17 (17+)
HSRS - AD (Adult)
HSRS - GA (General Audience)
HSRS - PG (Parental Guidance)
Other - NR (Not Rated)
PEGI - 12 (Everyone 12+)
PEGI - 16 (Everyone 16+)
PEGI - 18 (Everyone 18+)
PEGI - 3 (Everyone 3+)
PEGI - 7 (Everyone 7+)
Enabled sempre a Yes :)

Questi sono i possibili valori di Genre (se non si rinominano i files):

Codice: Seleziona tutto

Action
Adventure
All Games
Ball & Paddle
Beat-'Em-Up
Board Games
Breakout
Card Battle
Casino
Climbing
Compilation
Driving
Educational
Fighter
Flying
Game Show
Gun
Mahjong
Mature
Maze
Mini-Games
Miscellaneous
Motorcycle
Multimedia
Party
Pinball
Platform
Puzzle
Quiz
Rhythm
Role-Playing
Shoot-'Em-Up
Shooter
Simulation
Spinner
Sports-Baseball
Sports-Basketball
Sports-Biking
Sports-Bowling
Sports-Boxing
Sports-Cricket
Sports-Fishing
Sports-Football
Sports-Futuristic
Sports-Golf
Sports-Handball
Sports-Hockey
Sports-Horse Racing
Sports-Hunting
Sports-Olympic
Sports-Pool and Dart
Sports-Rugby
Sports-Skateboarding
Sports-Skating
Sports-Skiing
Sports-Snowboarding
Sports-Soccer
Sports-Surfing
Sports-Tennis
Sports-Track & Field
Sports-Volleyball
Sports-Wakeboarding
Sports-Wrestling
Sports
Strategy
Tabletop
Trackball
Utility
Virtual Life
Water
Cmq per il genere non è un problema, come ce li hai scritti nel DB vanno bene, poi secondo me i files vanno rinominati di conseguenza.

Dici che è fattibile?

Emu
Emu


Avatar utente
motoschifo
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 2368
Iscritto il: 12/07/2013, 19:29
Medaglie: 2
Reputation: 42
Città: Parma
Località: Parma
:
Gold Medal Donatore
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo » 22/04/2016, 9:11

Emu ha scritto:Più in generale i campi che userei pre fare vari filtri + o - custom sono...
I filtri e gli ordinamenti sono quelli della lista, visto che parliamo di un export da questa pagina. L'ordinamente in particolare ancora non si può scegliere ma verrà gestito fra 3-4 possibili valori (rom, nome gioco, ecc). In questo caso, dovrai scegliere l'ordinamento per titolo gioco.
Emu ha scritto:Più che XML che è complesso potrebbe bastare anche un CSV. Potresti metterci direttamente tutti i campi che non sono multivalue (come le rom) ma se serve solo a me dedica il tempo ad altro.
Diciamo che tante cose, nate anche da una sola richiesta, si sono poi dimostrate utili.
Quindi se in poco tempo riesco ad avere un xml più vicino a quello che usi per HS lo faccio volentieri.

Il formato me lo studierò meglio perchè ci sono tante cose specifiche. Sai se posso omettere i campi vuoti (tipo crc, index, image) oppure poi il programma si arrabbia se non trova un tag o attributo xml? Normalmente non da problemi ma visto che questa cosa vale solo per HS meglio esserne sicuri.

I campi che non ho ovviamente non potranno finirci.
- index ed image li metterò quando cambierà il primo carattere del campo scelto come ordinamento
- crc non lo valorizzerò
- genre posso anche convertirlo, ho 5 campi extra che ora non uso per ciascuna categoria e mi basta la lista completa rispetto ai valori attuali (più avanti preparerò le corrispondenze tra i dati che mi hai messo sopra)
- rating invece non ce l'ho proprio. Se hai modo ti avere la lista completa, magari partendo da un xml già fatto, si possono importare anche quelli.

Anzi... mandami anche un xml completo così lo uso per fare i confronti.

Considera che l'export è sia in ricerca sia nella pagina delle liste personali. Per ora farò solo la parte di ricerca, poi in quello delle liste si potranno aggiungere ulteriori opzioni (es. ordinamento).
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase


Avatar utente
motoschifo
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 2368
Iscritto il: 12/07/2013, 19:29
Medaglie: 2
Reputation: 42
Città: Parma
Località: Parma
:
Gold Medal Donatore
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo » 22/04/2016, 19:16

Ho aggiunto il tipo di export HyperSpin nella maschera di ricerca.
Puoi controllare se funziona con questo front-end?
Poi vediamo di completarlo con genre e rating...

Ricordo che gli export di grandi dimensioni ancora non sono supportati, quindi se con 30 mila giochi avete un errore è dovuto a questo limite (che spero di togliere prima o poi).

EDIT: Ho aggiornato il campo genre, quindi per l'export verrà tradotto nel corrispettivo in HyperSpin (spero di aver abbinato tutti i valori correttamente)
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase


Avatar utente
Emu
Affezionato
Affezionato
Messaggi: 248
Iscritto il: 30/11/2014, 13:00
Medaglie: 1
Reputation: 2
Città: ReggioEmilia
:
Donatore

Re: Sito web Arcade Database

Messaggio da Emu » 22/04/2016, 23:10

Ciao
Ho provato, esportando in INI, Text o MAME tutto OK, con ClrMame e HyperSpin ottengo questo generico errore:

E' stato rilevato un problema durante la comunicazione con il server web. Si prega di riprovare pi tardi. Se il problema persiste, contattare l'amministratore del sito. INFORMAZIONI TECNICHE AGGIUNTIVE: Parametro 1: [object Object] Parametro 2: error Parametro 3: Internal Server Error

Ho preso i filtri di default ed aggiunto solo "parent working e clone working di non parent working"

Eventualmente potresti valutare di zippare gli XML o i dat così si ridurrebbero parecchio.

Per avere dei sample la cosa migliore è che li prendi da qui http://hyperlist.hyperspin-fe.com/ che è il repository ufficiale con le ultime versioni. Ci sono tutti i sistemi non solo il MAME così se vuoi puoi farti un'idea più precisa.
Una volta davano sempre sia l'XML che il DAT ClrMame, ora purtroppo il secondo quasi mai, poter esportare dal sito ADB entrambi i formati per una medesima query custom è una figata :D

Ho notato ora che nel post precedente mi sono sbagliato, ho riportato i nomi dei files e non quanto scritto negli XML. Nelle categorie dove ce ne sono due come "Sports-Hockey" in realtà il separatore è slash, quindi la categoria scritta nell'XML è "Sports/Hockey"

Emu
Emu


Avatar utente
Emu
Affezionato
Affezionato
Messaggi: 248
Iscritto il: 30/11/2014, 13:00
Medaglie: 1
Reputation: 2
Città: ReggioEmilia
:
Donatore

Re: Sito web Arcade Database

Messaggio da Emu » 22/04/2016, 23:13

E' anche possibile avere più dettagli di cosa esclude "MAMECab only"? Il top sarebbe la query/filtro esatto che usi :)
Sarebbe possibile filtrare i giochi per vedere solo i NON MAMECab only?

Emu
Emu


Avatar utente
motoschifo
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 2368
Iscritto il: 12/07/2013, 19:29
Medaglie: 2
Reputation: 42
Città: Parma
Località: Parma
:
Gold Medal Donatore
Contatta:

Re: Sito web Arcade Database

Messaggio da motoschifo » 23/04/2016, 8:47

L'errore che ottieni è dovuto al timeout di 30 secondi, comune a qualsiasi pagina del sito.
Sto lavorando da diverso tempo su metodi alternativi senza penalizzare ne l'utente ne il server, e soprattutto concludere l'elaborazione nel modo corretto.
Tra le opzioni quella che mi costa meno è l'invio della mail con il link al file, ma per cose veloci è scomodo dover attendere il messaggio...

Aggiornerò solo quando avrò concluso, per ora dovete stare attenti ed esportare pochi giochi (almeno lato xml/dat, 4000 giochi sono già tantini e richiedono anche 25-30 secondi in base ai nomi e alle versioni richieste).

Probabilmente attiverò opzioni interessanti come:
- invio dei risultati via mail (opzionale)
- zip automatico per file che superano i 500k
- conteggio dei giochi in elaborazione, anche se approssimativo, con eventuale percentuale di avanzamento
Emu ha scritto:E' anche possibile avere più dettagli di cosa esclude "MAMECab only"? Il top sarebbe la query/filtro esatto che usi :)
Sarebbe possibile filtrare i giochi per vedere solo i NON MAMECab only?
Nel tooltip ho riportato i filtri principali e nel thread sono spiegati qui.
In aggiunta a quei filtri ci sono quelli del vecchio "arcade only", ossia:
  • - niente ex-Mess
    - no bios
    - no device
    - no mechanical
Non è possibile avere il filtro contrario con un solo click ma ragionando con includi/escludi e quindi invertendo le logiche. Altrimenti si usa un metodo che probabilmente in pochi conoscono: crei una lista personale con quei giochi e poi si usi il filtro in opzioni avanzate "non in lista" che mostrerà la differenza tra i due insiemi.

Ricordo comunque che i timeout che si ricevono hanno effetto solo sulla parte web, perchè sotto il server porta sempre a termine i lavori. Quindi se aggiungo 40 mila giochi ad una lista e poi vedo l'errore, mi basta attendere un po' per avere la pagina di nuovo funzionante (con tutti i giochi al loro posto ovviamente).
Questo sarà un aggiornamento importante e per quello richiede tempo <-dash->
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase


Avatar utente
Emu
Affezionato
Affezionato
Messaggi: 248
Iscritto il: 30/11/2014, 13:00
Medaglie: 1
Reputation: 2
Città: ReggioEmilia
:
Donatore

Re: Esportazione liste giochi dal sito

Messaggio da Emu » 23/04/2016, 10:49

Grazie, ho capito.
con il mio filtro ci sono 2452 giochi ma effettivamente dopo 30 secondi arriva l'errore.
Sarebbe fattibile gestire i link di download dei files generati con un'iconcina in alto a destra analoga a quella dell'history dei giochi visti? (spero di essermi spiegato). potresti visualizzarli lì dopo averli generati, con una vita di qualche ora poi li elimini.

Altri bug però nella parte MESS:
le pagine di ricerca se vite in inglese hanno molte label in italiano.
Provando a generare una lista con i neogeo AES mi restituisce 0 giochi, altre softlist vanno.
Qui non c'è il filtro "parent working e clone working di non parent working"
Manca l'export di hyperspin...

questi lato mess sono tutti a low priority

Emu
Emu


Avatar utente
motoschifo
Progetto Arcade Database
Progetto Arcade Database
Messaggi: 2368
Iscritto il: 12/07/2013, 19:29
Medaglie: 2
Reputation: 42
Città: Parma
Località: Parma
:
Gold Medal Donatore
Contatta:

Re: Esportazione liste giochi dal sito

Messaggio da motoschifo » 23/04/2016, 11:14

Potrebbe essere un'idea in effetti, anche se preferisco per ora capire come evitare l'errore. Eventualmente posso indicare gli ultimi export da qualche parte, tanto i file temporanei hanno vita molto corta (poche ore).

La parte Mess non è completa ed infatti sullo sfondo ho messo l'immagine di work-in-progress. Mancano tante cose nell'export, nella ricerca e nel dettaglio. Le modifiche di queste cose vanno di pari passo con la funzione download di ADB-Tools. Nonostante abbia dedicato settimane a queste pagine, manca ancora un sacco di lavoro. La traduzione è l'ultima cosa che faccio quando cioè ritengo concluso lo sviluppo di quella parte ma nel caso della ricerca l'ho anticipata visto che grosso modo il layout è quasi definitivo.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Arkanoid
Flipper ›HighSpeed Wishlist ›MedievalMadness ›MonsterBash ›HighSpeed2 WebArcadeDatabase


Rispondi