Commodore Amiga.xml + WHDLoad.xml aggiornato 2016-09-19 e script PowerShell per aggiornamento

Frontend per cabinati... chi, cosa, come!!!
Avatar utente
pucci
Moderatore
Moderatore
Messaggi: 3844
Iscritto il: 19/07/2005, 17:52
Reputation: 14
Città: San Clemente (RN)
Località: Rimini

Re: Commodore Amiga.xml + WHDLoad.xml aggiornato 2016-09-19 e script PowerShell per aggiornamento

Messaggio da pucci » 10/01/2017, 20:09

Provo a buttarci un occhio nel week end

Inviato dal mio A0001 utilizzando Tapatalk
Pucci - The Bastard Son of Arcade Italia
"MODerrare humanum est"
tutte le copertine di The Games Machine
non combatto guerre di intelligenza con gente disarmata


Avatar utente
Emu
Affezionato
Affezionato
Messaggi: 248
Iscritto il: 30/11/2014, 13:00
Medaglie: 1
Reputation: 2
Città: ReggioEmilia
:
Donatore

Re: Commodore Amiga.xml + WHDLoad.xml aggiornato 2016-09-19 e script PowerShell per aggiornamento

Messaggio da Emu » 11/01/2017, 0:34

Per il WE dovrei riuscire a darti una versione migliore
Emu


Avatar utente
Emu
Affezionato
Affezionato
Messaggi: 248
Iscritto il: 30/11/2014, 13:00
Medaglie: 1
Reputation: 2
Città: ReggioEmilia
:
Donatore

Re: Commodore Amiga.xml + WHDLoad.xml aggiornato 2016-09-19 e script PowerShell per aggiornamento

Messaggio da Emu » 12/01/2017, 0:47

ciao pucci
Allego l'ultima versione. Ho popolato un po' di metadati con un altro scriptino. :-D

Total: 3303
Parents: 2497
Clones: 806

Metadata
Complete: 2805
Incomplete: 498

Cercherò di ridurre ulteriormente gli incomplete appena avrò un altro po' di tempo.

Ti allego anche un paio di script, augurandomi ti siano utili nella verifica. List-Master-Clones.ps1 fa vedere "l'albero" parent-cloneche ho postato precedentemente, devi solo editarli impostando in alto il path del file che ti interessa. Il secondo ti fa vedere il file XML in modo tabellare con GUI.

Sarebbe bello anche poter avere un mapping fra i generri del sito di LemonAmiga/HOT utilizzati attualmente, con quelli di HyperSpin in modo da poter avere le icone ed un numero umano di gruppi. C'è qualche volontario? <-whistling->
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.
Emu


Avatar utente
Emu
Affezionato
Affezionato
Messaggi: 248
Iscritto il: 30/11/2014, 13:00
Medaglie: 1
Reputation: 2
Città: ReggioEmilia
:
Donatore

Re: Commodore Amiga.xml + WHDLoad.xml aggiornato 2016-09-19 e script PowerShell per aggiornamento

Messaggio da Emu » 13/01/2017, 22:26

Mi sono accorto di un'orribile svista sui metadati, allego file fixato

Total: 3303
Parent: 2497
Clones: 806

Complete: 2880
Incomplete: 423
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.
Emu


Avatar utente
Emu
Affezionato
Affezionato
Messaggi: 248
Iscritto il: 30/11/2014, 13:00
Medaglie: 1
Reputation: 2
Città: ReggioEmilia
:
Donatore

Re: Commodore Amiga.xml + WHDLoad.xml aggiornato 2016-09-19 e script PowerShell per aggiornamento

Messaggio da Emu » 15/01/2017, 12:26

Ho provato a mappare i generei Amiga con i generi HyperSpin, ecco il risultato:
► Mostra testo
Questo è l'elenco completo dei generi di HyperSpin:
► Mostra testo
Allego anche l'XML risultante. Ho lasciato anche i generi originali in un altro campo
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.
Emu


Avatar utente
Emu
Affezionato
Affezionato
Messaggi: 248
Iscritto il: 30/11/2014, 13:00
Medaglie: 1
Reputation: 2
Città: ReggioEmilia
:
Donatore

Re: Commodore Amiga.xml + WHDLoad.xml aggiornato 2016-09-19 e script PowerShell per aggiornamento

Messaggio da Emu » 22/01/2017, 22:49

Ciao
Direi che ci siamo, ho fixato qualche clone, sostituito i generi con quelli di HyperSpin (mantenendo quello originale in un altro campo) e raccolto i metadati mancanti da LemonAmiga e HOL. Per questi ultimi, per rendere più semplice un re-parsing ho aggiunto gli ID direttamente all'XML in quanto questo non impatta con il funzionamento. Solo 19 giochi non hanno alcun ID.

Sen non rilevate problemi direi che questa è la versione finale.
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.
Emu


Avatar utente
Emu
Affezionato
Affezionato
Messaggi: 248
Iscritto il: 30/11/2014, 13:00
Medaglie: 1
Reputation: 2
Città: ReggioEmilia
:
Donatore

Re: Commodore Amiga.xml + WHDLoad.xml aggiornato 2016-09-19 e script PowerShell per aggiornamento

Messaggio da Emu » 23/01/2017, 1:01

Inserite le versioni finali degli XML nel primo post

Alcune statistiche:

Total Games: 3303

Parent: 2484
Clones: 819

Metadata Complete: 2926
Metadata Incomplete: 377

ID Lemon present: 2852
ID Lemon blank: 451

ID HOL present: 3268
ID HOL blank: 35

ID Lemon OR HOL present: 3284
ID Lemon OR HOL blank: 467
ID Lemon AND HOL blank: 19

Finito!!! <-thumbup->
Emu


Avatar utente
Alibao72
Affezionato
Affezionato
Messaggi: 124
Iscritto il: 25/10/2015, 21:49
Medaglie: 1
Reputation: 0
Città: Torino
:
Donatore

Re: Commodore Amiga.xml + WHDLoad.xml aggiornato 2016-09-19 e script PowerShell per aggiornamento

Messaggio da Alibao72 » 24/01/2017, 11:48

Ciao a tutti,
ed innanzitutto grazie per il lavoro svolto.

Volevo chiedervi solo una cosa.... per poter "approfittare " (se me lo concedete :) del lavoro da voi svolto, <-gamers3->
è possibile sapere la sorgente cui siete partiti? <-sbav->

Esiste una qualche fonte che possiamo identificare per recuperarla? <-think->

Grazie mille, come sempre.
Ciaooo... \:D/


Avatar utente
Emu
Affezionato
Affezionato
Messaggi: 248
Iscritto il: 30/11/2014, 13:00
Medaglie: 1
Reputation: 2
Città: ReggioEmilia
:
Donatore

Re: Commodore Amiga.xml + WHDLoad.xml aggiornato 2016-09-19 e script PowerShell per aggiornamento

Messaggio da Emu » 24/01/2017, 20:39

Ciao
Il lavoro l'ho fatto da solo.
I file XML da cui sono partito sono quelli che avevo pubblicato l'ultima volta con il pack di WHDLoad circa un annetto fa (mi pare), c'è un posto vecchio.
Le sorgenti da cui ho popolato i metadati sono Lemon Amiga http://www.lemonamiga.com/ e HOL http://hol.abime.net/ che sono appunto i siti di cui ho messo gli ID all'interno dei files XML di HS.
Mi sono fatto degli script PowerShell che si parsano l'XML e prendono i dati dai siti. Una prima versione c'è in attach nel primo post. Non ho postato le altre versioni perchè sono un po' "incasinate", dovrei ripulirle (come codice) prima di postarle.
Ti allego uno di questi script, il più semplice di tutti, che consente solo di verificare cosa c'è e cosa manca da un file XML di HS (Amiga) se vuoi farti un'idea.

Ho fatto in questo modo, aggiungere gli ID direttamente dentro l'XML, così per aggiornare i dati mancanti basta che lancio uno script e se c'è almeno uno di questi due ID prende i dati direttamente dai siti, non sostituendo ma soltanto integrando ciò che manca. Se l'ID manca cerca sul sito di WHDLoad il gioco e ricava l'ID di LemonAmiga o HOL direttamente. Se non lo trova non fa nulla. Alla fine tramite una tabella di trascodifica sostituisco il genre preso dai siti con un genre standard di HS. Su questo mapping ho alcune perplessità ma dopo mi spiego meglio.
In pratica con un mapping automatico dei nomi dei giochi sono riuscito ad avere i dati completi di circa 2600-2700 giochi, gli altri li ho mappati a mano, inserendo l'ID di LemonAmiga o HOL nell'XML (in vari modi, tra script, Excel e files CSV) poi lanciando lo script PS ha integrato i metadati dai siti.

Ieri sera ho scoperto che anche sul sito di HS ne stanno mantenedo uno http://www.hyperspin-fe.com/forums/topi ... se-thread/ ma non hanno fatto la parte di WHDLoad.
Quando avrò un attimo provo a confrontarli per vedere le differenze. A parte i nomi dei giochi, dove io ho volutamente mantenuto l'esatto set di PD, loro hanno un set pulito e dovrebbero aver inserito i generi in modo più accurato del mapping che ho fatto io, convertendo il genere presente sui siti.
Cmq, al termine penso che posterò gli XML e se riesco a pulirli anche gli script, per aiutare anche (magari...) altri a generare versioni aggiornate (e magari sempre più accurate) degli XML in futuro.
Attualmente un'altra cosa da rivedere sarebbe il fatto che, cercando i giochi sul sito di WHDLoad http://whdload.de/games/all.html talvolta ci sono puntamenti ad ID multipli per il medesimo gioco. Questo dipende dal fatto che spesso HOL e talvotla LemonAmiga hanno 2 ID differenti per le versioni AGA ed ECS, e se c'è una terza per CD32, a volte per CDTV. Questi ID multipli andrebbero modificati lascando solo l'ID corretto.
Un'altra "figata" è che con lo script se ho i metadati sbagliati su uno o più giochi, metto l'ID corretto, cancello i metadati esistenti, lancio lo script e lui prende giù quelli corretti :)
Attualmente solo 19 giochi su 3303 sono senza ID, e sono questi:

Codice: Seleziona tutto

name                                     description                           idlemon idhol cloneof             
----                                     -----------                           ------- ----- -------             
AdventuresOfGenlockHolmes_v1.0           Adventures Of Genlock Holmes                                            
AdventuresOfQuik&Silva_v1.1              Adventures of Quik and Silva                                            
AdventuresOfWillyBeamish_v1.2_1814       Adventures of Willy Beamish                                             
BombPacCD32_v1.0_AGA                     Bomb Pac (CD32, AGA)                                                    
BombPacCD32_v1.0_AGA_Aminet              Bomb Pac Aminet (CD32, AGA)                         BombPacCD32_v1.0_AGA
CannonFodderNewCampaign_v1.0             Cannon Fodder New Campaign                                              
FastBrain_v0.2_Pl                        FastBrain PL                                                            
FlightSimulator2&SceneryDisk13_v1.0_0329 Flight Simulator 2 Scenery Disk 13                                      
FlightSimulator2&SceneryDisk14_v1.0_0329 Flight Simulator 2 Scenery Disk 14                                      
ForgottenMine_v1.0                       Forgotten Mine                                                          
ItCameFromTheDesert2_v2.0                It Came From the Desert II - Antheads                                   
Jet&SceneryDisk13_v1.0                   Jet & Scenery Disk 13                                                   
Jet&SceneryDisk14_v1.0                   Jet & Scenery Disk 14                                                   
MrMenOlympics_v1.1                       Mr Men Olympics                                                         
NuxeliaDemo_v1.0                         Nuxelia Demo                                                            
Roboter_v1.0_De                          Roboter DE                                                              
Starbirds_v1.1                           Starbirds                                                               
SuperStreetFighter2DX_v1.1_AGA           Super Street Fighter 2 DX (AGA)                                         
TenPinBowling_v0.1_Arcadia               Ten Pin Bowling (Arcadia)                                               
Non hai i permessi necessari per visualizzare i file allegati in questo messaggio.
Emu


Avatar utente
DigDug
Cab-dipendente
Cab-dipendente
Messaggi: 974
Iscritto il: 23/07/2005, 18:24
Reputation: 4
Città: PoggioBerni

Re: Commodore Amiga.xml + WHDLoad.xml aggiornato 2016-09-19 e script PowerShell per aggiornamento

Messaggio da DigDug » 24/01/2017, 22:27

argh, perchè non ci capisco niente di queste cose...
comunque ci sono 4 giochi che mi danno errore quando vado a scompattarli da lha...
CAB: "Classic" + Hantarex 25" VGA · Intel Core2Duo E6550 · 4Gb RAM · Geforce 8600GT · HD Seagate 500Gb · WindowsXP
MameWAH con Mame32 0.101 e 0.154 + WinUAE + WinVice + Stella + Daphne


Rispondi