Episoddubletter
I dag finns det dubletter av vissa episoder när man läser ut en show. Ex: http://api.welovepublicservice.se/v1/episode/?format=json&show=203&limit=50
Bifogar fil med ett av avsnitten som är duplicerat.
Tittar man på vad de egentligen innehåller så ser man att url varierar (fast den går till samma sida egentligen).
1: "url": "http://www.svtplay.se/video/1090544/del-1-av-2"
2: "url": "http://www.svtplay.se/video/1090544/hitlers-uppgang-och-fall-del-1-av-2"
Förslag från mig är att dels bara ha url-delen som är den intressanta (och faktiskt korrekt också) "http://www.svtplay.se/video/1090544/".
Görs den ändringen kanske det går göra en kontroll på url-fältet av redan existerande episoder innan nya läggs till så skulle dubletterna försvinna.
Jag säger kanske för språket som wlps är skrivet i är rena grekiskan för mig; jag kan tyvärr inte hjälpa till att felsöka.
Comments (4)
-
repo owner -
reporter Ok, det är lugnt. Jag löser det i egna koden i v0.9.1. :)
-
repo owner Detta är löst i senaste koden, men just inaktiverat pga av clash med Johans WP8-app, https://github.com/peppelorum/SvtCrawler/blob/master/svtcrawler/init.py#L183
-
repo owner - changed status to resolved
- Log in to comment
Det borde vara ganska enkelt avhjälpt, ser inte vidare svårt att kolla att url:en är i rätt format.
Jag har väldigt mycket att göra på jobbet just nu, så det kan ta några dagar innan jag orkar ro ihop en lösning som funkar.