Herman De Croo
Legacy Member
Op het werk hebben we een tooltje om de prijzen op te volgen; en te zien welke producten een grote stijging of daling hebben tov hun gemiddelde dagprijs.
Dit is een simpel Python script om websites te scrapen, en die zet dan in een MySQL db: tijdstip, url, prijs, product
We hebben een tweede virtual tabel die dan voor elk product de laatst geobserveerde prijs opslaat, en de gemiddelde dagprijs
Tenslotte is er een simpele webpagina die verbindt met de MySQL db, en gewoon een tabel print met de grootste stijgers en dalers. Je kan dan doorklikken op een product, de product_sku_id wordt meegegeven in de url en dan ga je naar de detailpagina. www.onzebedrijf.be/Webscraper_details?product_sku=303049
Dit draait al 10 jaar en werkt eigenlijk goed, maar voelt verouderd aan. Onlangs kwam de vraag: kunnen we dit eens opnieuw maken; responsive en met modernere frameworks.
Hoe zouden jullie dit aanpakken en visualizeren door zo weinig mogelijk zelf te ontwikkelen maar bestaande frameworks en libraries te gebruiken?
(De technologieën voor big data en IoT en streaming analytics is zwaar overkill over deze toepassing)
Dit is een simpel Python script om websites te scrapen, en die zet dan in een MySQL db: tijdstip, url, prijs, product
We hebben een tweede virtual tabel die dan voor elk product de laatst geobserveerde prijs opslaat, en de gemiddelde dagprijs
Tenslotte is er een simpele webpagina die verbindt met de MySQL db, en gewoon een tabel print met de grootste stijgers en dalers. Je kan dan doorklikken op een product, de product_sku_id wordt meegegeven in de url en dan ga je naar de detailpagina. www.onzebedrijf.be/Webscraper_details?product_sku=303049
Dit draait al 10 jaar en werkt eigenlijk goed, maar voelt verouderd aan. Onlangs kwam de vraag: kunnen we dit eens opnieuw maken; responsive en met modernere frameworks.
Hoe zouden jullie dit aanpakken en visualizeren door zo weinig mogelijk zelf te ontwikkelen maar bestaande frameworks en libraries te gebruiken?
(De technologieën voor big data en IoT en streaming analytics is zwaar overkill over deze toepassing)
