Data industry: trend of fad?

[Pieterjan94]

Data science etc wordt in elke sector goed betaald.

Je zou vlot kunnen mikken op meer dan 3800 euro bruto.

En wat zie jij dan onder data science? Uit de feedback uit de thread blijkt dat er veel componenten onder "data science" vallen.
Heb je het dan specifiek op de mensen die zich bezighouden met machine learning etc?

 

[Nineshots]

Zoals Anders al vermeld heeft, er zijn enorm veel jobs te doen in de data industry.
Het echte analyse werk wordt (naar mijn ervaring toch) meestal gedaan door hoge masterdiplomas. Zoals handelsingenieur, burgies, masters in de wiskunde/statistiek/... en andere hoge wiskundige richtingen.

Maar daarnaast is er ook nog veel werk voor minder wiskundige profielen. De data moet namelijk ook ergens vandaan komen en ook gevisualiseerd worden. En het project moet gemanaged worden etc.

Zelf werk ik bijvoorbeeld als programmeur/architect in de maak industrie, ik zorg er voor dat die data beschikbaar is. En hoe meer we inzetten op industriële IoT, hoe meer data er beschikbaar komt.
Soms zorg ik er ook voor dat die data gevisualiseerd wordt en meestal kan dat op een manier waarbij ik zelf of samen met de klant/collega's kan uitdenken hoe het juist moet gebeuren.
Maar soms schakelt de klant ook eens een specifieke consultant daarvoor in, die dan zotte formules en dergelijke uitwerkt, die ik codeer zodat de data correct verwerkt wordt vooraleer ik die aan de eindgebruiker toon op het scherm.

 

[Lulplayer]

Heb je het dan specifiek op de mensen die zich bezighouden met machine learning etc?

Ja, maar andere data jobs worden ook goed betaald.

 

[1986]

En wat zie jij dan onder data science? Uit de feedback uit de thread blijkt dat er veel componenten onder "data science" vallen.
Heb je het dan specifiek op de mensen die zich bezighouden met machine learning etc?

Data visualisatie is alleszins geen data science wmb. En dat klopt overigens wel, dat data visualisatie echt commodity is geworden. Uiteindelijk ook weinig verschil met de BI afdelingen die we al veel langer kennen.
Wat wij intern verstaan onder data science is het toepassen van wiskundige technieken (o.a. ML maar zeker niet als enige) om uit die data waarde te halen. Voorbeeld: Uit een shitload aan historische sales/orderdata kan je via ML (of andere techieken) een forecast opmaken over toekomstige verwachte verkopen. Daarop kan je dan andere processen gaan baseren (bvb. personeel voorzien voor het verwerken van die orders). In die vervolgstap zit net de waarde: kostenbesparingen door minder mensen onnodig in te zetten, beter naleven van afspraken/SLA's met klanten, etc.

Data visualisatie is een manier om vervolgens bijvoorbeeld die forecast zichtbaar te maken voor de organisatie (op dagniveau, uurniveau, kwartierniveau oid). Dat is veel minder hocus pocus dan de forecast zelf bouwen natuurlijk. En daar zie ik toch veel minder hoog geschoolden ingezet worden. Bij ons vertaalt zich dat ook in loonsverschillen tussen die profielen (al gaan wij traditioneel amper (advanced) analytics verkopen, veel meer data science en data engineering).

 

[VijfEnZeventig]

Interessante thread!

Zelf start ik in september als data scientist, heb 2 masters op zak (TEW + manama AI).

Ter info: qua verloning start ik onmiddelijk op 2800 bruto, met véél extralegale: ongv 600 + mobiliteitsbudget / wagen + tankkaart, voor 150 in de maand maaltijdcheques, € 110 forfetaire kosten pm, gsm abbo en wat andere handige stuff. Ik denk dat ik qua verloning dus op een deftige plek start.

Heb tijdens mijn studies het geluk gehad om meerdere stages te doen binnen data en ik merk idd dat bedrijven sowieso niet de maturiteit hebben om effecitef data science/ML te gebruiken. Voorafgaand lijkt het me dat je sowieso een BI traject nodig hebt waar je een fatsoenlijke data architectuur opbouwt met oog op ook de datakwaliteit op peil te houden.

Ik denk dat een deel van de fad gewoon komt omdat bedrijven machine learning/AI zien en erop willen springen terwijl ze er gewoon nog niet klaar voor zijn. Eerst wandelen voor je begint met lopen dus. Door stages te doen heb ik gelukkig genoeg praktische ervaring met data engineering / cloud dus ik hoop de handen uit de mouwen te doen als ik bij een klant kom dat letterlijk niks heeft.

Allemaal makkelijker gezegd dan gedaan natuurlijk, dat zullen we zien in september!

 

[Oordop]

Heel interessante topic ja!

Als ik de posts lees, dan is voor de meeste jobs kennis van programmeren nodig.

Ik kom uit een economische richting (met vrij stevige wisk/stat/econometrie maar geen programmeren) en veel medestudenten doen een job als data-analyst. Zijn zij beperkt in wat ze kunnen doen of wordt programmeren on the job aangeleerd aan zulke profielen?

 

[anders.]

Heel interessante topic ja!

Als ik de posts lees, dan is voor de meeste jobs kennis van programmeren nodig.

Ik kom uit een economische richting (met vrij stevige wisk/stat/econometrie maar geen programmeren) en veel medestudenten doen een job als data-analyst. Zijn zij beperkt in wat ze kunnen doen of wordt programmeren on the job aangeleerd aan zulke profielen?

Data-analist is gewoon 1 van de vele jobs in het "data-landschap". Je moet daar niet voor kunnen programmeren, je moet daarvoor kennis van uw business hebben en goed met uw OLAP/rapporteringstools om kunnen gaan. Het "programmeer"-stuk wordt hiervoor door het BI-team gedaan normaal.

 

[Lulplayer]

Dat programmeren leer je al doende.

Sql, power bi etc is echt geen rocket science

Zelf kunnen programmeren en rekenen is echt wel een asset.

 

[VijfEnZeventig]

Heel interessante topic ja!

Als ik de posts lees, dan is voor de meeste jobs kennis van programmeren nodig.

Ik kom uit een economische richting (met vrij stevige wisk/stat/econometrie maar geen programmeren) en veel medestudenten doen een job als data-analyst. Zijn zij beperkt in wat ze kunnen doen of wordt programmeren on the job aangeleerd aan zulke profielen?

Als data analyst of BI'er kom je ruimschoots toe met SQL + Power BI. Beiden kun je écht wel on the job leren, zo heb ik het ook gedaan tijdens 2/3 stages.

Heb ook een economische vooropleiding, maar heb vrij veel (vrije) tijd gestoken in fatsoenlijk leren programmeren zodat ik toch wel in een data science positie mag starten aangezien BI/analist toch niets is voor mij op lange termijn gok ik. Als je nog studeert zou ik dus gewoon aanraden om er wat tijd in te steken en/of stages te doen in de zomer bvb.

 

[Oordop]

Als data analyst of BI'er kom je ruimschoots toe met SQL + Power BI. Beiden kun je écht wel on the job leren, zo heb ik het ook gedaan tijdens 2/3 stages.

Heb ook een economische vooropleiding, maar heb vrij veel (vrije) tijd gestoken in fatsoenlijk leren programmeren zodat ik toch wel in een data science positie mag starten aangezien BI/analist toch niets is voor mij op lange termijn gok ik. Als je nog studeert zou ik dus gewoon aanraden om er wat tijd in te steken en/of stages te doen in de zomer bvb.

Zelf werk ik al even in een andere sector, maar ik vroeg het me af. Nogal wat voormalig klasgenoten doen een dergelijke job.

 

[the_fox]

Als data analyst of BI'er kom je ruimschoots toe met SQL + Power BI. Beiden kun je écht wel on the job leren, zo heb ik het ook gedaan tijdens 2/3 stages.

Heb ook een economische vooropleiding, maar heb vrij veel (vrije) tijd gestoken in fatsoenlijk leren programmeren zodat ik toch wel in een data science positie mag starten aangezien BI/analist toch niets is voor mij op lange termijn gok ik. Als je nog studeert zou ik dus gewoon aanraden om er wat tijd in te steken en/of stages te doen in de zomer bvb.

En heb je werkelijk ervaring in de BI-sector? Afgaand op je vorige post, ben je nog student die in september gaat beginnen in de data-sector en is je ervaring beperkt tot stages...

Want wat je hier zegt, zal maar in een heel beperkt aantal situaties correct zijn. Je onderschat denk ik hoeveel bedrijven enkel PowerBI gebruiken. Terwijl MS 1 van de marktleiders is, is het geen zekerheid. Om nog maar te zwijgen dat PBI niet geschikt is voor alle rapportering.
In veel bedrijven, vooral kleinere, moet je ook niet verwachten dat alles mooi opgedeeld is in meerdere afdelingen met overal veel volk die verschillende taken opnemen.

Veel geluk met je basiskennis SQL & PBI als je in een bedrijf terecht komt die rapportering wilt opzetten op basis van closed source proprietary software waarvan het datamodel niet ontwikkeld is om op te rapporteren, waar een deel van de informatie in de applicatie berekend/vertaald wordt en niet in de databank aanwezig is Zeker als er verder beperkte of geen verdere interne kennis is hierover binnen het bedrijf / de IT-afdeling.

Bij deze een paar voorbeelden van de eerste pagina van de site van VDAB met de zoekterm BI

Vind een job | VDAB

www.vdab.be

Vind een job | VDAB

www.vdab.be

Vind een job | VDAB

www.vdab.be

Vind een job | VDAB

www.vdab.be

Als je in een groot bedrijf werk vindt, met een groot IT departement met mooi afgelijnde afdelingen, en waar ze net met die technologie werken, heb je gelijk. Besef echter dat dit maar een minderheid is.

 

[VijfEnZeventig]

En heb je werkelijk ervaring in de BI-sector? Afgaand op je vorige post, ben je nog student die in september gaat beginnen in de data-sector en is je ervaring beperkt tot stages...

Want wat je hier zegt, zal maar in een heel beperkt aantal situaties correct zijn. Je onderschat denk ik hoeveel bedrijven enkel PowerBI gebruiken. Terwijl MS 1 van de marktleiders is, is het geen zekerheid. Om nog maar te zwijgen dat PBI niet geschikt is voor alle rapportering.
In veel bedrijven, vooral kleinere, moet je ook niet verwachten dat alles mooi opgedeeld is in meerdere afdelingen met overal veel volk die verschillende taken opnemen.

Je ziet toch zelf op die vacatures dat er gevraagd wordt naar SQL + kennis van een BI tooling? Ik zie bij geen enkele van die de vraag naar een Java, Python , C# of iets dergelijks. Bon, als die BI tool nu Qlik, Power BI, microstrategy, SSIS of Tableau is maakt niemand toch uit? Dat zijn skills dat je snel hebt geleerd, heb ik tevens ook moeten doen tijdens mijn stages en jobs die ik al gehad heb binnen data.

Met basis kennis SQL had ik het op juniors gemunt. SQL heeft een mooie leercurve, als je enkel de basics kent, kan je volgens mij toch wel al iets en kan je vlot groeien in de rol. Op m'n eerste project ben ik toch wel met 0 SQL kennis gestart en tegen het eind vanaf niets naar een DWH + BI oplossing gegaan. Nee, de queries waren in het begin hopeloos slecht, maar je groeit er toch gewoon in.

Veel geluk met je basiskennis SQL & PBI als je in een bedrijf terecht komt die rapportering wilt opzetten op basis van closed source proprietary software waarvan het datamodel niet ontwikkeld is om op te rapporteren, waar een deel van de informatie in de applicatie berekend/vertaald wordt en niet in de databank aanwezig is Zeker als er verder beperkte of geen verdere interne kennis is hierover binnen het bedrijf / de IT-afdeling.

Dan zijn net deze posities niet weggelegd voor mensen met een soortgelijk profiel als mij, dat kan wel kloppen. Als deze casus dan zo vaak voorkomt binnen een bedrijf ben je toch meer gediend met een allrounder?

Tijdens het solliciteren heb ik eigenlijk enkel rondgegaan bij A) grote consultancy boîtes waar de rollen uitgelijnd zijn B) 'Kleinere' spelers dat enkel data doen. Beiden deden niet moeilijk met mensen van een economische richting op master niveau te nemen. Bij de data scientists op mijn laatste stageplek in de zomer was het zelf gewoon 50/50 burgies en handelsinginieurs. Op de BI afdeling was het dan wel weer 70/30 toegepaste informatica en TEW/HIRs.

 

[gamer5]

Als data analyst of BI'er kom je ruimschoots toe met SQL + Power BI. Beiden kun je écht wel on the job leren, zo heb ik het ook gedaan tijdens 2/3 stages.

Heb ook een economische vooropleiding, maar heb vrij veel (vrije) tijd gestoken in fatsoenlijk leren programmeren zodat ik toch wel in een data science positie mag starten aangezien BI/analist toch niets is voor mij op lange termijn gok ik. Als je nog studeert zou ik dus gewoon aanraden om er wat tijd in te steken en/of stages te doen in de zomer bvb.

Wat een zever. Zo van die mannen die enkel SQL kennen en weten wat een fact en dimensie tabel is heb ik ook al bij mij in het team gehad. 6 maanden en buiten, junior of niet. Jij zit duidelijk niet of nog niet lang in de branche.

 

[the_fox]

Je ziet toch zelf op die vacatures dat er gevraagd wordt naar SQL + kennis van een BI tooling? Ik zie bij geen enkele van die de vraag naar een Java, Python , C# of iets dergelijks. Bon, als die BI tool nu Qlik, Power BI, microstrategy, SSIS of Tableau is maakt niemand toch uit? Dat zijn skills dat je snel hebt geleerd, heb ik tevens ook moeten doen tijdens mijn stages en jobs die ik al gehad heb binnen data.

Geen ervaring dus, en ook maar beperkte kennis. Je kan ETL & rapporteringtools niet op dezelfde berg zwieren...
Als je eens een data stroom hebt waar je niet met de basisblokken kunt werken, verval je op de script component. Daar heb je dus wel de kennis nodig die je volgens u niet nodig hebt.

Maar toch denken dat je weet hoe de sector in elkaar zit en al raad aan het geven aan anderen

 

[anders.]

Wat een zever. Zo van die mannen die enkel SQL kennen en weten wat een fact en dimensie tabel is heb ik ook al bij mij in het team gehad. 6 maanden en buiten, junior of niet. Jij zit duidelijk niet of nog niet lang in de branche.

Ik zit 12 jaar in de sector, en ik schrijf momenteel eigenlijk enkel SQL moet ik mij nu slecht voelen?

 

[gamer5]

Ik zit 12 jaar in de sector, en ik schrijf momenteel eigenlijk enkel SQL moet ik mij nu slecht voelen?

Tis maar waar jij u goed bij voelt zeker Zou het geen 6 maanden volhouden. Wat is uw functie dan? Had het natuurlijk over een analyst zijn. Enkel SQL is voor mij geen analyse werk (maar hoort er wel bij). Want in mijn 8 jaar nog nooit iemand tegengekomen die enkel SQL schrijft.

 

[anders.]

Tis maar waar jij u goed bij voelt zeker Zou het geen 6 maanden volhouden. Wat is uw functie dan? Had het natuurlijk over een analyst zijn. Enkel SQL is voor mij geen analyse werk (maar hoort er wel bij). Want in mijn 8 jaar nog nooit iemand tegengekomen die enkel SQL schrijft.

Officieel "engineer/analist". Maar in praktijk data modeller (data vault) en ontwikkelaar. In de huidige situatie met enorm schaalbare cloud databases (snowflake), is het nut van etl-tools weg als je technisch sterke ontwikkelaars hebt. Wij schrijven/genereren de ETL dus gewoon uit in SQL. Maar daarvoor heb je wel meer SQL kennis nodig dan "ik heb het FF on the job geleerd"

Maar die manier van werken bespaart kosten (geen license fees, geen extra servers, data blijft op database ipv in een aparte server te verwerken). Enige grote nadeel is dat een ETL makkelijk foute records kan retouren naar ergens anders, SQL kan dat niet.

Voor de duidelijkheid, ik ken ook powercenter, datastage, data manager, pentaho en ssis he

 

[the_fox]

Ik zit 12 jaar in de sector, en ik schrijf momenteel eigenlijk enkel SQL moet ik mij nu slecht voelen?

En valt dit ook onder wat beweerd werd?

Als data analyst of BI'er kom je ruimschoots toe met SQL + Power BI. Beiden kun je écht wel on the job leren, zo heb ik het ook gedaan tijdens 2/3 stages.

Doe je dit al van dag1 en heb je alles onkel on the job geleerd?
[edit]Nee dus, als ik je reply hierboven zie

 

[VijfEnZeventig]

Geen ervaring dus, en ook maar beperkte kennis. Je kan ETL & rapporteringtools niet op dezelfde berg zwieren...

Had het dan voornamelijk over het feit dat het tools zijn, uiteraard zijn ze verschillend. Lees maar wat je wilt lezen uit m'n post, doe je genoeg.

Want in mijn 8 jaar nog nooit iemand tegengekomen die enkel SQL schrijft.

Dan zitten we toch gewoon in compleet andere 'zones' ook velen met meer ervaring dan u die toch wel énkel SQL schreven op hun werk. Mijn vertekend beeld komt dan misschien wel van het feit dat in grote bedrijven waar de rollen wel uitgelijnd zijn of in data consultancy's. Hier kom je dus wel mensen van dit type tegen. Ze hadden de keus om databricks te gebruiken, puur SQL in synapse of een mengeling en er waren toch wel mensen die gewoon voor het 2de kozen.

Doe je dit al van dag1 en heb je alles onkel on the job geleerd?

Buiten een wegwerp lesje op school heb ik het meeste wat ik ken van SQL geleerd on the job aangezien ik de enigste op het project was. Was vnl SSIS + SQL, dan SSAS en vervolgens Power BI daar. Als ik het zo zie had wel de chance dat alles netjes in een DB was uiteraard, ik moest het niet gaan vissen uit een applicatie of zo. Sindsien wel een vak ervan gehad op den unief, maar dit was er weliswaar voor.

Laatste project had ik gedaan heb was dan weer voornamelijk databricks/pyspark/MLflow + azure data lake + synapse + power bi. ELT gedaan in zowel databricks en synapse om te vergelijken, ja het is wat wennen om nieuwe tools te leren gebruiken maar dat kan je toch met wat moeite rond?

 

[Pieterjan94]

Veel geluk met je basiskennis SQL & PBI als je in een bedrijf terecht komt die rapportering wilt opzetten op basis van closed source proprietary software waarvan het datamodel niet ontwikkeld is om op te rapporteren, waar een deel van de informatie in de applicatie berekend/vertaald wordt en niet in de databank aanwezig is Zeker als er verder beperkte of geen verdere interne kennis is hierover binnen het bedrijf / de IT-afdeling.

Ik pik dit er even uit. Uiteindelijk hangt het allemaal van het bedrijf af, toch? Ik heb de indruk dat je deze groep van jobs voornamelijk benaderd vanuit een IThoek, wat ik best begrijp. Alleen lijkt het mij wel - toch zeker in grotere bedrijven - dat ze die specifieke taken overlaten aan data engineers - dus mensen met een sterke IT achtergrond. Data analisten/powerbi experts zetten ze dan voornamelijk in voor algemene analyses, af en toe iets exploratief onderzoeken, opbouw van de rapportering (dus als bridge tussen business en IT), etc.

Jij hebt ervaring in de branche, ik niet, dus ik kan zeker verkeerd zijn, maar zie ik het toch binnen ons bedrijf plaatsvinden.

Of heb ik je punt misschien niet begrepen en praat ik hier gewoon naast de kwestie?