Archief - Data analist

Ik heb ondertussen 12 jaar werkervaring, waarbij ik als systeembeheerder doorgroeide naar teamlead en hierna projectleider. Dit was echter altijd op basis van wat het bedrijf/het team nodig had. Ik sta momenteel op een punt in mijn carrière waarin ik de kans heb om te evalueren of dit carrièrepad iets is dat mij echt ligt of niet. Omdat de werksituatie momenteel allesbehalve aangenaam is, volg ik onder andere ook hiervoor loopbaanbegeleiding. Momenteel ben ik van de mening dat projectleiding me niet echt ligt, maar dit kan overschaduwd zijn door de huidige werksituatie (lees: projectleiding bij de huidige werkgever ligt me misschien niet, maar projectleiding bij een andere werkgever misschien wel).

Omdat ik altijd graag met cijfergegevens gewerkt heb, analytisch ingesteld ben en de zaken graag visualiseer, wil ik eens onderzoeken of data analyse geen goeie match zou zijn voor mij. Weliswaar heb ik nog niets van ervaring met deze tak. Zijn er mensen die zelf data analist zijn in een bedrijf in België en wat meer kunnen vertellen over hun werk? Is dit uitdagend genoeg?

Ik heb enkele e-Learning cursussen (algemene data analyse cursussen, R, Python, Tableau, ...) klaarstaan om me hierin te verdiepen - maar ik wil geen vertekend beeld krijgen op basis van cursussen die vaak nogal kunnen afwijken van de echte werksituatie in België.


Alvast bedankt!

Staar u niet blind op hoe je denkt dat het zal zijn

In veel gevallen zal je 90% van de tijd zitten vloeken op:

• Data Quality
• Ongedocumenteerde bronsystemen waar je zelf mag uitzoeken wat waar nu net zit
• Veel queries/ETL opmaken om de data verwerkbaar te maken
• ...

De bedrijven waar je direct correct geformateerde en samengevoegde data aangeleverd krijgt (of zelfs kan krijgen) zijn eerder zeldzaam. Dus het meeste werk zal kruipen in alles wat voor de effectieve analyse & visualisatie nodig is. En daarvoor heb je toch wat databank/BI kennis nodig.

Allemaal leuk en wel, die titeltjes zoals "data analist" & "data scientist" maar in de praktijk ben ik nog maar weinig situaties tegengekomen waar die mensen enkel en alleen doen wat hun functienaam doet vermoeden De meesten gaan het aanspreekpunt worden voor alles inverband met data, hierdoor ga je veel ad-hoc queries mogen schrijven voor éénmalige vragen. Zoveel dat dit waarschijnlijk je hoofdtaak zal worden. En natuurlijk verwachten mensen dan ook dat je een perfect overzicht hebt over alle data + weet hoe de data verzameld/berekent wordt. En dan verwijs ik hierbij graag ook nog eens naar de eerste 2 puntjes in bovenstaand lijstje ^^


En ik zal er een oude bekende quote van Dan Ariely bij betrekken die nog steeds van toepassing is: Big data is like teenage sex: everyone talks about it, nobody really knows how to do it, everyone thinks everyone else is doing it, so everyone claims they are doing it…

Merci, hoe jij het beschrijft is eigenlijk wel hoe ik verwacht dat het is. Vind je dat dan niet leuk? Zou je liever gewoon wat met je BI tools werken als "gebruiker" ipv ITer? Of begrijp ik je post verkeerd?

the_fox zei:

Staar u niet blind op hoe je denkt dat het zal zijn

In veel gevallen zal je 90% van de tijd zitten vloeken op:

• Data Quality
• Ongedocumenteerde bronsystemen waar je zelf mag uitzoeken wat waar nu net zit
• Veel queries/ETL opmaken om de data verwerkbaar te maken
• ...

Klik om te vergroten...

I know how you feel
Dat is het onderdeel dat ik het meeste haat aan IT (voornamelijk dev) projecten.

cura zei:

Merci, hoe jij het beschrijft is eigenlijk wel hoe ik verwacht dat het is. Vind je dat dan niet leuk? Zou je liever gewoon wat met je BI tools werken als "gebruiker" ipv ITer? Of begrijp ik je post verkeerd?

Klik om te vergroten...

Als je het zo interpreteert ben je niet op zoek naar een job als data analist maar eerder naar een job als BI-analist.
De term data-analist wordt nogal vaak gebruikt met verschillende betekenissen, maar meestal komt het neer op "data scientist". In praktijk houdt die job in dat je binnen het bedrijf aanzien wordt als het aanspreekpunt voor data-gerelateerde vragen. Hierdoor ga je in praktijk heel de tijd POC's bouwen waarbij je via een hele hoop (foute) shortcuts data aan elkaar knoopt. Het plan zou dan moeten zijn dat die oplossing nadien geindustrialiseerd wordt door een BI-team, maar in praktijk gebeurt dat zelden aangezien uw POC ook al min of meer dezelfde business waarde heeft.

En zo hang je in no-time vast aan een job waarbij je enkel nog uw bestaande POC's moet draaiende houden, aangezien daar geen framework voor zal bestaan om die te onderhouden. En dagelijks gaan verantwoorden waarom uw cijfers afwijken tov de gevalideerde cijfers van het BI-team (die wel tijd krijgen om alles te testen etc).

Wat The_Fox aanhaalt is eigenlijk de job van functioneel analist binnen een BI-project, waar je op zoek gaat naar mogelijke inzichten in de data en een model tekent waarin je die structureel daar juist kan uithalen.

En er zijn ook honderden fabeltjes in het BI wereldje, bvb het idee dat een data lake alles oplost. Wij hebben een data lake (opgezet door "Big Data Specialisten") met Sales-data. Tot je eens een specifieke vraag stelt ("sales per maand per shop") en dan blijkt dat ze vanuit die data lake toch evengoed een datawarehouse gaan moeten vullen, en die data lake dus eigenlijk een veredelde staging area is...

Het ligt waarschijnlijk aan mij maar in de beschrijving van the_fox herken ik wel deels mijn job en die van sandervdw is chinees voor mij :v
In mijn geval is er wel een bi-team dat alle data samenbrengt, valideert, linkt/aanpast indien nodig. Zij doen uiteraard geen verdere verwerking, opvragen van data voor informatievragen, berekeningen etc. Dat is dan voor de data analisten. Vermoed dat daar het verschil zit? Ik ken allezins niets van bi :v
Heb wel al gemerkt dat in veel bedrijven voor data analisten vooral it achtergrond vragen/verwachten (om ook het bi gedeelte te doen?)

Tha_nOn zei:

Het ligt waarschijnlijk aan mij maar in de beschrijving van the_fox herken ik wel deels mijn job en die van sandervdw is chinees voor mij :v
In mijn geval is er wel een bi-team dat alle data samenbrengt, valideert, linkt/aanpast indien nodig. Zij doen uiteraard geen verdere verwerking, opvragen van data voor informatievragen, berekeningen etc. Dat is dan voor de data analisten. Vermoed dat daar het verschil zit? Ik ken allezins niets van bi :v
Heb wel al gemerkt dat in veel bedrijven voor data analisten vooral it achtergrond vragen/verwachten (om ook het bi gedeelte te doen?)

Klik om te vergroten...

Als je (enkel) verder werkt op het datawarehouse behoor je eigenlijk tot het BI-team maar verzorg je de front-end kant. 1 van de karakteristieke van een data scientist, is dat ze zelf bronnen gaan combineren en dus in essentie rond het BI-team werken. Maar wat je aantoont is eigenlijk exact wat ik wil zeggen: pas op met termen als data analist/data scientist/data engineer/information analist/...
Want afhankelijk van uw gesprekspartner, wil dat iets helemaal anders zeggen...

Hmm, ben ook niet meer volledig mee.

Wat ik als job inhoud zag is:
* Enerzijds rapporten die voordien opgemaakt zijn onderhouden en aanpassen op basis van de vraag van de business
* Nieuwe rapporten aanmaken from scratch op basis van de databanken die er zijn, stored procedures schrijven, analyseren welke data je waar kan vinden en hoe je die kan linken, python codering
* Visualiseren van deze verzamelde data aan de hand van BI tools zoals PowerBI enerzijds en scripts in R anderzijds
* Rapporteren van deze gevisualiseerde data wanneer gevraagd

Dat is dan geen data analist?

Zoals ik al zei, zijn allemaal leuke titeltjes die in de praktijk niets zeggen over de job sinds iedereen er een andere betekenis aan geeft (zoals sandervdw ook al aanhaalt)

Ik zit in de BI-sector, maar heb al genoeg gesprekken gehad met mensen die bovenstaande functietitels hebben en eigenlijk exact hetzelfde doen als ik Of zelfs nog minder diepgaand in hetgeen hun functietitel doet uitschijnen ^^ Lang leve buzzwords en nietszeggende titels in de IT

Als je bij ons ziet, is het eigenlijk nog anders opgedeeld. Je hebt het DBA team, BI-team en dan nog een aantal andere teams erna (bv een team dat enkel simulaties doet). De mensen van het simulatie team zou je "data scientists" kunnen noemen sinds die statistische analyses doen en simulaties maken (zijn ook vooral mensen met een statistiek-achtergrond en geen ITers). Maar die kunnen geen kant uit als ze niet de juiste data door ons aangeleverd krijgen, wat dus ook weer niet past binnen het verhaal van data scientist eigenlijk Verder nemen wij veel vragen van het simulatie-team gewoon over omdat het sneller/makkelijker is voor ons om gewoon een rapportje te maken met de juiste query i.p.v. een query te maken + dataset aan te leveren aan het simulatie-team die dan toch nog komen nahuppelen met vragen erover.

cura zei:

...
Dat is dan geen data analist?

Klik om te vergroten...

Nee, dat is gewoon BI

cura zei:

Hmm, ben ook niet meer volledig mee.

Wat ik als job inhoud zag is:
* Enerzijds rapporten die voordien opgemaakt zijn onderhouden en aanpassen op basis van de vraag van de business
* Nieuwe rapporten aanmaken from scratch op basis van de databanken die er zijn, stored procedures schrijven, analyseren welke data je waar kan vinden en hoe je die kan linken, python codering
* Visualiseren van deze verzamelde data aan de hand van BI tools zoals PowerBI enerzijds en scripts in R anderzijds
* Rapporteren van deze gevisualiseerde data wanneer gevraagd

Dat is dan geen data analist?

Klik om te vergroten...

Dat is (imo) wel een data analist, door het vette stuk. Dat impliceert namelijk dat je niet via het data warehouse passeert (want daar is die data al klaar om geanalyseerd te worden) en dat je via een "side-track" sneller een analyse probeert te maken.

Maar dat heeft dus als gevolg dat je die side track moet onderhouden, voor een Datawarehouse is daar een heel team voor voorzien om dat structureel juist te houden. Het zal als "data analist" dan ook niet lang duren voordat uw job enkel nog bestaat uit het onderhouden van uw "side-tracks".

In een ideale wereld zorgt die side-track voor een requirement van het BI-team om die integratie te bouwen, maar in praktijk vind je amper managers die bereidt zijn om eerst te betalen voor een werkend prototype, en daarna nog eens (veel meer) voor hetzelfde eindresultaat.

Maar, het niet-vette stuk impliceert dat het gewoon een BI-job is en dat het vette stuk meer op operationele rapportering / opzetten van ETL-jobs slaat. Als je alles samenneemt is het eerder een BI-job met erbovenop wat Python/R.

Want het is ook al een ideale wereld waar alles mooi in het DWH zit en dat er geen operationele rapportering gevraagd wordt aan het BI team (dat ze ofwel in het DWH moeten voorzien, of rechtstreeks uit de brondatabank halen).

the_fox zei:

Maar, het niet-vette stuk impliceert dat het gewoon een BI-job is en dat het vette stuk meer op operationele rapportering / opzetten van ETL-jobs slaat. Als je alles samenneemt is het eerder een BI-job met erbovenop wat Python/R.

Want het is ook al een ideale wereld waar alles mooi in het DWH zit en dat er geen operationele rapportering gevraagd wordt aan het BI team (dat ze ofwel in het DWH moeten voorzien, of rechtstreeks uit de brondatabank halen).

Klik om te vergroten...

Ik moet toegeven, ik wist niet dat "BI analist" iets was. Ik wist het verschil tussen een data engineer, een data analist en een data scientist; of toch alleszins het theoretische verschil, maar een BI analist is nieuw voor mij. Zijn er veel bedrijven in België die effectief het onderscheid maken? In mijn huidig bedrijf (~4000 medewerkers en ~60 IT'ers) hebben we 2 man die part-time bezig zijn met datawarehouse en wel wat ETL doen, maar zich vooral bezig houden met datawarehouse en PowerBI, R en Python doen ze niets mee.

Data science is voor mij sowieso te hoog gegrepen, ik was goed in statistiek op het niveau van het middelbaar en hoger onderwijs maar een master in statistiek of wiskunde zat er voor mij nooit in denk ik. Wat ik wel altijd leuk gevonden heb is de zeldzame momenten in mijn huidige functie of in de privé waar ik een spreadsheet kreeg of aan de hand van een databank of andere databron deze kon opvullen met behulp van een script. Waar ik me dan analytisch op kon focussen om daar verbanden en conclusies uit te trekken. Momenteel mis ik sowieso de diepgaande kennis van zowel Excel als programmeertalen of andere tools om dit op een deftige manier te doen, maar die kennis wil ik wel opdoen. Hiernaast heeft het me altijd geïntrigeerd om de gemaakte conclusies te visualiseren, maar opnieuw mis ik hier de nodige kennis van zowat alle tools en programmeertalen om dit op een deftige manier uit te voeren.

Wat me nooit geïnteresseerd heeft is object georiënteerd programmeren, JAVA, .NET, C, om anderen mijn ontwikkelde applicaties te laten gebruiken. Scripting om een enkel doel te bereiken daarentegen kan ik me dagen mee bezighouden. Rapporten aanmaken die anderen moeten gebruiken of vragen, en deze onderhouden, heb ik geen probleem mee. Is dat die side-track die je bedoelt? Want heb geen flauw idee wat een side-track kan zijn. Mijns inziens is data engineering bijgevolg niets voor mij, tenzij ik hier verkeerde conclusies trek?

In mijn job heb ik sowieso nood aan uitdaging, waar ik me kan focussen op een probleem en dit met behulp van m'n analytisch inzicht kan tackelen. Querys en stored procedures schrijven of scripting om dit probleem op te lossen is voor mij iets waar ik me echt kan uitleven. Als je deze zaken leest, is BI analist dan iets dat ik moet ambiëren? En rekening houdende met m'n vorige vraag, is dit effectief een onderscheid die in België in de bedrijfswereld gemaakt wordt? Zo ja op welke vacaturetitels zoek ik dan best en hoe kan ik merken aan de vacaturebeschrijving dat ze effectief iemand zoeken voor de invulling die ik wil?

En de data steward, de data business analyst, ...

Zoveel functies met data tegenwoordig, iets nieuws, fancy en hip. Kunnen de meeste HR-mensen de verschillen zelf wel geven?
Soms vraagt men ook gewoon een qlikview developer.

Het hangt er vanaf met welke data je in aanraking komt.


Ik heb ook al veel datamigraties moeten doen.
Vaak krijg je 'troep' over u heen, een export gemaakt door iemand, en trek uw plan ermee.
Als je dan 200 bestanden hebt met vreemde namen, en immers vreemde kolommen zonder headers. Veel plezier ermee.

Mocht je een fout gemaakt hebben, die vindt men maanden nadien dan wel weer, waardoor je alles even weer moet oprakelen, om een correctie te doen.

Soit, het zal wel van de sector en zo afhangen, die de kwaliteit en hoeveelheid van de data bepaalt.
ALs het heel bewaakt en gestructureerd binnenkomt, en er is documentatie, kan het meevallen. Wordt het mss eentonig na een tijd, maar dat hoeft niet per sé slecht te zijn.

Als het louter bestaande data in een databank visualiseren is, dus rapporten maken, ook niet mis.
Maar dit kan heel ver- en diepgaand zijn. Van simpele query's met nu en dan eens een group by of Union, tot complexe wiskundige formules.
Maar hangt er ook weer vanaf waar je terecht komt.

Weinig data-analisten weten data effectief te analiseren. Bijvoorbeeld nagaan waar de data vandaan komt en hoe die verzameling de assumpties van je distributies en/of toetsen beïnvloedt. Hoewel dat de essentie is, zie je veel te veel mensen ETL en descriptieve visualisaties of aggregaties maken. Kost veel bedrijven veel geld (anderzijds is dat voor veel bedrijven al een hele stap vooruit).

R en Python (en Julia) zijn inderdaad wat de usual suspects qua tools. Standaard database kennis ook. Als je daar wat vlot mee bent, vind je snel een BI of 'data analist' job. Om echt data-analist te worden, zorg je toch best dat je wat kent van onderzoeksopzetten en statistische distributies.