Data is overal. Het lijkt het meest urgente en tegelijkertijd ongrijpbare thema van deze tijd. Trendwatchers buitelen over elkaar heen om te duiden hoe organisaties het ‘nieuwe goud’ moeten ontginnen. De trends en ontwikkelingen vliegen ons om de oren. Het is een uitdaging om modegrillen te onderscheiden van concepten die daadwerkelijk relevant zijn voor de ontwikkeling van een toekomstbestendige organisatie. In dit vierluik nemen we je mee in de zin en onzin van de datatrends van 2023. Wat zijn deze trends, hoe moet u deze op waarde schatten en wat is er nodig om er een succes van te maken?

In dit deel vervolgen we met data engineering en tool development. We nemen je mee in de 11 belangrijkste trends die wij zien op het gebied van data engineering en tool development in 2023. Daarnaast geven we een inkijkje in de urgentie en complexiteit van implementatie van deze trends. Per trend zal een korte toelichting worden gegeven. Daarnaast worden de belangrijkste elementen beschreven waar organisaties mee aan de slag moeten om de beloftes van de trend te verwezenlijken.

Het vorige deel in deze serie gaf een overzicht van de trends op het gebied van datamanagement, het volgende deel richt zich op het gebied van data analytics om vervolgens af te sluiten met bredere duiding van de gevolgen van deze trends voor organisaties.

1. Beslissingsintelligentie

Is het mogelijk om besluitvorming te automatiseren? Technologisch gezien is dit haalbaar door puur naar data te kijken en op basis daarvan automatisch besluiten te nemen. Een voorbeeld hiervan zijn geautomatiseerde handelssystemen in de financiële sector, die op basis van marktgegevens automatisch transacties uitvoeren. Automatische besluitvorming in deze trend combineert het opslaan van informatie in de data fabric met analytics, applicaties, en kunstmatige intelligentie. Hiervoor dient het besluitvormingsproces gemodelleerd te worden, die vervolgens als input gebruikt kan worden voor het automatiseren van besluitvorming.
                De kans is dat we nog niet zo ver zijn, zeker omdat sommige besluitvorming menselijke verantwoording behoeft. De trend identificeert wel dat data-gedreven werken en assistentie van kunstmatige intelligentie gebruikt kan worden als input om besluiten te faciliteren. De eerdergenoemde lagen data-analyse, data fabric en applicaties spelen hierbij een belangrijke rol. Elke laag draagt bij aan data-gedreven werken en besluitvorming op basis van data. Desondanks zal het zal nog wel even duren voordat computers volledig autonoom besluiten zullen nemen.

2. Hyperautomatisering

Daar waar de vorige trend zich richtte op het automatiseren van besluiten, richt deze trend zich op het automatiseren van alles dat geautomatiseerd kan worden. Binnen data engineering omvat dit het georkestreerde gebruik van meerdere technologieën, hulpmiddelen of platforms om zoveel mogelijk bedrijfs- en IT-processen te identificeren, door te lichten en te automatiseren. Een relatie met tool development is ook aanwezig omdat hierin de daadwerkelijke programmering plaatsvindt voor de automatisering.
                Het doel van hyperautomatisering is niet om alle medewerkers te vervangen, maar om ze in staat te stellen om zo efficiënt mogelijk hun werk te doen en eentonige taken over te laten aan geautomatiseerde tools. Dit verhoogt de productiviteit en verbetert de kwaliteit van de resultaten.

3. Edge expansie

Deze trend heeft zijn oorsprong in de wereld van Internet of Things (IoT). Hierbij voeren sensoren en apparatuur op locatie alvast bepaalde processing of analyse uit alvorens de data verstuurd wordt. Dit principe van processing en analyse buiten datacenters of de cloud wordt steeds vaker toegepast, ook als het niet om fysieke meetpunten gaat.
                Bij het verwerken van data op locatie en op meerdere plekken is het belangrijk dat data pipelines en bijbehorende architectuur hier rekening mee houden, maar ook organisatorisch zorgt dit voor verandering. Data zal vaker real-time zijn en de aanpak van verwerking en analyse zal meer een “black-box” karakter hebben. Het is belangrijk om deze processen goed te documenteren zodat analisten kunnen beoordelen of de binnenkomende data voldoende betrouwbaar en bruikbaar is. Dit vereist een organisatorische verschuiving naar een transparante en gestructureerde benadering van dataverwerking en analyse.

4. Gedistribueerde data-ecosystemen

Ondanks dat organisaties stappen zetten om data op een centrale plek op te slaan en daar ook alle analyse en applicaties samen te voegen, verschuift de focus naar meer dynamische en gedecentraliseerde vastlegging en levering van data. Dit omvat de zojuist genoemde edge expansie maar ook het verschil tussen on-premise en cloud systemen en de verschillende functionaliteiten die deze brengen, maar wel samen gebruikt worden.
                Systemen waar data verzameld, gemanaged, en geanalyseerd worden zijn in grotere organisaties vaak verschillend georganiseerd qua locatie. Het hoeft niet altijd zo te zijn dat een volledig programma opgezet moet worden om deze te centraliseren. In plaats daarvan behoud je de huidige gedistribueerde structuur, maar zorg je voor synchronisatie en management van deze architectuur, zodat deze samen kunnen werken.

5. Industrie specifieke cloud platformen

We zijn allemaal bekend met de grote cloud platformen zoals Microsoft Azure, Amazon Web Services en het Google Cloud Platform. Deze leveren voornamelijk generieke cloud dienstverlening, maar voor specifieke industrieën kan deze algemene functionaliteit limiterend zijn. Er ontstaan meer services die specifieke kenmerken van industrieën dienen, waar bijvoorbeeld Internet of Things (IoT) en Geographic Information Systems (GIS) vaak industrie specifieke technologieën zijn.
                Dit betekent niet dat je meteen op zoek moet gaan naar die ene leverancier die specifiek voor jouw industrie een cloud platform levert. Zoals in de trend hierboven benoemd, is het best mogelijk dat meerdere systemen naast elkaar kunnen werken. Daarnaast zijn de platformen van de industrie specifieke leveranciers vaak ook te integreren met de grote partijen. Voor veel organisaties is een start met een generiek platform de beste keuze. Zodra je beperkingen tegenkomt, is het handig om op zoek te gaan naar de partij die je kan helpen om die beperkingen te verhelpen met additionele services.

6. Platform engineering

Deze trend richt zich voornamelijk op het ontwikkelen van tools en software, en specifiek op het bouwen, opereren en beschikbaar maken van een platform die ontwikkelaars in staat stelt om via self-service ontwikkeling uit te voeren. Dit platform biedt daarbij herbruikbare componenten en tools voor ontwikkelaars.
                Toch kan je deze trend veel breder zien dan development alleen. We zien dat veel stappen gezet worden in het beschikbaar maken van data en tools waarbij herbruikbaarheid centraal staat. Je kunt platforms opzetten die zorgen voor herbruikbaarheid van data, analysetools en gegenereerde resultaten. Dit leidt tot een verbetering van kennisdeling en vermindering van rework.

7. Moderne softwareontwikkeling

Is dit een nieuwe trend, noemen we niet alles al “modern”? En zijn we niet al jaren bezig met softwareontwikkeling? Het antwoord op beide deze vragen is “ja”, maar toch moet softwareontwikkeling zichzelf elke keer weer moderniseren vanwege verschuivingen in technologie. Onder deze naam hebben we meerdere trends binnen softwareontwikkeling verzameld, waaronder gebeurtenis-gestuurde applicaties, serverless computing, selfservice portals voor ontwikkelaars, browser-gebaseerde ontwikkelomgevingen en OpenTelemetry.
                Deze nieuwe technologieën zorgen ervoor dat softwareontwikkeling ook anders uitgevoerd wordt. Serverless computing en browser-gebaseerde ontwikkelomgevingen worden steeds populairder, wat zorgt voor een andere manier van het structureren en ontwikkelen van software. Developer portals, zoals in de vorige trend benoemd, maar ook OpenTelemetry, zorgen er voor dat ontwikkelaars een betere ervaring en inzicht krijgen in hun werk en het hergebruik van code.

8. Samenstelbare architectuur

Een data architectuur beschrijft het kader voor hoe data opgeslagen, geconsumeerd, geïntegreerd en gemanaged wordt door middel van de verschillende technologieën. In een samenstelbare architectuur zijn deze systemen niet specifiek vastgelegd, maar omvat het de manier van het ontwerpen. Hierin staan samenstelbaarheid en combineerbaarheid centraal. Het geheel van systemen moet modulair worden opgesteld, elk systeem dient autonoom te kunnen opereren, pipelines moeten goed georkestreerd worden en data en tools dienen gemakkelijk ontdekt te kunnen worden.
                Deze principes zijn voornamelijk van belang wanneer meerdere verschillende systemen gecombineerd worden, zoals benodigd voor de eerder benoemde trends gedistribueerde data-ecosystemen en industrie-specifieke cloud platformen. Veelal worden de hoofdlijnen van een samenstelbare architectuur al wel meegenomen in een ontwerp, je gaat tenslotte met meerdere systemen werken. Een goede evaluatie op de principes autonomie, orkestratie en ontdekking zorgt ervoor dat management, vervanging, en uitbreiding een stuk makkelijker worden.

9. Metadata-gedreven data fabric

In een data fabric worden pipelines en services geïntegreerd en wordt metadata toegevoegd om een flexibele data omgeving te creëren. Metadata is data over de data, welke bijvoorbeeld inzicht geeft over de bruikbaarheid van data en wie je kan benaderen voor meer informatie over de dataset. In deze trend wordt de metadata zelf als databron gezien, die dan ingezet kan worden om data-eigenaren te waarschuwen over kwaliteitsproblemen, maar ook om gebruikers gerelateerde datasets aan te bevelen. Deze trend is daarom ook te vinden in de top 10 datamanagement trends, het vorige deel van deze trends serie.
                Het vinden en benutten van de juiste data is een van de uitdagingen wanneer er sprake is van gedistribueerde databronnen. Door een data fabric en de bijbehorende metadata in te zetten en het gebruik van databronnen te monitoren, kan een geautomatiseerd systeem worden opgezet dat informatie combineert en datasets aanraadt aan gebruikers. Dit vergroot het vertrouwen en het gebruik van de beschikbare data binnen een organisatie.

10. Superapps

We hebben allemaal een grote verzameling aan apps op onze telefoons en tablets staan, en ook onze Windows computer begint nu bepaalde programma’s een app te noemen. Een superapp is niet hetzelfde als een besturingssysteem zoals Windows, maar omvat één applicatie die eindgebruikers (klanten, partners of werknemers) een reeks aan functies plus toegang tot onafhankelijk gemaakte mini-apps biedt. Er zijn nog maar weinig echte superapps, maar de meest bekende is de Chinese WeChat, welke startte als een chatapplicatie maar waar men nu ook overal in China mee kan betalen. Visies voor superapps zijn er ook, bijvoorbeeld voor Twitter. Tenslotte zou je kunnen zeggen dat de meeste organisaties met Microsoft Teams al met een superapp werken.
                Voor toolontwikkelaars heeft deze trend het effect dat ze moeten overwegen of een applicatie een plaats heeft of kan krijgen in een superapp, in plaats van altijd een standalone applicatie te ontwikkelen. Vooralsnog zijn de meeste superapps op consumenten gericht en heeft het nog niet zo veel effect op organisaties, maar een gedegen keus voor het maken van providers of platforms is belangrijk omdat je snel vastzit aan een specifieke provider.

11. Metaverse

Er wordt veel gepraat over en verwacht van de metaverse, maar deze trend staat nog in de kinderschoenen. Het doel van de metaverse is het creëren van een digitale wereld waarin alle functionaliteiten van het echte leven een plek hebben door middel van virtual reality. Dit kenmerkt dan ook deze trend: de verschuiving van functionele focus naar gebruikerservaring en interactie (UX/UI) met een hoog visueel gehalte.
                In het kader van data engineering is deze trend belangrijk in dat het de grens tussen de virtuele en digitale wereld vervaagt. Het mogelijk maken van de metaverse, of delen daarvan, vereist alle elementen van data engineering om data te vergaren, structureren, organiseren, opslaan, en beschikbaar te maken. In het kader van toolontwikkeling moeten resultaten voornamelijk visueel worden gepresenteerd, met gebruikerservaring en interactie als belangrijke aspecten.
                Ook al is de metaverse op zichzelf nog ver weg, veel organisaties zijn nu al bezig met aspecten hiervan. Het principe van een digitale tweeling, waarbij een asset in de fysieke wereld een digitale kopie heeft voor bijvoorbeeld beheer en onderhoud, wordt al veelvuldig ingezet. Organisaties kunnen nu al stappen zetten door in hun ontwikkelingen en gebruik van data de eindgebruiker centraal te stellen en verwachtingen goed te managen.

De hierboven genoemde trends verschillen van elkaar in de mate hoe urgent en complex ze zijn. Om de relatie inzichtelijk te maken zijn de trends met elkaar vergeleken op deze twee assen. Daarnaast is gekeken in hoeverre deze trends verplicht zijn of bijdragen aan het onderscheidend vermogen van een organisatie. Dit laatste is gedaan door de trends in te delen in drie categorieën:

  • Voortbestaan: het opvolgen van de trend is nodig om het voortbestaan van de organisatie te garanderen. Dit kan voortkomen uit regelgeving of omdat alle organisaties in een sector dit al gerealiseerd hebben.
  • Volwassen worden: het opvolgen van een trend toont het volwassen worden van een organisatie op het gebied van datamanagement.
  • Vooroplopen: het opvolgen van de trend geeft een onderscheidend vermogen voor de organisatie ten opzichte van vergelijkbare organisaties.

Als gekeken wordt naar de urgentie en complexiteit van de verschillende trends ten opzichte van elkaar is beslissingsintelligentie de meest urgente, vanwege het feit dat automatisering en beslissingsondersteunende systemen de meeste waarde zullen bieden aan organisaties. De meest complexe trend is de metaverse, waarbij de daadwerkelijke invulling nog onbekend is en veel technologieën moeten samenwerken voordat dit succesvol zal zijn.

Naast deze trends op het gebied van data engineering en tool development zijn trends op het gebied van data analytics van belang. Deze trends en hoe ze zich verhouden tot de trends op het gebied van data engineering en tool development zullen in komende blogs worden toegelicht. Mocht u in de tussentijd meer willen weten over hoe deze trends toegepast kunnen worden voor uw organisatie? Neem dan gerust contact op om hierover met ons in gesprek te gaan.

Contact

Joost Kuckartz
Senior Consultant
joost.kuckartz@bearingpoint.com