Data Reliability Engineer

Oppdragsbeskrivelse:

Dagens dataplattformer skal moderniseres ved at det etableres en ny dataplattform i skyen (Azure) i perioden 2024 til 2028. Dagens løsninger skal bygges på nytt på ny dataplattform for

å ikke ta med seg teknisk- og data-gjeld. Løsningen består av om lag 100 integrasjoner og 450 datasett som i dag benyttes til økonomiske modeller og analyser. Antall brukere er om lag 200.

Moderniseringen er organisert som et prosjekt med en trinnvis implementering av virksomhetsprosesser. Prosjektet vil forvalte produksjonssatte løsninger i på ny dataplattform

i prosjektperioden etter prinsippet «You build it, you run it». Dagens og ny dataplattform vil

leve i parallell mens dagens plattform gradvis fases ut. Det vil være behov for integrasjoner mellom nye og eksisterende løsning i denne perioden.

Til Ny data- og analyseplattform (NDP) har Norges Bank behov for bistand fra en konsulent

i rollen som Data Reliability Engineer. Rollen skal bidra til å sikre stabil, sikker og skalerbar

drift av plattformen gjennom teknisk arbeid med datainfrastruktur, produksjonssetting, automatisering, overvåking, feilhåndtering og datakvalitet.

Rollen er operativ og teknisk. Du vil eierskap for tekniske prosesser samt arbeide hands-on

med feilsøking, kode og automatisering, samtidig som du samarbeider tett med leveranseteam, plattformteam og Data Governance om drift og videreutvikling av plattformen.

ANSVAR OG OPPGAVER

Som Data Reliability Engineer vil du blant annet:

• Bidra til standardisering og beste praksis for utvikling, produksjonssetting, observability

  og drift av datapipelines på tvers av leveranseteamene.

• Utvikle og videreutvikle felles rammeverk, biblioteker, maler og verktøy som gjør det enklere for leveranseteamene å bygge robuste, skalerbare og forvaltbare dataløsninger.

• Eie og videreutvikle driftsprosessen for dataplattformen, inkludert ansvarsfordeling, hendelseshåndtering, eskalering og kontinuerlig forbedring.

• Etablere og videreutvikle overvåking, logging, metrics og alerting, slik at feil og avvik oppdages tidlig og kan håndteres effektivt.

• Definere, følge opp og forbedre sentrale mål for reliability og datakvalitet, som data freshness, completeness, correctness, tilgjengelighet, batchsuksessrate og MTTR.

• Automatisere operative oppgaver og utvikle løsninger som reduserer operasjonell risiko

  og behovet for manuell oppfølging.

• Utvikle robuste mekanismer for retry, restart, recovery og håndtering av avhengigheter

  og feil i datapipelines.

• Bidra til utvikling og forbedring av CI/CD, deployment og releaseprosesser

  for datapipelines og øvrige komponenter på dataplattformen.

• Oppdage og klassifisere produksjonshendelser, varsle riktig leveranseteam og eie koordineringen av hendelsesprosessen fra oppdagelse til avslutning.

• Lede postmortems og følge opp at læring og korrigerende tiltak omsettes i forbedringer

  av plattformen, felles rammeverk og arbeidsprosesser, slik at risikoen for tilsvarende hendelser reduseres.

• Analysere og forbedre ytelse, skalerbarhet, ressursbruk og kostnader i Databricks og Azure.

• Dokumentere felles rammeverk, tekniske avhengigheter, driftsrutiner, feilsøkingsprosedyrer og runbooks.

• Samarbeide tett med leveranseteam, plattformteam, Data Governance

  og andre fagmiljøer for å sikre robuste og forvaltbare løsninger.

Kompetanser

• Erfaring med utvikling, videreutvikling og drift av dataplattformer, datapipelines eller datainfrastruktur som brukes i produksjon.

• God erfaring med Azure og Databricks, eller tilsvarende skybaserte data- og analyseplattformer.

• God forståelse av distribuerte databehandlingsprosesser, batch-prosessering, schedulering, avhengigheter og feilhåndtering.

• Praktisk erfaring med programmering og scripting, fortrinnsvis Python og SQL. Erfaring med gode prinsipper for strukturert kode og automatisert testing.

• Erfaring med overvåking og observability, eksempelvis Grafana, Azure Monitor, Prometheus eller tilsvarende.

• Erfaring med logging, metrics, alerting og praktisk feilsøking av produksjonsproblemer.

• Erfaring med CI/CD, automatiserte deployments og versjonskontroll.

• Erfaring med Infrastructure as Code og automatisering av infrastruktur og driftsoppgaver.

• God forståelse av prinsipper for robusthet, skalerbarhet, tilgjengelighet og operasjonell kvalitet i produksjonssystemer.

Ønskelige kompetanser

• Erfaring med Azure-tjenester knyttet til dataplattformer, eksempelvis Azure Data Factory, Azure Storage, Azure SQL/PostgreSQL, Azure Monitor og Entra ID.

• Erfaring med Databricks Workflows/Jobs, Parquet, Delta Lake og Spark.

• Erfaring med Terraform eller tilsvarende Infrastructure as Code-verktøy.

• Erfaring med Azure DevOps, GitHub Actions eller tilsvarende verktøy for CI/CD og arbeidsflyt.

• Erfaring med etablering og oppfølging av SLI, SLO og SLA for produksjonstjenester.

• Kjennskap til Site Reliability Engineering/Data Reliability Engineering og prinsipper som automatisering, error budgets, toil reduction, observability og blameless postmortems.

• Erfaring fra regulerte eller samfunnskritiske miljøer, eksempelvis finans, forsikring eller offentlig sektor.

• Kjennskap til DORA, ITIL eller tilsvarende rammeverk for operasjonell styring og hendelseshåndtering.

• Erfaring med datakvalitet, validering og automatisert kontroll av data.

• Kjennskap til ServiceNow eller tilsvarende verktøy for incident- og change management.

• Erfaring med tidsserier, statistikk eller andre datatyper og analyseområder

  som er relevante for sentralbankvirksomhet.

Utdanning

• Relevant høyere utdanning, fortrinnsvis mastergrad, innen datateknologi, informatikk, matematikk, statistikk eller tilsvarende. Relevant erfaring kan kompensere for formell utdanning.

PERSONLIGE EGENSKAPER

• Lagspiller som samarbeider godt med utviklere, plattformressurser, data engineers

  og andre fagmiljøer.

• Løsningsorientert og analytisk, med evne til å identifisere årsaken til komplekse

  tekniske problemer.

• Strukturert og i stand til å prioritere og arbeide effektivt ved produksjonshendelser

  og tidssensitive leveranser.

• Tar eierskap til problemer og følger dem gjennom fra identifisering til varig løsning.

• God erfaring med tverrfaglig samarbeid på tvers av team, roller og fagområder.

• Bruker- og produktorientert, med forståelse for at stabilitet, datakvalitet

  og forutsigbarhet er sentrale deler av produktet.

• Gode kommunikasjonsferdigheter på norsk og engelsk, både muntlig og skriftlig.

Omfang og varighet: Fra asap-31.12.26, Opsjon 6 måneder + 6 måneder + 6 måneder

Arbeidssted: Oslo

Intern søknadsfrist: 20.08