16 overheidssites naar 1 rijksbrede overheidssite

Op 31 maart 2010 is de eerste versie van Rijksoverheid.nl live gegaan. Rijksoverheid.nl vervangt in 2010 de websites van de ministeries, Regering.nl en Postbus51.nl. Deze gemeenschappelijke website zal de Rijksoverheid herkenbaarder en toegankelijker maken. Elk ministerie had voorafgaand aan de migratie zijn eigen website met een eigen redactie, content management systeem en processen. De doelstelling is om één gemeenschappelijke website voor beleidsinformatie te creëren waarin de content van de bestaande websites is ondergebracht. Er is gekozen voor het open source CMS Hippo. Wanneer de content een eigen plek heeft gekregen binnen Rijksoverheid.nl gaat de site van het ministerie op zwart.

Screenshot - Rijksoverheid.nl

Een belangrijk aspect van het project is de migratie van de content van de verschillende ministeries. Het betreft in totaal zestien websites en er is voor gekozen om de migratie samen te lopen met de grote releases van Rijksoverheid.nl. Elke kwartaal in 2010 is er nieuwe functionaliteit toegevoegd en is de content van een aantal departementale sites gemigreerd en zijn ze aansluitend op zwart gegaan.

  • Eerste release 31 maart 2010
    Postbus 51, Regering.nl, Ministerie van AZ, Ministerie van EZ, Ministerie van VWS en het Ministerie van Jeugd en Gezin.
  • Tweede release 1 juli 2010
    Ministerie van Justitie, Ministerie van BZK en Ministerie van V&W.
  • Derde release 1 oktober 2010
    Ministerie van SZW en Ministerie van VROM
  • Vierde release 16 december 2010
    Ministerie van BZ, Ministerie van Defensie, Ministerie van LNV en Ministerie van Financien

De departementale websites gebruikten onder andere Green Valley, I-Park, Viadesk, Tridion, Iprox als CMS.

Project structuur

Het project ONS heeft het project zelf uitgevoerd en heeft via een mantel van het Ministerie van Algemene Zaken migratieconsultants van Xillio ingehuurd om de geautomatiseerde contentmigratie uit te voeren.

Pilot

Voorafgaande aan de migraties is een tiendaagse pilot uitgevoerd waarbij de content van MinVWS.nl en Postbus51.nl in een vooraf bepaald XML formaat is opgeleverd. Daarnaast zijn er XSLT’s ontwikkeld die de XML omzetten naar HTML pagina’s, waardoor de XML bestanden leesbaarder zijn voor de testers.

Inventarisatie

Na de succesvolle pilot is er inventarisatie gestart waarbij van elk ministerie de contenttypes, zoals nieuwsberichten of kamerstukken, volledig zijn beschreven. Per ministerie en informatietype is de metadata en zijn de velden in kaart gebracht en zijn er diverse overzichten en matrices opgesteld waarin op ministerie-, contenttype-, metadata- en veldniveau de overeenkomsten en verschillen zichtbaar zijn. De inventarisatie is daarnaast gebruikt als extra input voor de functionele en technische specificaties van Rijksoverheid.nl.

Mapping

Er is per ministerie op contenttype en veldniveau een mapping opgesteld. Waar nodig zijn voor de contenttypes en velden mappingregels toegevoegd. Deze liepen uiteen van conversielijsten voor het automatisch koppelen aan onderwerpen, ministeries en bewindspersonen (gedurende het project is er een nieuwe kabinet aangetreden) tot het opstellen van regels voor het toekennen van verplichte metadatavelden en omzetten naar het juiste formaat. Rijksoverheid.nl gebruikt OWMS (Overheid.nl Web Metadata Standaard).
Daarnaast heeft de mapping nog onvolkomenheden in functionele en technische specificaties aan het licht gebracht die, omdat het het zo vroeg in het project was, met weinig impact op de planning en werkzaamheden konden worden aangepakt.

Verrijking

Er waren grote verschillen tussen de mate waarin de ministeries de OWMS hadden geïnterpreteerd en geïmplementeerd. Rijksoverheid hanteert een uitgebreide metadataset, op de ministeriesites werden verschillende lijsten in verschillende formaten gehanteerd en metadata was verborgen in documenten of alleen beschikbaar in de context. Tijdens de migratie is content verrijkt met de metadata die is verzameld en geconverteerd naar het strikte formaat van Rijksoverheid.nl en Hippo CMS.
De content van de ministerie websites is omgezet naar XML. Deze XML wordt verstuurd naar de Hippo importer die tijdens het project in nauwe samenwerking is ontwikkeld. De importer importeert de XML in Hippo CMS en publiceert de content, desgewenst, automatisch.

Opschoning

Op de departmentale websites waren in de regel soortgelijke contenttypes aanwezig, bijna elk ministerie heeft bijvoorbeeld kamerstukken, maar deze vertonen qua opzet en presentatievorm enorme verschillen. OCW had alleen een lijst met PDF’s, EZ hanteerde voorlooppagina’s met daarbij een bijlage in PDF vorm en AZ toonde een deel van de kamerstukken alleen in HTML. Tijdens migratie zijn de verschillende vormen omgezet naar de structuur die Rijksoverheid hanteert voor kamerstukken. Daarnaast zijn onder andere de Word en Excel documenten omgezet naar PDF.

De gemigreerde content is op diverse manieren opgeschoond zodat het voldoet aan de standaarden van de Rijksoverheid. De content op de ministerie websites bestond vaak uit één blok HTML. Tijdens de migratie is de content opgedeeld in verschillende blokken voor paragrafen, afbeeldingen en video’s.  Dit is herkend en als aparte blokken aan de importer aangeleverd.

De content wordt in een SOAP bericht verstuurd naar de Hippo importer. Dit SOAP bericht vereist, net zoals Hippo CMS zelf, valide XML en de HTML is omgezet naar valide XHTML met de juiste encoding.
Naast opschoning van de inhoud van de HTML is de contentset zelf ook opgeschoond. Er zijn diverse regels op basis van bijvoorbeeld documentdatum, context of contenttype toegepast om de contentset op te schonen.

Bekijk hier een video van de migratie van Postbus 51.

Diverse migratiescenario’s

Er zijn verschillende migratiescenario’s toegepast bij de ministeries.

  • Enkele ministeries gingen uit van een big bang migratie. De content werd één dag voor het op zwart gaan van het desbetreffende ministerie volledig gemigreerd. En in de laatste uren voor het op zwart gaan zijn de laatste verschillen gemigreerd.
  • De content werd enkele weken tot 1,5 maand voor het op zwart gaan gemigreerd, in de periode tot de livegang zijn bijvoorbeeld elk half uur deltamigraties uitgevoerd die de nieuw toegevoegde documenten van de oude site migreerden naar Rijksoverheid.nl
  • In het laatste scenario is er een eenmalige migratie van de volledige content uitgevoerd, daarna is de site voor de bezoekers op zwart gegaan en wordt de content continu gesynchroniseerd. Het oude CMS bestaat namelijk uit een aantal complexe processen die geleidelijk overgaan naar het CMS van Rijksoverheid.nl. Tot die tijd wordt elke wijziging, zoals het toevoegen of verwijderen van een document of het wijzigen van een bestaand document automatisch doorgevoerd in het Hippo CMS.

De eerste migratie van 31 maart ging gepaard met de livegang van Rijksoverheid.nl, maar de opvolgende migraties werden (na diverse migraties naar test- en acceptatieomgevingen) direct gemigreerd en gepubliceerd op de live omgeving. Dit hield dat er geen ruimte was voor fouten, elke fout was direct beschikbaar op de site en te zien voor de vele bezoekers.

Interne links

Tijdens de migratie waren er twee type interne links. De interne links binnen een ministerie website en de, voorheen externe links, tussen ministeries. De links zijn omgezet en voorzien van extra informatie zodat de Hippo importer deze links kon reconstrueren tijdens de migratie.
De content is direct gemigreerd naar en gepubliceerd op de live omgeving van Rijksoverheid.

Documenten en afbeeldingen

De documenten en afbeeldingen zijn geëncodeerd zodat ze in het XML SOAP bericht mee worden verzonden kunnen worden. Uit de context van de documenten en afbeeldingen en uit de documenten en afbeeldingen zelf is de metadata geëxtraheerd en omgezet naar het juiste formaat. De video’s worden niet opgeslagen in het CMS van Rijksoverheid, maar staan bij Rijksoverheidsvideo. Tijdens de migratie is de metadata van de video herkend en omgezet naar het juiste formaat.

Relevante informatie

Gerelateerd