FME server upgrade Tips en Tricks

29 juni 2021

FME Server is een krachtig oplossing waarmee je datastromen tussen applicaties kunt automatiseren met behulp van event gebaseerde workflows. Data is hierdoor eenvoudig beschikbaar voor iedereen in de organisatie en indien gewenst buiten de organisatie. De FME-processen zijn eenvoudig te modeleren en te monitoren via een gebruiksvriendelijke web-interface

Er wordt continu gewerkt aan het product (FME en FME Server), zodat het de nieuwste ontwikkelingen volgt en het jouw werk steeds makkelijker maakt.  Zo’n 2 á 3 keer per jaar is er daarom een nieuwe release. Het is verstandig om FME Server regelmatig te upgraden naar een nieuwere versie. Daar zijn 2 redenen voor.

WAAROM REGELMATIG UPGRADEN?

  1. Elke release bevat nieuwe zeer interessante features, die van toegevoegde waarde zijn. In 2019 is bijvoorbeeld Automations geïntroduceerd, wat het automatiseren echt zoveel makkelijker en sneller heeft gemaakt dan notifications. In 2020 zijn de mogelijkheden hiervan uitgebreid en slimmer gemaakt. En sinds 2021 bestaat er een dynamic engine, waardoor je flexibelere bent in workload, en voorbereid en bestand bent tegen piekbelasting.
  2. Hoe langer je wacht, hoe groter de verschillen tussen oud en nieuw, hoe meer effort het kost om alles langs te lopen en bij te werken, en hoe meer kans op afwijkingen.

IS UPGRADEN MOEILIJK? NEE! WIJ GEVEN JE TIPS

Vaak horen wij van klanten dat een FME Server upgrade een hoop voeten in de aarde heeft, en dat dit een hobbel is bij het optimaal kunnen gebruiken van nieuwe functionaliteiten. Een FME Server upgrade hoeft niet moeilijk te zijn als je goed voorbereid het upgrade traject in gaat. Een upgrade naar een nieuwe versie van FME gaat in een aantal stappen over een aantal verschillende onderdelen:

 

  • Installatie (op server): FME Server componenten (core en engines, database, en fileshare)
  • Configuratie (na installatie op de server): koppeling met Active Directory en single sign-on, HTTPS-versleuteling, (reverse) proxies en load-balancers
  • Inrichting (via de web-interface): rechten, rollen en gebruikers, Repositories met workspaces, (netwerk) resources, database connecties, e.d.

In dit artikel nemen we je mee in de voorbereiding, uitvoering van een FME Server upgrade en de nazorg van je inrichting.

 

EEN GOEDE VOORBEREIDING IS HET HALVE WERK

Goed om te weten is dat FME backward compatible is (oude scripts werken in een nieuwe FME-versie). Altijd een goed beginpunt is om te kijken wat er nieuw en veranderd is in een nieuwe versie van FME (Server). Zo kan je bepalen of grote veranderingen zijn doorgevoerd in door jullie veel gebruikte functionaliteiten, de “what’s new” op safe.com of de changelog, die bij elke release staat, vertellen je hier meer over.

Om te kunnen bepalen hoe je FME Server het beste kan upgraden zal je rekening moeten houden met hoe FME Server geïmplementeerd is en aan welke functionele en technische (rand)voorwaarden voldaan moeten worden. Vervolgens stem je daar de upgrade op af, door bijvoorbeeld de volgende vragen te stellen:

  • Is het erg als FME Server voor korte duur offline is?
  • Is er een extra server beschikbaar om in te richten zonder dat de productie omgeving uit moet? Is FME Server volgens een Express installatie, een multi-tier of fault-tollerant manier geïmplementeerd?

Zodra je antwoorden hebt op bovenstaande vragen kan je een inschatting maken van hoeveel tijd en middelen er nodig zijn voor een upgrade en wanneer je de upgrade kan plannen (tijdens een rustig moment bijvoorbeeld).

Bij een upgrade zijn er altijd een aantal basis stappen die je moet doorlopen en er zijn een aantal manieren om FME Server te upgraden, elk met zijn voordeel en nadeel:

  • In-place upgrade
  • Installatie op een andere machine met dezelfde host name
  • Installatie op een andere machine met een andere host name

 

DE BASIS STAPPEN VOOR EEN UPGRADE

Het is altijd verstandig om 1) te beginnen met een volledige back-up of snapshot te maken van de server(s) waar de onderdelen van FME Server op staan geïnstalleerd. Om 2) bestanden die in de resources map op een andere (netwerk)locatie staan veilig te stellen, om daarna 3) een backup te maken van de FME Server configuratie (FME Server Interface > Admin > Backup). Let daarbij op dat grote bestanden in de resources folder ook meegaan in de backup, dus haal deze uit de resources folder om de tijd te beperken van het backup proces. En als laatste 4) dat je op de server waar FME Server staat je cruciale configuratie ook veiligstelt (HTTPS-config en andere configuratie, en Tomcat keystore met certificaten).

Nadat de basisstappen zijn doorlopen kan je FME Server op verschillende manieren gaan upgraden, aan het eind staat hier een korte beslisboom voor.

 

UPGRADE: IN-PLACE

Na de basis stappen wordt FME Server gedeïnstalleerd en opnieuw geïnstalleerd naar laatste versie. Op de server wordt de configuratie teruggezet en via een backup wordt de inrichting ingelezen.

Voordelen: snel te implementeren, eenvoudig de configuratie van de server over te nemen

Nadelen: FME Server is tijdelijk niet beschikbaar tijdens het upgraden (halve dag)

 

UPGRADE: ANDERE MACHINE, ANDERE HOST NAME

FME Server wordt op een andere machine geïnstalleerd, met een andere hostname, de configuratie wordt overgenomen, een nieuw certificaat wordt ingelezen in de Tomcat Keystore, en de backup van productie wordt hier ingelezen, dan zet je de licentie over naar de nieuwe omgeving, pas je alle verwijzingen naar FME Server in andere applicaties aan en dan kan de productie omgeving uit.

Voordelen: FME Server blijft draaien

Nadelen: wel extra aanpassing aan alle referenties naar de hostname, firewalls aanpassen, etc.

 

UPGRADE: ANDERE MACHINE, ZELFDE HOST NAME

FME Server wordt op een andere machine geïnstalleerd, met dezelfde hostname als de productie omgeving (deze is alleen eerst niet benaderbaar omdat een host al in gebruik is), de configuratie wordt overgezet naar de nieuwe server en de backup van productie wordt hier ingelezen, dan wordt in de DNS de verwijzing omgezet naar de nieuwe omgeving, wordt de licentie omgezet naar de nieuwe omgeving en dan kan de productie omgeving uit.

Voordelen: FME Server blijft draaien, geen extra aanpassing alle referenties naar de hostname

Nadelen: DNS name aanpassing noodzakelijk, mogelijk aanpassingen in firewalls, e.d.

 

DE INRICHTING UPGRADEN

Nadat de FME Server onderdelen een upgrade hebben gehad, is het tijd om de inrichting na te lopen om te kijken of alles nog werkt:

  • Zet grote bestanden die buiten de FME Server backup gebleven zijn weer terug in de resources mappen
  • Controleer AD koppeling door een nieuwe user toe te voegen, of in te loggen met een bestaande AD user
  • Controleer of Single Sign-on nog steeds werkt als dat ingesteld stond
  • Test Workspaces, schedules en Automations
  • In het zeldzame geval dat een Workspaces of Automation niet meer werkt, aanpassen waar nodig

Als vastgesteld is dat alles weer werkt, dan kan begonnen worden aan het upgraden van de workspaces (voor het gebruik van de laatste reader/writer en transformer versies) en het gebruiken van nieuwe FME Server functionaliteiten (Automations, Dashboards, of bijvoorbeeld Azure AD in aankomende release 2021.2).

Het upgraden van Transformers en Readers/Writers doe je in FME Workbench, door een workspace te openen en in de Navigator bij “Upgradable Transformers” te kijken welke Transformers nieuw zijn. Hier kan je zien per soort transformer wat de veranderingen zijn (rechtermuisknop “Show Changes”). Je kan dan individuele Transformers één-voor-één upgraden door te beoordelen en in te stellen wat de paramaters moeten zijn bij de nieuwe versie van de transformer. Readers en Writer kan je upgraden door rechtermuisknop in de navigator de Reader/Writer (met eventueel de feature type definitie) te upgraden, let hierbij wel op eventuele instellingen die opnieuw moeten worden ingesteld voor Reader/Writer (zoals bijv. een SQL where-clause).

 

EEN FME SERVER UPGRADE HOEFT NIET INGEWIKKELD TE ZIJN

Het upgrade proces van FME Server kan met een goede voorbereiding en duidelijk onderscheid tussen installatie, configuratie en inrichting voorspelbaar en eenduidig wordt uitgevoerd. Door van tevoren te bepalen waar de kritieke punten en afhankelijkheden zitten, kan je deze risico’s beheren en op de juiste manier op acteren.

FME is in-principe backward compatible, wat wil zeggen dat scripts die gemaakt zijn in een oude versie blijven werken in een nieuwere versie van FME (eventuele bugs daargelaten). Afhankelijk van de hoeveelheid processen kost de nazorg in verhouding de meeste tijd. De upgrade van de FME Server componenten kan een eenvoudige exercitie zijn om de laatste functionaliteiten te gebruiken, door eenvoudig gebruik te maken van de tips en tricks in dit artikel. Na het FME Server gedeelte kan het upgraden van alle losse scripts en Transformers/Readers/Writers in een rustig vervolgtraject gedaan worden om zo ook daar te genieten van de laatste (performance) verbeteringen en vernieuwingen.

 

MEER TIPS EN TRICKS ONTVANGEN?

Schrijf u nu in voor de FME nieuwsbrief. Ontvang maandelijks het laatste nieuws met bijbehorende tips en tricks voor FME gebruik.

Deel dit artikel