Tien tips voor FME Desktop

31 mei 2017

Ook wanneer je prima uit de voeten kunt met FME Desktop valt er nog altijd wat te leren. Ik geef hier tien tips om je dagelijkse FME werk nog wat makkelijker te maken.

 

1. Ga bewust om met tijdelijke data

Temporary data: Kies de map waarin FME tijdelijke data wegschrijft op een zorgvuldige manier. Als FME workbench crashed met de foutmelding dat er te weinig data beschikbaar is, wordt er vaak foutief van uitgegaan dat het gaat om de bestemming waar men zijn resultaat wilt wegschrijven. Echter, het is vaak juist de tijdelijke folder die vol zit of voor problemen zorgt.

De tijdelijke folder kun je aanpassen door een systeem variabelen toe te voegen (Control Panel > System > Advanced > Environment Variables).

 

Verder is het slim om hier te kiezen voor een locatie die geschikt is om data vlot weg te schrijven, en in te lezen. Het is bijvoorbeeld slim om hiervoor een locatie op een SSD schijf te kiezen (met genoeg beschikbare ruimte).

2. Maak gebruik van de lokale schijf

Let op waar je data vandaan haalt en naar toe het naartoe wegschrijft. Wanneer grote datasets bijvoorbeeld over het netwerk moet worden weggeschreven, kan dit lang duren als het netwerk druk is of er geen goede verbinding is. De snelste manier om data in te lezen en weg te schrijven is op een lokale schijf.

3. Parallel processing

Sommige transformers hebben de mogelijkheid om parallel processing aan te zetten. Dit betekent dat de taak die door de transformer in kwestie moet worden uitgevoerd kan worden verdeeld over meerdere sores.

 

Voor grotere bewerkingen kan dit ervoor zorgen dat de taak significant sneller wordt uitgevoerd. Deze instellingen vereisen wel enige aandacht, want als je meer cores probeert aan te sturen dan je eigenlijk hebt in je computer, kan je het proces juist vertragen.

4. Maak gebruik van .Zip 

Sla je output data direct in een .ZIP bestand op. Dit kan sinds FME Desktop gemakkelijk door de output map te definiëren met .ZIP in het pad. Dat kan dan bijvoorbeeld op de volgende manier C:/data/output.zip/mijndata.

5. Lees data in als point cloud!

Sommige grote datasets zoals .CSV bestanden met miljoenen rijen kunnen er lang over doen om te worden ingelezen in FME. Dit kan enorm worden versneld door het in te lezen als point cloud. FME benadert de data dan op een efficientere manier. Lees er alles over op https://blog.safe.com/2016/05/point-cloud-power/

6. Deel je Readers slim in

De volgorde waarmee FME workbench data inleest word bepaald door de volgorde van de Readers in het navigatie venster. Een inefficiënte indeling kan er bijvoorbeeld voor zorgen dat de workspace trager is dan nodig, doordat transformers lang moeten wachten op een deel van de data.  Denk hier bijvoorbeeld aan de Clipper. Wanneer alle Clippees al bij de transformer zijn, maar de clipper nog moet worden ingelezen, ontstaat er vertraging.

7. System caller

Lukt iets niet met FME? Geen zorgen, start elk ander programma dat je nodig hebt met de SystemCaller! Met deze transformer kun je command-line code aanroepen om bijvoorbeeld je browser te openen of iets anders te doen.

 

8. Maak gebruik van Rcaller

Vind jij de statistieken van de StatisticsCalculator niet toereikend? Probeer dan de RCaller. Hiermee kun je alle functionaliteiten aanroepen die er beschikbaar zijn in de programmeertaal R. Deze wordt vooral gebruik voor het uitrekenen van ingewikkelde statistieken die openbaar beschikbaar zijn voor iedereen.

9. Raadpleeg Nederlandse open data gemakkelijk met FME.

Bijna alle web-services van PDOK zijn gemakkelijk in te lezen met FME. Wil jij dit doen aan de hand van een ruimtelijke selectie, gebruik dan een FeatureReader en gebruik een Spatial Filter met de juiste ruimtelijke afbakening. 

10. Gebruik online data in één van je clouds.

Connect bijvoorbeeld met je Onedrive, Dropbox, of Slack account door het gebruikt door een van de  connector transformers.

 

Heeft u nog vragen?

Vicrea is platinum partner van Safe Software en is dé FME specialist van Nederland. Heeft u hulp nodig met FME? Kan uw team ondersteuning gebruiken? Heeft u behoefte aan een FME training? Of heeft u een andere vraag? Neem gerust contact op met het Geo Competence Center van Vicrea.
FME@vicrea.nl

Deel dit artikel

Lees meer over

fme