W przypadku wykorzystywania oprogramowania IDL w środowiskach klastrowych, wykorzystywany jest IDL Engine dla środowisk obliczeniowych. IDL Engine może być zarządzany przez Geospatial Services Framework (GSF), który jest komponentem opartym o architekturę dla przetwarzania chmurowego.


IDL Engine umożliwia wykonywanie zadań bazujących na środowisku języka IDL. Zwykle są to indywidualne zadania użytkownika, wykonujące przetwarzanie danych w oparciu o procedury IDL.
Schemat licencyjny przetwarzania działa w oparciu o dystrybuowanie i wykonywanie prekompilowanych procesów, dlatego wymagane jest środowisko programistyczne IDL (wersja desktopowa), celem edycji kodu i możliwości zmian w workflow i zadaniach.

Licencjonowanie

GSF jest licencjonowany w modelu site, tj. obsługującym całe środowisko rozproszone klienta. Możliwym jest wykorzystywanie oprogramowania przez wielu użytkowników w sposób równoległy. Każdy z użytkowników, który należy do grupy GSF, może wykonywać sekwencyjnie zadanie po zadaniu, wykorzystując wszystkie zasoby sprzętowe (CPU, GPU) korespondujące z nodem. Po zakończeniu przetwarzania, rezultaty są przekazywane do managera zadań, pozwalając na rozpoczęcie wykonywania następnego zadania znajdującego w kolejce.

Licencje IDL Engine są rozumiane jako możliwość wykonywania równoległych procesów i dodatkowo wymagają środowiska Geospatial Services Framework (dostępnego oddzielnie). Pojedyncze licencje IDL Engine pozwalają na uruchomienie do 10 jednoczesnych procesów. W celu uruchomienia większej niż10 liczby procesów równoległych należy nabyć stosowną liczbę licencji IDL Engine.

Wielowątkowość i przetwarzanie równoległe

Oprogramowanie IDL wspiera wielowątkowość tj. może wykorzystywać wiele procesorów systemu w celu przyspieszenia przetwarzania obliczeń. W zależności od rozmiaru zadania, IDL automatycznie decyduje kiedy użyć zasobów wątkowych maszyny.
Więcej na ten temat: http://www.harrisgeospatial.com/docs/The__Thread_Pool.html

Użytkownik może zrównoleglić procedury IDL poprzez użycie funkcji IDL_IDLBRIDGE.
Więcej tu: https://www.harrisgeospatial.com/docs/IDL_IDLBridge.html

Oprogramowanie GSF wprowadza orkiestrację dla wykonywanych zadań w klastrze. Manager zadań steruje kolejką oczekujących zadań i kieruje je do wykonania na zasoby dostępne z perspektywy sprzętowej licencyjnej.

Moduły

Moduły GFS zawiera następujące, gotowe do użycia moduły:

• Request Handler – zawiera REST API, umożliwiające podłączanie się z użyciem protokołu HTTP, w celu inicjacji zadań, pobieranie statusów i dostęp do zasobów
• Parameter Mapper – mapuje zasoby i komunikuje (wraz z translacją) z odpowiednimi źródłami danych takimi jak Amazon 3S, GeoServer WCS i ENVI
• Engines – mapuje i wykonuje zadania poprzez implementację modułu JavaScript i dostępnego API
• Route Mapper – pozwala kolejkować określone zadania, procesy i przepływy prac
• Workspace Manager – tworzy i zarządza plikami roboczymi dla każdego z zadań, które mogą być dystrybuowane lokalnie oraz współdzielone poprzez wykorzystanie zasobów chmurowych
• Job Manager – zatwierdza do wykonywania zadania wraz z parametrami

Wymagania systemowe

Do integracji z GDF może być użyty dowolny klient HTTP. GSF pozwala na użycie standardowego protokołu „http://REST”, umożliwiającego równoczesny dostęp poprzez cienkiego klienta (przeglądarka, mobilnie).

GSF może być umieszczony na serwerze wieloprocesorowym lub w środowisku klastrowym (wielo nodowym/serwerowym). Rekomendowane jest używanie GSF razem z wysokowydajnymi zasobami zapisu/odczytu danych. Minimalne wymagania są następujące:

• Windows Server 2012 lub Linux (Centos/Red Hat)
• 8-16 cores CPU (lub lepszy)
• 64 GB RAM (lub lepszy)
• minimum 4-5 TB przestrzeni dyskowej (w zależności od danych), łącznie z szybki lokalnym zasobem dyskowym (dyski SSD)
• szybkie łącze Ethernet

Opis techniczny oraz pomoc online dla systemu GSF dostępne są na stronie producenta
https://www.harrisgeospatial.com/docs/routines-174.html