Zlecanie zadań
W ogólności zlecanie zadań poprzez QCG-Icon sprowadza się do wykonania 4 kroków:
- Wybrania głównego pliku wejściowego dla zadania (obowiązkowo).
- Dołączenia dodatkowych plików wejściowych do zadania (opcjonalnie).
- Określenia parametrów dla zadania (opcjonalnie - w przypadku nie podania wartości dla parametrów obowiązkowych, są one ustawiane na domyślne).
- Kliknięcia przycisku Zleć w oknie zlecania zadania. (obowiązkowo)
Wybór pliku do zlecenia
Zlecanie zadań w QCG-Icon zostało zintegrowane z systemem Windows. Po zainstalowaniu QCG-Icon, dla plików o rozszerzeniach odpowiadających wspieranym przez QCG-Icon aplikacjom, w menu kontekstowym eksploratora Windows została dodana akcja Zleć zadanie.
Użytkownicy mają także możliwość wybrania pliku do zlecenia korzystając z opcji Plik -> Zleć zadanie... z menu głównego programu lub wykorzystując opcję Zleć zadanie... dostępną w menu kontekstowym po kliknięciu w ikonę programu QCG-Icon na tacce systemowej:
Ponadto, dla zadań już raz zleconych, dostępne są akcje Zleć ponownie oraz Zleć ponownie... w menu kontekstowym tabeli zadań (zostaną utworzone nowe zadania, wyniki już obliczonych zadań nie zostaną nadpisane):
Zlecenie prostego zadania
Niniejsza sekcja prezentuje proces zlecania bardzo prostego zadania wykorzystującego pakiet MATLAB. Do demonstracji użyto skryptu simplePlot.m
- Aby rozpocząć proces zlecania zadania, należy kliknąć prawym przyciskiem myszy na główny plik zadania i wybrać akcję Zleć zadanie... lub wybrać ten plik z poziomu programu QCG-Icon:
- Po wybraniu pliku użytkownikowi zostanie pokazane okno zlecania zadania:
- Okno zlecania zadania pozwala m.in. na określenie dodatkowych plików wejściowych, a także na zdefiniowanie szeregu parametrów dla zadania, np. określających wymagania zasobowe. Szczegółowy opis poszczególnych parametrów zawarty jest w dalszej części rozdziału.
- Ponieważ prezentowane zadanie jest wyjątkowo proste nie ma konieczności dołączania do niego plików, jak również nie jest konieczna modyfikacja wartości większości z parametrów. Należy mieć jednak na uwadze, że jeśli żaden grant nie został oznaczony jako domyślny, konieczne będzie wybranie jednego z dostępnych grantów. Zaleca się także zmniejszenie wartości parametru Czas obliczeń do kilku minut, co spowoduje skrócenie czasu oczekiwania w kolejce.
- Gdy parametry zostaną odpowiednio ustawione można zadanie zlecić poprzez kliknięcie Zleć zadanie. W tym momencie, QCG-Icon uwzględniając ustawienia parametrów, rozpocznie proces zlecania zadania na jeden z zasobów dostępnych w ramach infrastruktury.
- W przypadku nieważnego certyfikatu proxy, QCG-Icon może poprosić o hasło do certyfikatu użytkownika, w celu wygenerowania nowego certyfikatu proxy
- Postęp zlecania zadania jest na bieżąco prezentowany:
- Po zleceniu zadania, w momencie jego zakolejkowania, zamykane jest okno zlecania oraz pojawia się dymek potwierdzający zlecenie:
- Każde zlecone zadanie może być następnie monitorowane i zarządzane w głównym oknie aplikacji.
Podstawowe parametry zadania
Okno zlecania QCG-Icon posiada 4 zakładki określające parametry o różnym stopniu szczegółowości i zaawansowania. Główny widok programu prezentuje Podstawowe parametry zadania:
Widok ten zawiera następujące elementy, które mogą być zmieniane:
- nazwę zadania (domyślnie jest nią nazwa głównego skryptu);
- pliki które mają być przesłane razem ze zlecanym skryptem; można też zaznaczyć katalog, co spowoduje rekursywne dołączenie jego zawartości;
- aplikację, która ma zostać uruchomiona;
- wersję aplikacji;
- zasób na który zadanie ma zostać zlecone;
- kolejkę do której zadanie zostanie zlecone;
- limit na czas wykonywania zadania (ang. walltime limit);
- limit pamięci operacyjnej dla zadania;
- nazwę grantu w ramach którego zadanie ma być zlecone (jeśli ma być użyty inny grant niż domyślny);
- charakter obliczeń: czy aplikacja ma się liczyć sekwencyjnie czy równolegle;
- w przypadku aplikacji równoległej: liczbę węzłów i rdzeni na węzeł.
Zasoby dostępne w architekturze PL-Grid nie mają zainstalowanych wszystkich obsługiwanych przez QCG-Icon aplikacji.
Aby pobrać aktualną listę aplikacji, należy wybrać "Sprawdź dostępność". Opcja ta spowoduje sprawdzenie jakie aplikacje są w danym momencie oferowane na zasobach. Wykonanie tej operacji wymaga dostępu do zasobów, a więc użytkownik może zostać poproszony o podanie hasła do certyfikatu.
Zaawansowane parametry zadania
Po wybraniu zakładki Zaawansowane parametry zadania użytkownik ma możliwość określenia dodatkowych elementów:
- specjalnych atrybutów dla węzłów;
- żądania licencji jaka ma być zastosowana do używanych programów;
- natywnych parametrów systemów kolejkowych;
- identyfikatora stworzonej wcześniej rezerwacji w ramach której zadanie ma zostać uruchomione;
- zdefiniowania czy wyniki obliczeń, po zakończeniu zadania, mają być automatycznie pobrane, zostawione na serwerze lub z serwera usunięte;
- dodatkowych skryptów, które będą wykonywane przed, po lub w trakcie obliczeń (po kliknięciu w "..."):
Zadania parametryczne (ang. parameter sweep)
W przypadku programu QCG-Icon istnieje możliwośc zlecenia wielu zadań równocześnie, różniących się jedynie jednym parametrem: zmienną środowiskową. Do tego celu przeznaczona jest trzecia zakładka okna zlecania zadania, Parameter Sweep: Zdefiniowanie zadania parametrycznego polega na zaznaczeniu pola "parameter sweep" i wypełnieniu odpowiednio pól: "Rozpocznij od", "Inkrementuj o", "Zakończ na". Dla przykładu, wypełnienie tych pól warościami 1, 2, 10 będzie skutkowało zleceniem 5 zadań w których warość zmiennej QCG_STEP_INDEX będzie wynosiła odpowiednio: 1,3,5,7,9.
Sposób odczytania w programie zmiennej QCG_STEP_INDEX jest zależny od typu aplikacji i dla przykładu w skryptach programu MATLAB może wyglądać następująco:
N = str2num(getenv('QCG_STEP_INDEX')); factorial(N)
Monitoring
Zakładka Monitoring została dodana w wersji 1.5.0 programu QCG-Icon w celu umożliwienia korzystania z zewnętrznych metod monitorowania uruchamianych zadań.
Użytkownicy mają możliwość wyboru spośród 3 podstawowych metod monitorowania, a mianowicie:
- monitorowanie poprzez komunikaty XMPP;
- monitorowanie poprzez e-Mail;
- monitorowanie wykorzystujące portal monitoringu (dostępny pod adresem https://qcg-monitoring.man.poznan.pl).
Wybór którejkolwiek z opcji z listy rozwijanej spowoduje wyświetlenie odpowiednich elementów formularza, które należy dostosować do własnych wymagań:
- Częstotliwość monitoringu (XMPP|E-Mail|Portal) - Oczekiwana częstotliwość wykonywania zdarzeń monitorujących. Przykładowo, ustawienie przez użytkownika wartości pola na 60 oznacza chęć otrzymywania powiadomień (w zależności od wybranej opcji w formie komunikatów XMPP, wiadomości E-Mail albo aktualizacji portalu) zawierających zmiany z pliku wyjściowego aplikacji w odstępach 60-cio sekundowych. Należy mieć na uwadze, iż rzeczywista częstotliwość wysyłania jest zależna od kilku czynników i może być inna niż oczekiwana przez użytkownika.
- Wyrażenie monitorujące (XMPP|E-Mail) - Wyrażenie lub nazwa skryptu wykorzystywane do filtrowania pliku wyjściowego aplikacji. Wyrażenie może być użyte w celu konstruowania czytelnych i zwięzłych wiadomości monitorujących, pozbawionych nadmiarowych informacji. Wartością pola może być prosty ciąg znaków (np. ENERGY), wyrażenie regularne (np. ENE*) lub nazwa skryptu, który wyświetli odpowiednie linie z plików wyjściowych.
- Schemat monitorowania (Portal) - Określa w jaki sposób informacje o postępie wykonywania aplikacji będą prezentowane w portalu monitoringu. Jeżeli pole pozostanie puste, użyty zostanie domyślny schemat monitoringu dla wybranej aplikacji
- Nazwa użytkownika XMPP (XMPP)- adres JID, np. jan.kowalski@…, pod który będą wysyłane wiadomości XMPP.
- Adres E-Mail (E-Mail)- Adres użytkownika na jaki mają być wysyłane wiadomości E-Mail.
Dodatkowe informacje
Specyfika uruchamiania wybranych aplikacji
- Skrypty MATLAB
- Symulacje Gaussian
- Skrypty Mathematica
- Skrypty R
- Symulacje TURBOMOLE
Opis dostępnych zasobów
Program QCG-Icon pozwala na wybranie klastra na którym ma się liczyć zadanie. Z tego względu przydatne jest zapoznanie się ze szczegółowym opisem zasobów dostępnych w ramach platformy PL-Grid: http://www.plgrid.pl/oferta/zasoby_obliczeniowe/opis_zasobow/HPC
Attachments
- przykladowy_skrypt.png (12.5 KB) - added by jkonczak 13 years ago.
- simplePlot.m (333 bytes) - added by jkonczak 13 years ago.
- 15_menu_plik.PNG (7.8 KB) - added by bartek 10 years ago.
- 15_menu_plik_m.PNG (7.9 KB) - added by bartek 10 years ago.
- 38_zlec_z_eksploratora.PNG (22.3 KB) - added by bartek 10 years ago.
- 35_menu_kontekstowe_m.PNG (9.0 KB) - added by bartek 10 years ago.
- 25_zlecanie_zadania_progress.PNG (8.2 KB) - added by bartek 10 years ago.
- 21_okno_zlecania_zaawansowane_parametry_skrypty.PNG (5.2 KB) - added by bartek 10 years ago.
- 33_zlecanie_namd.PNG (17.8 KB) - added by bartek 10 years ago.
- 26_dymek_zadanie_zlecone.PNG (3.2 KB) - added by bartek 10 years ago.
- 46_zlecanie.PNG (9.0 KB) - added by bartek 10 years ago.
- 20_okno_zlecania_zaawansowane_parametry.PNG (18.5 KB) - added by bartek 10 years ago.
- 23_okno_zlecania_parameter_sweep_on.PNG (16.8 KB) - added by bartek 10 years ago.
- 24_okno_zlecania_monitoring.PNG (15.6 KB) - added by bartek 10 years ago.
- 24_okno_zlecania_monitoring_EMail.PNG (4.1 KB) - added by bartek 10 years ago.
- 24_okno_zlecania_monitoring_Portal.PNG (3.1 KB) - added by bartek 10 years ago.
- 24_okno_zlecania_monitoring_XMPP.PNG (4.3 KB) - added by bartek 10 years ago.
- 19_okno_zlecania_podstawowe_parametry.PNG (19.6 KB) - added by bartek 10 years ago.