1. Hardware

Software Clindata běží na počítačovém clusteru umístěném v Institutu molekulární a translační medicíny (IMTM), Lékařské a stomatologické fakulty, Univerzity Palackého v Olomouci. Zařízení je zabezpečeno a pod dohledem globálního sledování.

Popis hardwaru

Servery

HPE DL385 Gen10 CTO Mod-X 8SFF Svr

8x HPE 16GB 2Rx8 PC4-2933Y-R

2x HPE DL385 Gen10 AMD EPYC 7302

2x HPE 240GB SATA RI SFF SC DS SSD

Datová úložiště

HP 3PAR data storage 700TB.

HP EML tape library

Objektové úložiště

Firewall

HP F1000-S-EI VPN Firewall

2. Software

Požadavky na software

Jediným požadavkem pro použití softwaru Clindata je webový prohlížeč podporující standard HTML5. Seznam podporovaných prohlížečů:

• Chrome: (Aktuální - 1) a aktuální
• Edge: (Aktuální - 1) a aktuální
• Firefox: (Aktuální - 1) a aktuální
• Internet Explorer: 11+
• Safari: (Aktuální - 1) a aktuální
• Opera: Aktuální

(Aktuální znamená poslední dostupná verze daného prohlížeče)

Programovací jazyk

Hlavním programovacím jazykem používaným pro vývoj aplikace Clindata je Java 8. Další technologie používané při vývoji jsou:

• Spring Framework v5.
• HTML, CSS
• JavaScript
• jQuery
• jQuery UI
• Bootstrap
• MathJS
• Datatables
• SQL
• Oracle database

Operační systém

Operační systém nainstalovaný na produkčních serverech je RedHat Enterprise Linux 7.4.

Proxy server

Jako brána z vnějšího světa do vnitřní aplikace běžící na produkčním serveru se používá Apache HTTP Server.

Aplikační server

Aplikace ClinData běží na Apache Tomcat, což je open-source Java Servlet Container vyvíjený nadací Apache Software Foundation.

3. Databáze

Databáze Clindata

Databáze používaná pro ukládání dat ze softwaru Clindata je Oracle Database (obvykle označovaná jako Oracle RDBMS), kterou vyvíjí společnost Oracle Corporation. Verze databáze je 12.1. Standard Edition.

Oracle databáze běží na odděleném serveru založeném na Linuxu, který je chráněn firewallem před vnější sítí (Internetem). Tento databázový server není přístupný zvenčí organizace, ale pouze ze zapsaných vnitřních serverů (aplikační a záložní servery).

4. Zálohy

Existují více úrovní archivace dat, které zajišťují bezpečnost dat a rychlé obnovení databáze. Data jsou archivována na úrovni databáze a operačního systému.

1. Zálohy na úrovni databáze
   Nástroj RMAN je nedílnou součástí Oracle databáze. Vytváří binární kopii celé databáze a ukládá ji do souborového systému. Nástroj RMAN je spuštěn každý týden. Soubory jsou uloženy interně na serveru databáze a jsou zkopírovány na dvě nezávislá záložní místa.
   EXPDP/IMPDP je datová pumpa, která exportuje data do textových záloh. Nástroj EXPDP je spuštěn každé 4 hodiny. Cílem zálohování je stejné jako u RMAN. Data jsou uložena na dvou nezávislých záložních místech.
   Redo Logy jsou každý den archivovány do souborového systému.
2. Zálohy na úrovni operačního systému
   IBM Tivoli Storage Manager (TSM Admin) je firemní řešení od společnosti IBM pro zálohy a obnovu fyzických nebo virtuálních serverů. Záloha vytvořená pomocí TSM Admin zahrnuje redo logy, RMAN a EXPDP exporty. Spouští se každý den a záložní data jsou uložena na diskovém poli.

RMAN konfigurační soubor

CONFIGURE RETENTION POLICY TO REDUNDANCY 1; # default
CONFIGURE BACKUP OPTIMIZATION OFF; # default
CONFIGURE DEFAULT DEVICE TYPE TO DISK; # default
CONFIGURE CONTROLFILE AUTOBACKUP ON;
CONFIGURE CONTROLFILE AUTOBACKUP FORMAT FOR DEVICE TYPE DISK TO '%F'; # default
CONFIGURE DEVICE TYPE DISK PARALLELISM 1 BACKUP TYPE TO BACKUPSET; # default
CONFIGURE DATAFILE BACKUP COPIES FOR DEVICE TYPE DISK TO 1; # default
CONFIGURE ARCHIVELOG BACKUP COPIES FOR DEVICE TYPE DISK TO 1; # default
CONFIGURE MAXSETSIZE TO UNLIMITED; # default
CONFIGURE ENCRYPTION ALGORITHM 'AES128'; # default
CONFIGURE COMPRESSION ALGORITHM 'BASIC' AS OF RELEASE 'DEFAULT' OPTIMIZE FOR LOAD TRUE ; # default
CONFIGURE RMAN OUTPUT TO KEEP FOR 7 DAYS; # default
CONFIGURE ARCHIVELOG DELETION POLICY TO NONE; # default
CONFIGURE SNAPSHOT CONTROLFILE NAME TO '/../../oracle/12c/dbs/snapcf_imtm.f'; # default

EXPDP configuration file

DIRECTORY=dtpump
DUMPFILE=registry.dmp
LOGFILE=registry.log
CONTENT=ALL
COMPRESSION=NONE
JOB_NAME=registry_migration
SCHEMAS=registry,registry_aud

05. Bezpečnost připojení

Zabezpečené připojení 

Jelikož aplikace Clindata je webová aplikace, je nezbytné zajistit zabezpečenou komunikaci mezi serverem a klientovým počítačem. To je dosaženo pomocí komunikačního protokolu HTTPS, který je šifrován pomocí protokolu Transport Layer Security (TLS). Tento protokol je široce používán pro veškeré bezpečné transakce na internetu (platby, e-maily atd.) a je považován za bezpečný a nedekódovatelný. Chrání proti útokům prostředníka. Komunikace bez bezpečnostní vrstvy (HTTP) může být narušena útočníky, kteří ji mohou odposlouchávat nebo měnit.

Přesměrování zabezpečení

Všechny požadavky uživatele přicházející prostřednictvím nezabezpečeného protokolu HTTP jsou automaticky přesměrovány na zabezpečený protokol HTTPS. Veškerá komunikace mezi klientem a serverem je zabezpečena a není možné se připojit k softwaru Clindata prostřednictvím nezabezpečeného spojení.

Certifikát

Pro zabezpečenou komunikaci je vyžadován certifikát uložený na webovém serveru. Certifikát musí být podepsán důvěryhodnou certifikační autoritou. Server Clindata používá certifikát, který je digitálně podepsán autoritou TERENA.

06. Autenzizace a autorizace

Správa uživatelů

Všichni uživatelé používající aplikaci Clindata musí být registrováni před přihlášením. Není možné získat neoprávněný přístup k serveru ani pro demonstrační účely. Existuje specializovaná aplikace pro správu uživatelů - nástroj IMTM Admin.

Nástroj Admin je zodpovědný za:

• Správu institucí, společností, nemocnic a jejich oddělení. Může existovat neomezený počet úrovní organizací, například univerzita může mít strukturu univerzita-fakulta-oddělení-laboratoř. Každá úroveň organizace může získat odlišnou sadu oprávnění a rolí. Správa uživatelů. Každý uživatel je identifikován e-mailovou adresou jako přihlašovacím jménem a heslem.
• Uživatelé jsou přiřazeni ke svým organizacím. Uživatelé mohou pracovat na více projektech s různými rolemi. To je umožněno pomocí uživatelských profilů. Počet profilů pro jednoho uživatele není omezen. Každý profil může mít odlišnou sadu oprávnění a rolí.
• Správa rolí a profilů.

Databáze Admin s uživatelskými údaji je uložena v Oracle databázi jako samostatné schéma. Přístup k tomuto schématu je omezen pouze pro správce. Server s Oracle databází je oddělen firewallem od veřejné sítě a není přístupný z internetu.

Nový účet uživatele může být vytvořen pouze administrátorem. Uživatel nemá možnost vytvořit si účet sám.

Následující kroky musí být dodrženy při vytváření nového účtu:

• Nový uživatel požádá vlastníka projektu o vytvoření nového účtu.
• Vlastník projektu požádá administrátora o vytvoření nového účtu s určenými oprávněními a rolími.
• Administrátor vytvoří nový účet a nastaví požadovaná oprávnění a role.
• Vlastník projektu zkontroluje nastavení účtu a schválí ho.
• Nový uživatel obdrží přihlašovací údaje a může se přihlásit.

Centrální autentizační služba (CAS)

Aplikace Clindata musí být propojena s daty z IMTM Admin k ovládání účtů, rolí a oprávnění. To se provádí integrací technologie CAS do softwaru ClinData. Technologie CAS se skládá z CAS serveru a CAS klienta. CAS server je zodpovědný za ověřování uživatelů a poskytování přístupu k aplikacím. CAS klienti chrání aplikace CAS a získávají identitu povolených uživatelů ze serveru CAS.

07. Role a oprávnění

Omezení přístupu

Přístup uživatele může být omezen ve dvou různých oblastech:

• omezení přístupu k funkcionalitě ClinData
• omezení přístupu k datům uloženým v softwaru ClinData

Veškerá omezení jsou nastavena v nástroji IMTM Admin.

Omezení funkcí

Oprávnění

Oprávnění k přístupu určují, ke kterým objektům v ClinData může uživatel prohlížet nebo je upravovat. Každá funkcionalita v softwaru ClinData je odrážena v odpovídajícím oprávnění, takže přístup ke všem funkcím je kontrolován. Každý uživatel nebo skupina uživatelů může mít přístup k přiděleným nebo omezeným oprávněním.

Na obrázku je zobrazeno schéma oprávnění v softwaru ClinData.

Role

Role jsou virtuální entity, které slouží jako kontejnery pro více oprávnění.

Existují předdefinované role a uživatelé nebo skupiny uživatelů mohou být jim přiřazeny. Nejčastěji používané role jsou:

• admin systému ClinData - plný přístup ke všem funkcím v ClinData, žádná omezení, vytváření nových projektů
• projekt admin systému ClinData - plný přístup ke všem funkcím ve vybraném projektu včetně tvorby studií
• manažer dat projektu ClinData - přístup ke všem funkcím potřebným pro vkládání nebo aktualizaci dat pacienta
• monitor dat projektu ClinData - přístup ke všem funkcím potřebným pro sledování studie, validaci a dokončení CRFs (formuláře pro sběr dat)
• prohlížeč dat projektu ClinData - pouze čtení vybraných dat

Omezení dat

Výchozí nastavení pro přístup k datům v softwaru ClinData je maximálně omezené. Uživatel vidí pouze data, která sám vložil. Výchozí nastavení neumožňuje vidět žádná data vložená jiným uživatelem. Přístup k ostatním datům musí být explicitně povolen.

Tato nastavení lze upravit:

• uživatel vidí pouze svá data
• uživatel vidí data vložená jiným uživatelem nebo skupinou uživatelů
• uživatel vidí data spojená s organizací
• uživatel vidí všechna data ve studii

Osobní údaje

Studie nebo registry mohou obsahovat osobní údaje. Přístup k těmto údajům může být omezen pomocí speciálního oprávnění.

Tato nastavení lze upravit:

• uživatel vidí osobní údaje
• uživatel nevidí osobní údaje

8. Logování

Systém ClinData zaznamenává všechny události, které se v systému odehrávají. Administrátor může tyto záznamy procházet v uživatelsky přívětivé formě a analyzovat potenciální problémy, sledovat aktivity uživatelů atd.

Existují tři různé typy mechanismů pro zaznamenávání událostí:

• Záznamy softwaru se provádějí na úrovni programovacího jazyka a jsou velmi podrobné. Soubory se záznamy obsahují údaje o vnitřním stavu celého systému v době události. Tento přístup slouží pro podrobnou analýzu problémů, které se v minulosti vyskytly.
• Záznamy přístupu jsou určeny k řízení činnosti uživatelů. Záznam o přístupu obsahuje údaje o tom, kdo provedl akci a kdy. Zaznamenává veškeré akce provedené na objektech v systému. Objektem může být studie, pacient, formulář CRF, soubor. Zaznamenávají se následující akce:
  • vytvoření
  • otevření
  • změna
  • přidání
  • odebrání
  • smazání
  • export
• Audit je zaměřený na změny provedené ve formulářích CRF. Zaznamenává kompletní historii toho, co bylo uživateli změněno. Jeden záznam obsahuje údaje o:
  • kdy byla změna provedena
  • kdo změnil data
  • co bylo změněno
  • jaká je nová hodnota

Důležitou informací je, že systém ClinData neodstraňuje žádné záznamy. Každý záznam v databázi má systémový příznak AKTIVNÍ. Smazání řádku pouze nastaví tento příznak AKTIVNÍ na hodnotu false. Neaktivní řádky se nezobrazují ve softwaru ClinData, ale stále jsou uloženy v databázi.

9. Vývoj softwaru

Sledování problémů

Jakýkoli problém nalezený ve softwaru ClinData je zdokumentován a vytvořen jako nový problém v softwaru JIRA. JIRA software je vyvíjen společností Atlassian a slouží jako nástroj pro sledování problémů. Nový problém je analyzován a je mu přiřazena priorita. Seznam problémů je řazen podle priorit a zpracováván vývojáři. Pokud je závažný problém opraven, je publikován ve nové verzi softwaru ClinData. Problém je také uzavřen jako vyřešený v JIRA.

Správa změn

Všechny požadavky na změny plánované ve softwaru ClinData jsou uloženy v JIRA. Když přichází nový požadavek, je analyzován, provedena časová odhad a přiřazena priorita. Seznam problémů je řazen podle priorit a zpracováván vývojáři.

Verzování

Zdrojový kód softwaru ClinData je uložen v repozitáři GIT, který umožňuje sledování změn v souborech. Je možné procházet historii libovolného souboru se zdrojovým kódem v repozitáři. Každá změna je také zdokumentována, aby bylo snadné pochopit vývojový cyklus.

Revize kódu

Jakákoliv změna provedená ve zdrojovém kódu softwaru ClinData musí být zkontrolována jiným vývojářem. Tento proces se nazývá revize kódu. Tento proces minimalizuje počet chyb ve zdrojovém kódu, protože vše je dvojnásobně zkontrolováno. Pro revize kódu se používá software Bitbucket (vyvinutý společností Atlassian). Tento software brání vývojářům v používání neprokázaného kódu ve veřejných verzích softwaru ClinData.

10. Zajištení kvality

Testovací prostředí

Všechny nové verze softwaru ClinData musí být otestovány a ověřeny jako funkční a správné před jejich zveřejněním. Existuje zvláštní prostředí, které se používá k testování nové verze před jejím zveřejněním. Testovací prostředí musí být podobné produkčnímu prostředí, aby se předešlo problémům s konfigurací.

Unit testování

Unit testování je metoda testování softwaru, při které jsou testovány jednotlivé části zdrojového kódu, aby se zjistilo, zda jsou vhodné k použití. Ve zdrojovém kódu softwaru ClinData existuje více než tisíc unit testů. Všechny kritické části zdrojového kódu jsou pokryty unit testem téměř na 100 %. Celkový zdrojový kód je pokryt unit testem více než 85 %. Jakýkoli problém v unit testování je blokující pro zveřejnění verze softwaru.

Testování aplikace

Celá aplikace je testována prostřednictvím průzkumného testování aplikace před jejím zveřejněním. Testování aplikace se provádí v testovacím prostředí. Jakýkoli problém při testování aplikace je blokující pro zveřejnění verze.

Zveřejnění

Proces zveřejnění znamená, že nová verze softwaru ClinData je uvolněna a zpřístupněna uživatelům. Pro sestavení a zveřejnění nových verzí se používá software Bamboo (vyvinutý společností Atlassian). Jednotkové testování je také součástí procesu zveřejnění nové verze. V případě jakéhokoli problému v jednotkovém testování je celý proces zveřejnění přerušen a zodpovědným osobám je zasláno oznámení emailem.