EgaDemoClient este un streamer de date bazat pe JAVA care permite deținătorilor de cont EGA să descarce în siguranță fișiere și seturi de date, fie printr-un shell interactiv (IS) sau folosind modul linie de comandă directă (DCLM).

Ambele metode oferă funcționalități similare și au același flux de lucru (vezi graficul de mai jos), dar numai DCLM poate utiliza stratul FUSE.

utilizarea

Fișiere individuale sau seturi de date poate fi descărcat făcând un cerere de descărcare și apoi descărcarea cererii prin specificarea etichetei cererii (numele pe care îl dați cererii).

Mai multe fișiere și seturi de date pot fi grupate împreună făcând mai multe cereri de descărcare utilizând aceeași etichetă de solicitare.

Solicitarea de descărcare, care este alcătuită sau 1 sau mai multe fișiere, sunt stocate pe serverele noastre ca bilete, cu fiecare fișier din cererea de descărcare atribuit un număr unic de bilet.

Un bilet este eliminat de pe serverul nostru numai când fișierul este descărcat cu succes, ceea ce înseamnă că poate fi descărcat repornit dacă, din orice motiv, descărcarea sa încheiat.

Toate fișierele din cererea de descărcare sunt criptat inainte de streaming, pentru a asigura un transfer sigur.

Fișierele sunt descărcate ca fiind criptate .fișiere cu sufix cip, care trebuie decriptat folosind clientul de descărcare cu cheia specificată în cererea de descărcare originală.


Descărcați Clientul

Fișierul zip conține 4 fișiere:

Citiți-mă Ghiduri rapide de pornire (2)

2 Ghiduri de pornire rapidă


Instalarea și cerințele clientului

Această aplicație necesită Java 1.7+ și Java trebuie să poată accesa Internetul

Porturile 80 (http) și 443 (https) ar trebui să fie deschise pentru TCP.

Pentru utilizarea UDT, portul UDP 80 trebuie să fie deschis.

Echilibrorul de încărcare al clientului se află la ega.ebi.ac.uk care se rezolvă la adresa IP 193.62.192.14

Pentru a verifica dacă rețeaua dvs. este configurată corect pentru utilizarea clientului rulați comanda (pentru acest exemplu, presupuneți: nume utilizator = [email protected], parolă = 123pass):

Această comandă va începe prin crearea unei conexiuni socket simple la „http://www.google.com”, precum și „https://www.google.com” pentru a vă asigura că Java are acces la Internet pe sistemul dvs. (unele firewall-urile împiedică acest lucru). Apoi rezolvă numele de gazdă EGA „ega.ebi.ac.uk” la o adresă IP și încearcă să trimită ping serverelor noastre, pentru a verifica dacă aveți acces la API-ul nostru din sistemul dvs. Dacă acest lucru este reușit, atunci se încearcă o autentificare, pentru a verifica dacă numele dvs. de utilizator și parola sunt corecte și active. În cele din urmă, se efectuează un set de transferuri scurte de date, pentru a verifica dacă puteți descărca date în sistemul dvs., utilizând protocoalele de transfer de date TCP și UDT.


Optimizarea clientului pentru rețeaua dvs.

Pentru a maximiza utilizarea lățimii de bandă utilizați shell interactiv (IS), rulați mai întâi clientul, conectați-vă și rulați „testbandwidth”:

Se efectuează o serie de descărcări de dimensiuni medii pentru a determina lățimea de bandă maximă combinată de așteptat utilizând numărul specificat de fluxuri de descărcare paralele.

Acest test funcționează atât folosind setările TCP, cât și UDT (comanda „udt on”/„udt off”).

Mai multe fluxuri paralele nu sunt întotdeauna egale cu un debit total mai mare! Creșterea fluxurilor paralele funcționează cel mai bine dacă rata estimată de transfer de date pentru un flux individual este scăzută. UDT nu este întotdeauna mai rapid decât TCP. Conexiunile bune tind să funcționeze mai bine folosind TCP, indiferent de distanță.

Utilizarea Shell-ului interactiv

Pornirea clientului

Shell-ul interactiv este pornit executând următoarea comandă, care deschide shell-ul:

Logare

Primul pas va fi întotdeauna să vă conectați (presupuneți pentru acest exemplu: nume de utilizator = [email protected], parolă = 123pass):

La primirea „Conectării cu succes!” mesaj acum puteți vizualiza toate comenzile disponibile cu comanda „instrucțiuni”.


Afișarea seturilor de date

Puteți lista toate seturile de date (de ex. EGA> seturi de date) la care aveți acces:

La fel ca toate fișierele din acel set de date:

Determinarea dimensiunii setului de date

Este adesea important să cunoașteți dimensiunea unui set de date înainte de descărcare, care poate fi calculat folosind următoarea comandă:

Efectuarea unei cereri de descărcare a tuturor fișierelor dintr-un set de date

Odată ce ați identificat setul de date pe care doriți să îl descărcați, este timpul să îl solicitați.

Cererile necesită 4 părți:

(1) Tipul cererii: „set de date” sau „fișier”

(2) Aderarea la setul de date (EGAD)

(3) Cheie de criptare utilizată pentru criptarea datelor

(4) Descărcați eticheta cererii (Alegeți o etichetă prin care puteți identifica solicitarea dvs.)

În această solicitare, sunt solicitate toate fișierele din setul de date EGAD00010000498.

Toate fișierele vor fi criptate cu cheia „abc”. Și eticheta de solicitare este „request_EGAD00010000498”. Solicitarea a condus la 19 fișiere individuale care trebuie solicitate, fiecărui fișier i se atribuie un număr unic de bilet pentru descărcare.

Solicitarea a condus la 19 fișiere individuale care trebuie solicitate, fiecărui fișier i se atribuie un număr unic de bilet pentru descărcare.

Dacă setul de date solicitat conține fișiere în așteptare, atunci o cerere poate arăta astfel:

În această solicitare, setul de date conține 1234 de fișiere, dar numai 18 sunt în arhiva EGA.

Fișierele în așteptare nu au fost încă arhivate. Starea fișierului se va actualiza automat la „disponibil” după ce au fost arhivate.


Efectuarea unei cereri de descărcare a fișierelor individuale într-un set de date

Mai întâi, identificați fișierele din setul de date.

Apoi faceți o cerere de descărcare a fișierului utilizând accesarea fișierului (EGAF).

În această solicitare, se solicită fișierul EGAF00000278296.

Fișierul va fi criptat folosind cheia de criptare „abc”, iar cererea primește eticheta „file_request”.


Afișarea cererilor curente

Dacă doriți să cunoașteți starea solicitărilor dvs., există mai multe opțiuni: „solicitări”, „toate cererile” și „prezentare generală”:

Utilizarea comenzii „solicitări” listează toate solicitările curente. Acesta listează etichetele cererii, împreună cu numărul de fișiere pentru descărcare:

Utilizarea comenzii „prezentare generală” combină „toate cererile” cu unele comentarii generale și, de asemenea, actualizează baza de date locală pentru a verifica dacă oricare dintre fișierele în așteptare au devenit disponibile de la cerere:

Utilizând comanda „requesttickets”, toate biletele pentru o etichetă specificată de cerere de descărcare pot fi afișate:

Comanda „localize” poate fi utilizată pentru a schimba adresa IP a cererii la adresa IP de autentificare curentă, pentru a permite descărcarea cererii pe sistemul local.

Mai multe detalii pot fi afișate pentru fiecare bilet:


Descărcarea unei cereri

Cererile sunt descărcate în mod implicit pe calea curentă. Acest lucru poate fi schimbat folosind comanda „cale” pentru a seta o nouă cale. Comanda „pwd” afișează calea curentă. Solicitarea însăși este apoi descărcată folosind comanda „descărcare”, de exemplu:

Implicit este descărcarea a trei fluxuri paralele. Numărul de fluxuri poate fi ajustat (15 max) specificând un număr, de exemplu:

Aceasta va descărca cererea în 7 fluxuri paralele.

Decriptați fișierele descărcate

Pentru a efectua decriptarea fișierului, trebuie specificate numele complet al fișierului și calea completă.

Odată ce datele au fost descărcate cu succes, acestea pot fi decriptate folosind clientul:

Aceasta va decripta fișierul specificat folosind ca cheie de decriptare. După decriptare, fișierul criptat este șters. În

În cazul comenzii decryptkeep, fișierul criptat nu este șters:

Vă rugăm să utilizați Shell-ul interactiv dacă doriți să păstrați fișierele criptate după procesul de decriptare


2.4 Utilizarea modului de comandă directă

Toate funcțiile Interactive Shell (IS) pot fi accesate folosind linia de comandă. Linia de comandă este executată prin specificarea parametrului „-p” la pornire, urmat de numele de utilizator și parola. (ordinea comenzilor efective după „-p username password” nu este importantă) Pentru a lista secțiunea de ajutor pentru linia de comandă:

(presupunem pentru acest exemplu: nume de utilizator = [email protected], parolă = 123pass)

Linia de comandă permite, de asemenea, să specificați un fișier care conține numele de utilizator și parola (prima linie de utilizator, a doua linie de parolă). Pentru a porni clientul cu un astfel de fișier (de exemplu, „login.txt”), utilizați parametrul '-pf':

Exemplu - Listarea fișierelor într-un set de date

Exemplu - Solicitarea unui set de date:

Exemplu - Solicitarea unui fișier:

Exemplu - Cereri de listare:

Exemplu - Cerere de descărcare, utilizând parametrul opțional „-nt” pentru a specifica folosind 7 fluxuri paralele:


Decriptați fișierele descărcate

Mai multe fișiere pot fi listate după comutatorul -dc.

Vă rugăm să utilizați Shell-ul interactiv dacă doriți să păstrați fișierele criptate după procesul de decriptare


Folosind Fuse Layer

Vă rugăm să rețineți că stratul FUSE actual este doar o versiune de dezvoltare

Această funcție este disponibilă numai utilizând linia de comandă. Stratul FUSE permite montarea unui director de fișiere criptate * .cip într-un director gol, unde pot fi accesate ca fișiere necriptate. Acest lucru permite utilizarea fișierelor criptate direct, fără a fi nevoie să fie decriptate mai întâi. Această funcție este accesibilă cu opțiunea вuse ? - fuse†™. În acest moment, acest lucru necesită permisiunea de a funcționa cu „sudoв to ™” (sau să fie root). Directorul țintă este apoi accesibil oricărui utilizator.

Această comandă scanează directorul sursă. Fișierele Cip sunt înfășurate într-un strat de acces pentru a efectua decriptarea la cerere cu acces aleatoriu, iar extensia Cip ™ este eliminată din fișierul virtual. Toate celelalte fișiere sunt montate direct. Se presupune că toate fișierele .cip sunt criptate cu aceeași parolă/cheie. Exemplu (făcând conținutul/tmp/download/disponibil în/tmp/mnt /):

Este important să furnizați terminarea • când specificați directoare. Directorul țintă trebuie să fie un director gol. În acest moment, subdirectoarele sunt ignorate. Și directorul sursă este scanat o singură dată, la pornire.