[Linuxtrent] Re: Prestazioni ottenibili con iSCSI
- From: Gianni Caldonazzi <gianni.caldonazzi@xxxxxxxxx>
- To: linuxtrent@xxxxxxxxxxxxx
- Date: Thu, 10 Feb 2011 14:17:17 +0100
Qualche mia considerazione:
Il 10 febbraio 2011 12:07, Gelpi Andrea <liste@xxxxxxxx> ha scritto:
> Marco Agostini ha scritto:
>>
>> Ciao, apro questo thread perchè volevo sapere, in base alle vostre
>> esperienze, che tipo di prestazioni si possono raggiungere utilizzando
>> la tecnologia iSCSI.
>>
[...]
>> Qualcuno ha fatto esperienze simili, sempre tramite iSCSI ?
>
> Sto provando ambienti di questo tipo e i problemi di prestazioni ci sono
> eccome.
Attenzione che le SAN o NAS comunque condividono il disco, vuol dire
che le prestazioni non sono come dischi interni dedicati di ugual
prestazioni.
>
> La configurazione da cui sono partito è più o meno la seguente.
>
> Per i NAS HW normale con schede di rete a 1GB su cui ho aggiunto il bond,
> per ridondanza.
>
Le schede le usi con 802.3ad ovvero a 2GB oppure solo failover?
> Ho installato debian 5 con raid 5 sw.
Già qui le prestazioni non sono ultra, qualche tempo fa era passata
una discussione in lista dicendo che per avere prestazioni di un certo
tipo si doveva investire sui controller hw.
Per avere buone prestazioni vi sono sistemi che tengono 8 dischi
massimo su ogni controller, quindi per avere una buona SAN non si deve
trascurare l'hw.
> Ho aggiunto drbd per la ridondanza fra due nas.
Qui vi è una replica in rete.
Hai dedicato una vlan apposita oppure hai usato un cavo incrociato fra
due schede dedicate?
Di solito in SAN si creano tante VLAN quanti sono gli host collegati e
vi si fa appartenere lo storage e l'host a cui presentare la LUN
> Ho poi utilizzato ietd come iscsi trarget
> Collegato il tutto come storage a dei server citrix xen.
>
> Le prestazioni sono scadenti, nel senso che ci sono picchi di 35Mbyte/sec
> seguiti da lunghi periodi di traffico con velocità inferiori a 5Mbyte/sec
> L'analisi del protocollo iscsi dice che molte iscsi write impiegano molto.
> Mediamente una write richiede 50msec ... decisamente troppo.
>
Qui va ricercato che il problema non sia la rete come collo di
bottiglia. Oppure che non sia il RAID sw.
> Sto valutando frenas, ma mi sembra abbia delle limitazioni, vedi altra mia
> mail di oggi.
>
> Ieri un tecnico di vmware mi ha detto che per i problemi di prestazione
> dell'iscsi è necessario utilizzare più LUN anche verso lo stesso NAS fisico
> e che comunque ogni LUN deve avere al massimo 512Gbyte di spazio. Sto
> cercando di verificare questa info, ma finora senza successo.
>
Questo di solito è vero, ho delle difficoltà a spiegarlo, ma è stato
detto anche a me.
Posso tentare con un paragone: ogni LUN ha il suo canale che ha una
specie di MTU, se aggiungiamo una LUN allo stesso host è come se
potessi spedire 2*MTU. Ovvio che poi se saturo la banda del HBA non
avrò 10*MTU.
Su questo forse posso trovare qualcosa, se vi interessa e lo trovo
magari lo posto.
> La mia impressione è che l'hardware da usare come nas deve essere di qualità
> dotato di controller raid con batteria tampoone, schede di rete con gestione
> del bond in hardware e non va trascurato lo switch in quanto per il bond
> molti switch non vanno bene oppure si è costretti ad utilizzare il bond solo
> come sistema di failover.
Pienamente d'accordo, vedi considerazioni sopra.
> Anche la ram non va sottostimata, serve per le
> cache.
Quale cache?
Se hai il controller hw la cache è lì, la ram di sistema non serve poi a molto.
> L'unica che pare non essere molto usata è la CPU, visto il pesante
> usa di DMA.
Sul host che fa da SAN dici?
Si.
>
> Esistono soluzioni commerciali con costi dai 25Keuro in su che garantiscono
> il funzionamento, anche se credo vadano provate prima ... visto che c'è chi
> si lamenta delle prestazioni anche di queste soluzioni.
>
Queste sono prestazioni su di una LUN in uso da proxmox con una vm salvata:
proxmox:~# hdparm -tT /dev/mapper/pvecl1d3
/dev/mapper/pvecl1d3:
Timing cached reads: 4044 MB in 2.00 seconds = 2021.99 MB/sec
Timing buffered disk reads: 362 MB in 3.01 seconds = 120.37 MB/sec
Questo comunque è un test veloce, non mi sono salvato i dati di copia
delle vm quando le convertiamo da xen a kvm. Peccato perchè in questo
caso è un dd di almeno 10GB.
Attenzione che poi vi è differenza anche sul tipo di disco che si sceglie.
Tra HPFC (SCSI ad alte prestazioni a 15k) e FATA (più capienti ma meno
performanti sempre a 15k) per esempio vi è un rapporto di 10:1.
> Per quanto riguarda le prestazioni, mi risulta che con hardware dedicato di
> qualità e buona connessione di banda i 100Mbye/sec siano normalmente
> raggiungibili, ma si possono tranquillamente superare.
>
> Tali velocità servono per tenere allineati ambienti in aree geografiche
> distinte, cosa normale negli USA, dove pare che usare iscsi su connessioni a
> 10gbs in rete geografica non sia un problema ... fortunati loro :-(
>
Attenzione che sono opzioni ben specifiche l'allineamento su siti
remoti, rispetto alle prestazioni di utilizzo locale delle LUN.
Il trasferimento non è sincrono e vengono comunque trasferiti in
maniera ottimizzata, non come letture da disco per un DB oppure per
dei file.
Jan
--
Per iscriversi (o disiscriversi), basta spedire un messaggio con OGGETTO
"subscribe" (o "unsubscribe") a mailto:linuxtrent-request@xxxxxxxxxxxxx
Other related posts: