[Linuxtrent] Re: Prestazioni ottenibili con iSCSI
- From: Gino Perna <gino@xxxxxxxxxxxx>
- To: linuxtrent@xxxxxxxxxxxxx
- Date: Thu, 10 Feb 2011 17:56:29 +0100
On Thu, Feb 10, 2011 at 02:17:17PM +0100, Gianni Caldonazzi wrote:
> Qualche mia considerazione:
>
> Il 10 febbraio 2011 12:07, Gelpi Andrea <liste@xxxxxxxx> ha scritto:
> > Marco Agostini ha scritto:
> >>
> >> Ciao, apro questo thread perchè volevo sapere, in base alle vostre
> >> esperienze, che tipo di prestazioni si possono raggiungere utilizzando
> >> la tecnologia iSCSI.
> >>
> [...]
>
> >> Qualcuno ha fatto esperienze simili, sempre tramite iSCSI ?
> >
> > Sto provando ambienti di questo tipo e i problemi di prestazioni ci sono
> > eccome.
Mi sembra che non ci sia chiarezza su cosa vuoi ottenere:
- prestazione pura: la SAN non va bene, oppure anche se andasse bene la
dovresti gia' avere e non comperarla ex novo perche' [per due server il gioco
non vale la candela.
dovresti orientarti, per cosi' poche macchine verso un NAS con HCA, tra switch
e schede spendi meno della SAN ed arrivi tranquillamente a 200 MBytes/s
(ovviamente con i giusti controller e dischi).
A quel punto hai una macchina che ha semplicemente una scehda di rete diversa,
senza problemi di switch etc...
> Le schede le usi con 802.3ad ovvero a 2GB oppure solo failover?
guarda che passare a 1 a 2 non cambia molto le prestazione se non abbassi la
latenza.
> > Ho installato debian 5 con raid 5 sw.
secondo me devi valutare due buonoi controller...
> Già qui le prestazioni non sono ultra, qualche tempo fa era passata
> una discussione in lista dicendo che per avere prestazioni di un certo
> tipo si doveva investire sui controller hw.
> Per avere buone prestazioni vi sono sistemi che tengono 8 dischi
> massimo su ogni controller,
non bastano i controller, il bus della scheda madre deve reggere il carico,
cosa che non e' facile da trovare.
>
> > Ho aggiunto drbd per la ridondanza fra due nas.
secondo me hai gia' speso in tempo molto di piu' di quanto costa una soluzione
hardware, comunque e' un mio modo di vedere.
> Hai dedicato una vlan apposita oppure hai usato un cavo incrociato fra
> due schede dedicate?
i cavi gigabit sono solo dritti, non esistono incrociati. E' la scheda che si
deve accorgere.
> Di solito in SAN si creano tante VLAN quanti sono gli host collegati e
> vi si fa appartenere lo storage e l'host a cui presentare la LUN
questo serve a far si che non ci siano problemi di sicurezza e/o path sulle
varie LUN, non a comunicare meglio.
> > Le prestazioni sono scadenti, nel senso che ci sono picchi di 35Mbyte/sec
> > seguiti da lunghi periodi di traffico con velocità inferiori a 5Mbyte/sec
disastro totale...
> > L'analisi del protocollo iscsi dice che molte iscsi write impiegano molto.
> > Mediamente una write richiede 50msec ... decisamente troppo.
Il problema e' la latenza su un buffer piccolo.
Se hai uno switch dedicato o due schede collegate direttamente attiva i jumbo
frame.
> > Ieri un tecnico di vmware mi ha detto che per i problemi di prestazione
> > dell'iscsi è necessario utilizzare più LUN anche verso lo stesso NAS fisico
> > e che comunque ogni LUN deve avere al massimo 512Gbyte di spazio. Sto
> > cercando di verificare questa info, ma finora senza successo.
> >
sta parlando del multilane, tipico degli switch HBA od HCA.
In questo modo lo simuli, ma schede di rete e switch devono avere la
possibilita' di fare bonding.
> Posso tentare con un paragone: ogni LUN ha il suo canale che ha una
> specie di MTU, se aggiungiamo una LUN allo stesso host è come se
> potessi spedire 2*MTU. Ovvio che poi se saturo la banda del HBA non
> avrò 10*MTU.
e' la stessa cosa che succede quando attacchi 8 fibre tra due switch HBA: hai 8
canali e se tanti parlano con tanti allora guadagni in performances, se hai
solo comunicazioni di 1 host con 1 LUN quella va alla velocita' di un canale e
basta.
> > La mia impressione è che l'hardware da usare come nas deve essere di qualità
> > dotato di controller raid con batteria tampoone,
certo, altrimenti non puoi trasferire correttamente il flusso dati dal bus.
> schede di rete con gestione
> > del bond in hardware e non va trascurato lo switch in quanto per il bond
> > molti switch non vanno bene oppure si è costretti ad utilizzare il bond solo
> > come sistema di failover.
lascia perdere il gigabit se devi fare questi giochini, usa un HCA: non
configuri niente e va da solo.
> > Esistono soluzioni commerciali con costi dai 25Keuro in su che garantiscono
> > il funzionamento, anche se credo vadano provate prima ... visto che c'è chi
con il doppio arrivi ad 1 GByte/s su trasferimenti di files da 600MBytes,
contemporaneamente da piu' macchine, per una capacita' di 18 TB circa.
Ma non credo sia il tuo caso.
> Queste sono prestazioni su di una LUN in uso da proxmox con una vm salvata:
> proxmox:~# hdparm -tT /dev/mapper/pvecl1d3
devi usare iozone per testare i dischi, e lanciarne piu' di uno per macchina o
da piu' macchine. Allora stressi completamente
tutto:cache,rete,controller,dischi.
gino
--
Per iscriversi (o disiscriversi), basta spedire un messaggio con OGGETTO
"subscribe" (o "unsubscribe") a mailto:linuxtrent-request@xxxxxxxxxxxxx
Other related posts: