[Linuxtrent] Re: Salvare serie temporali ad alto flusso con Python
- From: Mario Alexandro Santini <alexmario74@xxxxxxxxx>
- To: linuxtrent@xxxxxxxxxxxxx
- Date: Fri, 19 Mar 2021 08:16:41 +0100
On Fri, Mar 19, 2021 at 8:07 AM Guido Brugnara <dmarc-noreply@xxxxxxxxxxxxx>
wrote:
----- Il 19-mar-21, alle 7:24, Emanuele Olivetti <
emanuele.olivetti@xxxxxxxxx> ha scritto:
Salve a Tutti,
Ciao,
Sto iniziando a guardare Redis, che trovo estremamente performante. Ma
sono agli inizi e non trovo una struttura dati di Redis che sia perfetta
per il mio caso.
Consigli? Se ci fossero tool/librerie per Python anche più minimaliste di
Redis, sarei contento. Per ora mi accontenterei di avere una soluzione :D
Non conosco bene Python, ma anche noi lavoriamo su serie temporali ed il
primo tentativo è stato con Redis.
Noi lo abbiamo scartato perché avevamo bisogno di tenere in memoria troppi
dati ed il deployment sarebbe stato molto complesso.
Quello che utilizzavamo erano gli stream che funzionano bene in questo
scenario.
Tieni presente che Redis è single thread e che per migliorare le
prestazioni devi avere un pool di connessioni lato client.
Purtroppo non so consigliarti su librerie Python, io ci ho lavorato in Rust.
Grazie e a presto,
Emanuele
Io utilizzo https://www.timescale.com/ che è poi un modulo di PostgreSQL.
Questa è stata la nostra seconda scelta dopo Redis ed è stata molto
efficace, ma abbiamo dovuto accantonarla per via di alcune limitazioni che
a noi davano piuttosto fastidio.
Ma penso sia una buona scelta, se pensi di usare PostgreSQL.
Quello che usiamo, alla fine, è Victoria Metrics, con il quale siamo
riusciti a superare i problemi che avevamo con timescale.
Mario
Other related posts: