[Ilugc] General concepts in clustering

  • From: girishvenkatachalam@xxxxxxxxx (Girish Venkatachalam)
  • Date: Sun, 24 Jun 2012 11:49:41 +0530

This is just a primer to clustering.

I will make it was easy to follow as possible.

Clustering is a data center concept applied from databases to servers to
 Internet links.

Basically everyone wants 100% uptime. And service availability to be insured.

But we live in Bharat no?

Where power, water, Internet nothing is guaranteed...

Anyway slowly slowly all the hi funda clustering ideas are becoming commonplace.

The same way mobile phones became commonplace.

Okay not at that level.

Let us look at some basic ideas now.

At a very high level,a protocol called CARP found in stock OpenBSD
helps us assign
virtual IP addresses to computers. So what this will do is ensure
failover and 100% uptime.

This is one layer of protection against disaster.

Another is basic link level and DNS load balancing.

Here what happens is that a DNS update is sent every few minutes using
the link that
 is up and updating the IP address of the DNS people use.

If you have multiple links, the IP address determines the route and
the link by which you
 reach the server.

This is another layer of clustering.

Now we can somehow tackle machine crashes, local cable pulls and
partial power problems and
 also ISP outages.

We are not quite done.

What about DB?

If you are running a web server that uses a DB backend how to do redundancy.

It so turns out there are few options in postgres.

Of course we also have layer 7 or layer 3 redirection at the kernel
firewall level.

With all these different tools one can successfully achieve very high
levels of availability
  without spending on riverbed or fatpipe or radware.

Anyway the Linux projects heartbeat and haproxy do it using some other method.

It is also available in OpenBSD.

But I have no experience with it.

In other words high availability is not some distant target.

But namma uru makkal will always goof up simple things when it comes to solving
 technical problems.

I know how much reliability private players give for ISP links...

-Girish

-- 
Gayatri Hitech
http://gayatri-hitech.com

Other related posts:

  • » [Ilugc] General concepts in clustering - Girish Venkatachalam