PgBouncer ile PostgreSQL Bağlantı Yönetimi: Ölçeklenebilirlik ve Performans

PostgreSQL tabanlı uygulamaların yüksek ölçeklenebilirlik ve performans hedeflerine ulaşmasında, veritabanı bağlantı yönetimi kritik bir role sahiptir. Her yeni PostgreSQL bağlantısı, sunucu tarafında bir süreç çatallama (fork) maliyeti doğurur. Bu maliyet, özellikle saniyede yüzlerce veya binlerce yeni bağlantı kuran modern mikroservis mimarilerinde veya yoğun web uygulamalarında ciddi darboğazlara yol açabilir. PgBouncer, bu sorunu çözmek için tasarlanmış, hafif ve etkili bir bağlantı havuzlama (connection pooling) aracıdır.

Bağlantı Yönetiminin Temel Sorunu

PostgreSQL, her yeni istemci bağlantısı için ayrı bir sunucu süreci (backend process) başlatır. Bu süreç, bellek ve CPU kaynakları tüketir. Bir uygulamanın aynı anda çok sayıda bağlantı açıp kapatması durumunda, bu süreç çatallama ve sonlandırma döngüsü, CPU yükünü artırır, bağlam değiştirme (context switching) maliyetlerini yükseltir ve sonunda veritabanı sunucusunun genel verimini düşürür. Ayrıca, belirli bir bağlantı limitine ulaşıldığında yeni bağlantılar reddedilir ve bu da uygulama kesintilerine yol açar.

PgBouncer Nedir ve Nasıl Çalışır?

PgBouncer, uygulamalar ile PostgreSQL veritabanı arasında bir proxy görevi gören, bağlantıları havuza alıp yeniden kullanan bir middleware aracıdır. Uygulama, doğrudan PostgreSQL'e bağlanmak yerine PgBouncer'a bağlanır. PgBouncer ise bu gelen bağlantıları alır ve gerektiğinde mevcut PostgreSQL sunucu bağlantı havuzundan birini uygulamaya tahsis eder. Uygulama işini bitirdiğinde, bağlantıyı kapatır; ancak PgBouncer bu bağlantıyı PostgreSQL'e kapatmaz, kendi havuzuna geri alır ve başka bir uygulama isteği için hazırda bekletir.

PgBouncer Bağlantı Havuzlama Modları

PgBouncer üç ana havuzlama modu sunar. Her mod, farklı uygulama ihtiyaçları ve işlem davranışları için optimize edilmiştir:

Session Pooling (Oturum Havuzlama)

Bu mod, en yaygın ve genellikle en güvenli seçimdir. Bir istemci PgBouncer'a bağlandığında, o istemci oturumu için veritabanı sunucusundan özel bir bağlantı tahsis edilir. İstemci bağlantısı kapanana kadar bu bağlantı korunur. İstemci bağlantısı kapandığında, sunucu bağlantısı havuza geri döner ve başka bir oturum için kullanılabilir hale gelir. Oturum havuzlama, oturum bazlı geçici tablolar, oturum ayarları (SET komutları) ve PREPARE ifadeleri gibi özelliklerin kullanıldığı durumlarda güvenlidir, çünkü bu öğeler oturum boyunca korunur.

Transaction Pooling (İşlem Havuzlama)

Bu modda, bir veritabanı bağlantısı yalnızca bir işlem (transaction) süresince istemciye tahsis edilir. İşlem tamamlandığında (COMMIT veya ROLLBACK), bağlantı hemen havuza geri döner. Bu, özellikle kısa süreli işlemlerin çok yoğun olduğu uygulamalarda bağlantıların çok daha verimli kullanılmasını sağlar. Ancak, işlem sınırları dışında oturum ayarları veya geçici tablolar kullanan uygulamalar için uygun değildir, çünkü bu öğeler bir işlem bittikten sonra kaybolabilir veya yanlış bağlantıya atanabilir.

Statement Pooling (İfade Havuzlama)

En agresif havuzlama modudur. Her SQL ifadesi yürütüldükten sonra bağlantı havuza geri döner. Bu mod, her ifade tek bir işlem içinde çalıştırıldığında (oto-commit) veya işlemlerin tek bir ifadeden oluştuğu senaryolarda kullanılabilir. Çok yüksek bağlantı verimliliği sağlar ancak dikkatli kullanılmalıdır. Oturum ayarlarını, geçici tabloları veya multi-statement işlemleri kullanan uygulamalar için tamamen uygunsuzdur ve veri tutarsızlığına yol açabilir.

PgBouncer Yapılandırması: pgbouncer.ini

PgBouncer'ın yapılandırması pgbouncer.ini dosyası üzerinden yapılır. İşte temel bir örnek ve önemli parametrelerin açıklamaları:

[databases]
# <db_adı> = host=<db_host> port=<db_port> dbname=<db_adı> user=<db_kullanıcısı> password=<db_şifresi>
prod_app_db = host=mydb.xxxxxxxx.eu-central-1.rds.amazonaws.com port=5432 dbname=prod_app_db user=app_user password=app_password
pgbouncer = host=localhost port=6432 dbname=pgbouncer user=pgbouncer_admin password=admin_password

[pgbouncer]
listen_addr = 0.0.0.0
listen_port = 6432
auth_type = md5
auth_file = /etc/pgbouncer/userlist.txt
logfile = /var/log/pgbouncer/pgbouncer.log
pidfile = /var/run/pgbouncer/pgbouncer.pid

# Pool modes: session, transaction, statement
pool_mode = transaction

# Max client connections allowed to PgBouncer
max_client_conn = 1000

# Max server connections PgBouncer will open to PostgreSQL
default_pool_size = 20
min_pool_size = 5
reserve_pool_size = 5

# How long unused server connections are kept alive (seconds)
server_idle_timeout = 60

# How long unused client connections are kept alive (seconds)
client_idle_timeout = 300

# Max allowed server connections per database
max_db_connections = 50

# Max allowed server connections per user
max_user_connections = 50

# TLS configuration (optional)
server_tls_sslmode = require
server_tls_ca_file = /etc/ssl/certs/rds-ca-bundle.pem

Açıklamalar:

• [databases]: PgBouncer'ın bağlanacağı PostgreSQL veritabanlarını tanımlar. Burada uygulamanın veritabanı (prod_app_db) ve PgBouncer'ın kendi yönetim veritabanı (pgbouncer) yapılandırılmıştır.
• listen_addr ve listen_port: PgBouncer'ın istemci bağlantılarını dinleyeceği adres ve port.
• auth_type ve auth_file: İstemci kimlik doğrulama yöntemi ve kullanıcı bilgilerinin bulunduğu dosya (genellikle userlist.txt).
• pool_mode: Yukarıda açıklanan havuzlama modlarından biri seçilir.
• max_client_conn: PgBouncer'a aynı anda bağlanabilecek maksimum istemci sayısı.
• default_pool_size: Her veritabanı için PgBouncer'ın PostgreSQL'e açacağı varsayılan bağlantı sayısı. Bu değer, uygulamanın anlık PostgreSQL bağlantı ihtiyacını doğrudan etkiler.
• min_pool_size: Havuzda her zaman tutulacak minimum bağlantı sayısı.
• reserve_pool_size: Belirli bir veritabanı için default_pool_size'a ulaşıldığında, ek istemci bağlantıları için ayrılmış bağlantı havuzu.
• server_idle_timeout: Kullanılmayan sunucu bağlantılarının ne kadar süre sonra kapatılacağını belirler.
• server_tls_sslmode, server_tls_ca_file: PostgreSQL'e güvenli (SSL/TLS) bağlantı kurmak için kullanılan parametreler, özellikle bulut ortamlarında (örn. AWS RDS) önemlidir.

Üretim Senaryosu: Yüksek Trafikli Bir E-ticaret Uygulaması

Bir e-ticaret platformunun hafta sonu indirimlerinde beklenenden çok daha yüksek trafik aldığını düşünelim. Uygulama, her bir kullanıcı isteği için PostgreSQL veritabanına ortalama 3-5 yeni bağlantı açıp kapatıyor. Normalde 200 concurrent kullanıcı ile sorunsuz çalışan sistem, 1500 concurrent kullanıcıya çıktığında PostgreSQL sunucusu "FATAL: too many connections" hatası vermeye başlıyor, veritabanı cevap vermiyor ve uygulama kesintiye uğruyor. PostgreSQL'in max_connections değeri 500 olarak belirlenmiş durumda. Uygulama katmanı, Spring Boot ile yazılmış ve JDBC bağlantı havuzu (HikariCP) kullanıyor olsa bile, her bir uygulama sunucusu kendi havuzunu yönettiği için toplam bağlantı sayısı hızla PostgreSQL limitine ulaşıyor.

Çözüm olarak, her bir uygulama sunucusunun önüne veya merkezi bir noktaya PgBouncer'ın konumlandırılması kararı alınır. Bu senaryoda PgBouncer, ayrı bir EC2 instance üzerinde veya containerize edilerek Kubernetes cluster içinde bir sidecar olarak dağıtılabilir. Uygulama sunucuları, veritabanına doğrudan bağlanmak yerine PgBouncer'ın listen_port'una yönlendirilir. PgBouncer'ın pool_mode'u transaction olarak ayarlanır, çünkü e-ticaret uygulaması genellikle kısa, atomik veritabanı işlemleri gerçekleştirir ve oturum bazlı karmaşık özellikler kullanmaz.

Yapılandırma:

• PgBouncer max_client_conn: 1500 (Tahmini maksimum eşzamanlı uygulama bağlantısı).
• PgBouncer default_pool_size: 50 (PostgreSQL'e açılacak maksimum bağlantı sayısı, bu değer max_db_connections'tan düşük olmalıdır).
• PostgreSQL max_connections: 100 (PgBouncer'dan gelen bağlantılar için ayrılmış, default_pool_size'dan biraz yüksek).

Bu yapılandırma ile 1500 uygulama bağlantısı bile olsa, PgBouncer PostgreSQL'e yalnızca 50 civarında kalıcı bağlantı açar. Bu, PostgreSQL sunucusunun bağlantı yönetimi yükünü önemli ölçüde azaltır ve aynı zamanda FATAL: too many connections hatasının önüne geçer. Uygulama kesintiye uğramaz, performans stabilleşir.

PgBouncer'ı bir Linux sunucuda kurma ve başlatma:

# Kurulum (örneğin Ubuntu üzerinde)
sudo apt update
sudo apt install pgbouncer

# Yapılandırma dosyasını düzenle
sudo nano /etc/pgbouncer/pgbouncer.ini
sudo nano /etc/pgbouncer/userlist.txt # Kullanıcı ve şifreleri ekle: "app_user" "app_password"

# Servisi yeniden başlat
sudo systemctl restart pgbouncer
sudo systemctl enable pgbouncer

Uygulama katmanında bağlantı dizesi güncellemesi:

# Önceki bağlantı dizesi
# jdbc:postgresql://mydb.xxxxxxxx.eu-central-1.rds.amazonaws.com:5432/prod_app_db

# Yeni bağlantı dizesi (PgBouncer'ın IP'si veya hostname'i)
jdbc:postgresql://<pgbouncer_instance_ip>:6432/prod_app_db

PgBouncer Yönetimi ve İzleme

PgBouncer, kendi yönetim konsolu üzerinden durumunu ve metriklerini izleme imkanı sunar. Özel bir "pgbouncer" veritabanına bağlanarak bu komutları yürütebilirsiniz:

psql -h <pgbouncer_host> -p 6432 -U pgbouncer_admin pgbouncer

-- Bağlantı durumu
SHOW STATS;
SHOW CLIENTS;
SHOW SERVERS;

-- Havuz bilgileri
SHOW POOLS;

-- Konfigürasyon
SHOW CONFIG;

SHOW STATS komutu, havuzların kullanım oranları, işlem sayıları ve gecikme süreleri hakkında değerli bilgiler sağlar. Bu veriler, PgBouncer'ın etkili bir şekilde çalıştığını doğrulamak ve potansiyel darboğazları tespit etmek için önemlidir.

Dikkat Edilmesi Gerekenler ve En İyi Uygulamalar

• Güvenlik: userlist.txt dosyasının izinlerini sıkı tutun. Uygulama şifrelerini doğrudan pgbouncer.ini içine yazmak yerine, ortam değişkenleri veya gizli yönetim servisleri (örn. AWS Secrets Manager) aracılığıyla PgBouncer'a iletmek daha güvenlidir. TLS/SSL kullanarak PgBouncer ile PostgreSQL arasındaki ve PgBouncer ile istemciler arasındaki bağlantıları şifreleyin.
• Yüksek Erişilebilirlik: Tek bir PgBouncer instance'ı bir hata noktası (Single Point of Failure) oluşturur. Yüksek erişilebilirlik için birden fazla PgBouncer instance'ı dağıtın ve bunların önüne bir yük dengeleyici (Load Balancer) koyun.
• İzleme ve Uyarı: PgBouncer'ın loglarını ve SHOW STATS çıktılarını düzenli olarak izleyin. Bağlantı havuzu tükenmesi veya performans düşüşleri gibi durumlar için uyarılar yapılandırın. Prometheus Exporter gibi araçlarla metrikleri toplayıp görselleştirebilirsiniz.
• pool_mode Seçimi: Uygulamanızın davranışını iyi anlayın. Çoğu modern uygulama için session veya transaction havuzlama uygun olacaktır. statement havuzlama çok nadir durumlarda ve büyük bir dikkatle kullanılmalıdır.

PgBouncer, doğru uygulandığında PostgreSQL tabanlı sistemlerin ölçeklenebilirlik ve performans limitlerini önemli ölçüde artıran, maliyet etkin bir çözümdür. Bağlantı yönetimini merkezileştirerek veritabanı sunucusunun yükünü hafifletir ve uygulamaların daha tutarlı bir performans sergilemesini sağlar.