rclone: bulutlar arasında dosya kopyalamak, senkronlamak ve taşımak

rclone nedir ve neyde iyidir

rclone, dosyaları diskiniz ile bulut depolama arasında ya da iki bulut arasında kopyalamak, senkronlamak ve taşımak için ücretsiz, açık kaynaklı bir komut satırı programıdır. Sık sık "bulut depolama için rsync" diye anılır: Go ile yazılmış, Amazon S3 ve S3 uyumlu her servis, Google Drive, OneDrive, Dropbox, Azure Blob, Backblaze B2, SFTP ve WebDAV dahil 70'ten fazla depolama backend'ini konuşan tek bir binary.

Onu kullanışlı yapan fikir remote'tur. Her depolama hesabını bir kez tanımlar, ona s3old ya da gdrive gibi kısa bir ad verirsiniz; o andan itibaren her komut hangisine karşı olursa olsun aynı şekilde çalışır: rclone copy ./backups s3old:my-bucket/backups, rclone copy gdrive:Photos ./photos ile birebir aynı okunur. Yol remote:path biçimindedir ve object storage'da yolun ilk parçası bucket'tır.

Pratikte rclone dört iş için kullanılır: object storage'a gecelik yedekler, bir sağlayıcıdan diğerine tek seferlik taşımalar, Google Drive'dan ya da diğer tüketici bulutlarından dosya çekmek ve bir bucket'ı yerel bir klasörmüş gibi mount etmek. Dosyaları aktarmadan önce karşılaştırır, bu yüzden ikinci çalıştırma yalnızca değişenleri gönderir; başarısız işlemleri yeniden dener ve her şeyi makineden çıkmadan önce istemci tarafında şifreleyebilir.

Ne olmadığı: Dropbox uygulaması gibi iki yönlü bir senkron istemcisi (daha yeni bisync komutu var, ama bir arka plan servisi değil, bilinçli olarak çalıştırılan bir araç) ya da tekilleştirilmiş snapshot'lar alan bir yedekleme programı. Sürümlü, tekilleştirilmiş yedekler için restic gibi araçlar rclone'u altta taşıma katmanı olarak kullanır.

rclone'u Linux, macOS ve Windows'a kurmak

rclone bağımlılığı olmayan tek bir çalıştırılabilir dosyadır; kurulum büyük ölçüde binary'nin nereden geldiği sorusudur. Dağıtım paketleri (apt install rclone) çoğu zaman birkaç sürüm geridedir; güncel bulut API'leriyle konuşan her iş için resmî sürümü tercih edin.

Linux ve macOS: projenin kurulum betiği platformunuz için en son sürümü indirir ve /usr/bin (macOS'ta /usr/local/bin) içine koyar. macOS'ta Homebrew da çalışır, ama Homebrew sürümü rclone mount çalıştıramaz; mount gerekiyorsa resmî binary'yi macFUSE ile birlikte kullanın.

Windows: en hızlı yol winget install Rclone.Rclone; Scoop ve Chocolatey'de de var. Paket yöneticisi olmadan rclone.org/downloads adresinden zip'i indirin, rclone.exe'yi C:\rclone gibi bir klasöre açın ve o klasörü PATH'inize ekleyin. PowerShell'den ya da cmd'den çalıştırın; yükleyicisi ve kendine ait bir arayüzü yoktur. Windows'ta rclone mount kullanmak için ayrıca WinFsp gerekir.

Sonucu rclone version ile kontrol edin. Resmî sürümden kurulan bir binary daha sonra kendini rclone selfupdate ile güncelleyebilir; paketle kurulan ise paket yöneticisi üzerinden güncellenmelidir.

# Linux / macOS: official install script
sudo -v ; curl https://rclone.org/install.sh | sudo bash

# macOS with Homebrew (no rclone mount support)
brew install rclone

# Windows (PowerShell)
winget install Rclone.Rclone

# everywhere
rclone version

rclone config ve remote kavramı

rclone config etkileşimli bir sihirbaz başlatır: yeni remote için n, bir ad, depolama türü, ardından o türün sorduğu sorular (anahtarlar, endpoint, region ya da Google Drive ve diğer OAuth servisleri için tarayıcıda giriş). Cevaplar düz bir INI dosyasına, rclone.conf'a yazılır. rclone config file nerede olduğunu yazdırır: Linux ve macOS'ta genellikle ~/.config/rclone/rclone.conf, Windows'ta %APPDATA%\rclone\rclone.conf.

Sıradan bir metin dosyası olduğu için remote'ları elle de yazabilir, dosyayı bir sunucuya kopyalayabilir ya da secret araçlarınızda tutabilirsiniz. Ona bir secret gibi davranın: erişim anahtarlarını ve OAuth token'larını tutar. rclone'un kendi yazdığı secret'lar şifrelenmez, yalnızca gizlenir (obscured); dosyanın paylaşılan bir makinede durması gerekiyorsa rclone config bir yapılandırma parolası sunar.

Her [section] bir remote'tur. Ona name: ve ardından bir yolla erişirsiniz. Object storage'da tek başına name: hesabı, name:bucket bir bucket'ı, name:bucket/prefix ise içindeki bir "klasörü" ifade eder. rclone lsd name:, anahtarların ve endpoint'in çalıştığını görmenin en hızlı testidir.

Tek yol dosya değil. Her seçenek RCLONE_CONFIG_<REMOTE>_<OPTION> adlı bir ortam değişkeninden de gelebilir; bu, yapılandırma dosyası taşımak yerine secret enjekte etmeyi tercih ettiğiniz container'lara ve CI'a uyar.

rclone.conf içinde iki remote: AWS S3 ve Google Drive

[s3old]
type = s3
provider = AWS
access_key_id = AKIA...
secret_access_key = ...
region = eu-central-1

[gdrive]
type = drive
scope = drive.readonly
token = {"access_token":"...","expiry":"..."}

# the same S3 remote from environment variables instead
# RCLONE_CONFIG_S3OLD_TYPE=s3
# RCLONE_CONFIG_S3OLD_PROVIDER=AWS
# RCLONE_CONFIG_S3OLD_ACCESS_KEY_ID=AKIA...

Temel komutlar ve copy ile sync farkı

rclone copy dosyaları kaynaktan hedefe kopyalar ve orada zaten birebir aynı olan dosyaları atlar. Hedefte hiçbir zaman bir şey silmez; bu da onu güvenli varsayılan yapar.

rclone sync hedefi kaynakla birebir aynı yapar; buna kaynakta olmayan hedef dosyalarını silmek de dahildir. Yanlış klasöre yönlendirin ya da kaynakla hedefin yerini karıştırın, veri siler; versioning açık değilse object storage'ın geri dönüşüm kutusu da yoktur. Yeni bir sync komutunu her zaman önce --dry-run ile çalıştırın, neyi sileceğini okuyun ve ancak ondan sonra gerçekten çalıştırın. Zamanlanmış işler için --max-delete 100 kullanışlı bir emniyet kemeridir: çalıştırma bundan fazlasını silmek yerine durur.

rclone move önce kopyalar, sonra her dosyayı yerine ulaştığında kaynaktan siler; klasörleri de temizlemek için --delete-empty-src-dirs ekleyin. rclone check kaynak ile hedefi karşılaştırır ve hiçbir şeyi değiştirmeden farkları raporlar (aşağıda daha fazlası var).

Etrafa bakmak için: rclone lsd remote: bucket'ları ya da dizinleri listeler, rclone ls remote:bucket her nesneyi boyutuyla listeler, rclone lsf betiklere uygun bir liste verir, rclone size remote:bucket ise nesne sayısını ve toplam baytı yazdırır; bir taşımadan sonra karşılaştırılacak ilk sayı budur. Alanın nereye gittiğini görmeniz gerektiğinde rclone tree ve rclone ncdu yardımcı olur.

Neredeyse herkesi şaşırtan bir davranış var: sonunda eğik çizgi olan rsync gibi, rclone kaynak dizinin kendisini değil içeriğini kopyalar. rclone copy ./photos remote:bucket dosyaları bucket'ın köküne koyar; klasörü istiyorsanız remote:bucket/photos yazın. Tek bir dosyayı kopyalamak ya da yeniden adlandırmak için copyto veya moveto kullanın.

rclone lsd s3old:                       # buckets this key can see
rclone ls s3old:media/2026/             # objects and sizes
rclone size s3old:media                 # count + total bytes

rclone copy ./site s3old:media/site -P  # upload, never deletes
rclone sync ./site s3old:media/site --dry-run   # preview first
rclone sync ./site s3old:media/site -P  # then for real

rclone move ./outbox s3old:media/inbox --delete-empty-src-dirs
rclone copyto ./logo.png s3old:media/img/logo-v2.png

Önemli flag'ler: dry run, hız ve bant genişliği

--dry-run (-n) hiçbir şeye dokunmadan neyin kopyalanacağını ya da silineceğini gösterir. --interactive (-i) her yıkıcı işlemden önce sorar; tek seferlik bir temizlik için kullanışlıdır.

--progress (-P) anlık aktarım hızını, sayıları ve tahmini bitiş süresini gösterir. Gözetimsiz çalışan işler için bunun yerine --log-file rclone.log --log-level INFO kullanın; böylece ne olduğunu sonradan okuyabilirsiniz.

--transfers (varsayılan 4) kaç dosyanın paralel aktarılacağını, --checkers (varsayılan 8) kaç karşılaştırmanın paralel çalışacağını belirler. Object storage istek başına yavaş, toplamda hızlıdır; bu yüzden çok sayıda küçük dosya --transfers 16 ile 32 arası ve --checkers 32 ya da daha fazlasından yararlanır. Değerleri kademeli artırın: sağlayıcılar rate limit uygular ve fazla paralel istek yeniden denemelere dönüşür.

--bwlimit bant genişliğini sınırlar; örneğin --bwlimit 20M (saniyede bayt, yani 20 MiB/s) ya da mesai saatlerinde kısıp gece serbest bırakan --bwlimit "08:00,10M 19:00,off" gibi bir zaman çizelgesi.

--s3-chunk-size (varsayılan 5 MiB) multipart yüklemelerin parça boyutunu, --s3-upload-concurrency (varsayılan 4) tek bir dosyanın kaç parçasının aynı anda yükleneceğini belirler. Hızlı bir hatta büyük dosyalar için --s3-chunk-size 64M istek sayısını ciddi şekilde azaltır. Bellek kullanımı transfers × upload-concurrency × chunk-size ile büyür; 16 aktarımla 64 MiB'lık parça birkaç gigabayt RAM tutabilir. S3 nesne başına en fazla 10.000 parçaya izin verir; rclone dosyanın boyutunu bildiğinde parça boyutunu kendisi büyütür, ama akış hâlindeki yüklemelerde (rcat) büyütmez.

Milyonlarca nesne içeren bucket'larda --fast-list bellek pahasına bütün bucket'ı daha az istekle listeler; --checksum ya da --size-only ise rclone'un her nesnenin değiştirilme zamanını okumasını engeller, ki bu S3'te nesne başına fazladan bir isteğe mal olur.

rclone copy /srv/backups s3old:backups/db \
  --transfers 16 --checkers 32 \
  --s3-chunk-size 64M --s3-upload-concurrency 4 \
  --bwlimit "08:00,20M 20:00,off" \
  --log-file /var/log/rclone-backup.log --log-level INFO

S3 uyumlu bir remote yapılandırmak: örnek olarak CDN.com.tr

S3 API'sini uygulayan her servis rclone'un s3 türünü kullanır. Sağlayıcıdan sağlayıcıya değişen alanlar provider, endpoint ve bazen region'dır. rclone'da adı geçen bir sağlayıcı varsa (AWS, Cloudflare, Minio, Wasabi ve diğerleri) onu kullanın; o servisin kendine özgü davranışlarını açar. rclone'un listelemediği bir servis için provider = Other kullanın.

CDN.com.tr object storage S3 uyumludur ve rclone onunla olduğu gibi çalışan istemcilerden biridir. Endpoint https://s3.cdn.com.tr'dir; region soran araçlarda varsayılan bırakılabilir ve servis path-style adreslemeyi bekler; bu, provider = Other için rclone'un varsayılanıdır. Bucket'lar ve erişim anahtarları panelde (Access Keys sekmesi) ya da cdnctl ile oluşturulur. Secret key yalnızca bir kez, oluşturulurken gösterilir; onu doğrudan rclone yapılandırmasına ya da secret manager'ınıza kopyalayın.

Anahtarları hizmet ettikleri bucket'la sınırlamak en iyisidir. Böyle bir anahtarın bucket oluşturmaya yetkisi yoktur, bu yüzden rclone'a denememesini söyleyin: no_check_bucket = true, rclone'un aksi hâlde yüklemeden önce yaptığı bucket oluşturma kontrolünü atlar. Aynı nedenle, bucket'a sınırlı bir anahtarı bütün hesabı listeleyerek değil, rclone lsd cdntr:my-bucket ile test edin.

Burada kontrol katmanını cdnctl üstlenir: bucket'lar, anahtarlar ve container uygulamalarına bağlamalar. Nesnelerin kendisini okumak ve yazmak ise rclone gibi bir S3 istemcisinin işidir. (Ayrı bir komut olan cdnctl cp, farklı bir ürün olan CDN dosya depolamasına yükleme yapar; bkz. CDN dosya depolama.)

rclone.conf: bir CDN.com.tr object storage remote'u

[cdntr]
type = s3
provider = Other
access_key_id = <access key from the panel>
secret_access_key = <secret, shown once at creation>
endpoint = https://s3.cdn.com.tr
no_check_bucket = true

# test it
# rclone lsd cdntr:my-bucket
# rclone copy ./smoke.txt cdntr:my-bucket/ -v

Sağlayıcılar arasında taşıma: R2, B2 ya da AWS S3'ten başka bir S3'e

İki S3 servisi arasında taşıma, iki remote ve tek bir komuttur. rclone iki tarafı da listeler, karşılaştırır ve eksik olanı kopyalar; bu yüzden aynı komutu tekrar tekrar çalıştırabilirsiniz: ilk çalıştırma verinin büyük kısmını taşır, sonrakiler yalnızca değişiklikleri, geçiş anındaki son çalıştırma ise kısa sürer.

Veri rclone'u çalıştıran makinenin üzerinden akar: kaynaktan indirir ve hedefe yükler. Bunu bir dizüstü bilgisayarda değil, iki uca da iyi bant genişliği olan bir sunucuda çalıştırın ve önce kaynak sağlayıcının egress fiyatlandırmasına bakın. AWS dışarı giden trafiği faturalar, Backblaze B2 depoladığınız verinin bir katına kadar egress'i ücretsiz verir, Cloudflare R2 ise egress ücreti almaz. Sunucu tarafı kopyalama yalnızca tek bir sağlayıcının içinde olur.

Büyük taşımaları daha hızlı ve ucuz yapan ayarlar: listeleme isteklerini azaltmak için --fast-list, rclone'un değiştirilme zamanlarını nesne nesne çekmek yerine boyut ve hash karşılaştırması için --checksum, kaynak izin veriyorsa daha yüksek --transfers ve --checkers. Bir hata hiçbir şeyi silemesin diye sync ile değil copy ile başlayın; arada kaynakta nesneler silindiyse yalnızca son geçiş için sync'e geçin (önce --dry-run ile).

Backblaze B2 için rclone'un yerel b2 türünü ya da B2'nin S3 endpoint'ini kullanabilirsiniz; ikisi de çalışır. R2 anahtarları Cloudflare panelinde oluşturulur ve endpoint'i hesap kimliğinizi içerir. Karşılaştırma sayfalarımız taşımaları ayrıntılı anlatıyor: Cloudflare R2 alternatifi, Backblaze B2 alternatifi ve IDrive e2 alternatifi. Uygulama tarafında değişen tek şey endpoint ve anahtarlardır.

# rclone.conf (source)
[r2]
type = s3
provider = Cloudflare
access_key_id = ...
secret_access_key = ...
endpoint = https://<ACCOUNT_ID>.r2.cloudflarestorage.com
region = auto

# 1. preview, 2. bulk copy, 3. repeat until the delta is small
rclone copy r2:media cdntr:media --dry-run
rclone copy r2:media cdntr:media \
  --fast-list --checksum --transfers 32 --checkers 64 -P

# cutover: stop writes, final pass, then compare
rclone sync r2:media cdntr:media --fast-list --checksum -P
rclone check r2:media cdntr:media --one-way

Bir taşımayı rclone check ile doğrulamak

rclone check source: dest: iki tarafı nesne nesne karşılaştırır ve bir özet yazdırır: kaç dosya eşleşiyor, kaçı farklı ve hangileri yalnızca bir tarafta var. Hiçbir şeyi değiştirmez. --one-way yalnızca hedefte eksik ya da farklı olan kaynak dosyalarına bakar; hedefte zaten fazladan veri olduğunda istediğiniz budur.

Karşılaştırma boyutları ve, iki tarafın ortak bir hash türü varsa, hash'leri kullanır. S3'te bu hash MD5'tir ve tuzak burada: birden fazla parça hâlinde yüklenmiş bir nesnenin ETag'i onun MD5'i değildir. rclone multipart dosyaları kendisi yüklediğinde gerçek MD5'i nesne metadata'sına yazar, ama başka araçların yazdığı nesnelerde çoğu zaman bu bilgi yoktur; bu yüzden onlar için check yalnızca boyutları karşılaştırabilir ve bunu çıktısında söyler ("hashes could not be checked"). Bayt bayt kesinlik gerektiğinde --download iki kopyayı da okuyup içeriği karşılaştırır; bedeli her şeyi yeniden aktarmaktır.

Saklayabileceğiniz raporlar için listeleri --combined, --missing-on-dst ve --differ ile dosyalara yazın. Son bir sağlama olarak iki tarafta rclone size'ı karşılaştırın; şifreli bir remote için şifreli kopyayı düz kaynağa karşı kontrol eden rclone cryptcheck'i kullanın.

rclone size r2:media && rclone size cdntr:media

rclone check r2:media cdntr:media --one-way \
  --combined check-report.txt \
  --missing-on-dst missing.txt --differ differ.txt

# slow but exact: download and compare the bytes
rclone check r2:media cdntr:media --download

Kısaca Google Drive, şifreleme ve mount

Google Drive. rclone config içinde drive'ı seçin, bir kapsam belirleyin (indirmek için drive.readonly yeterli) ve erişimi tarayıcıda onaylayın. Tarayıcısı olmayan bir sunucuda auto config sorusuna n deyin, tarayıcısı olan bir makinede rclone authorize "drive" çalıştırın ve token'ı geri yapıştırın. rclone'un yerleşik client ID'si tüm kullanıcılar tarafından paylaşılır ve rate limit'e takılır; yoğun kullanım için Google Cloud'da kendi OAuth istemcinizi oluşturup kurulum sırasında girin. Google Docs dosyaları gerçek dosya değildir, bu yüzden rclone indirirken onları dışa aktarır (docx, xlsx vb.). Google ayrıca yüklemeleri kullanıcı başına günde yaklaşık 750 GB ile sınırlar; Drive'a *doğru* büyük bir taşıma birkaç gün sürer.

Şifreleme. Bir crypt remote'u başka bir remote'u sarar ve yüklemeden önce dosya içeriklerini, isteğe bağlı olarak adlarını da şifreler. Onu örneğin cdntr:backups üzerine kurarsınız ve crypt remote'u üzerinden yazarsınız; sağlayıcı yalnızca şifreli metni görür. Parola ve salt rclone.conf içinde durur: onları kaybederseniz veri kurtarılamaz, bu yüzden veriden ayrı bir yerde yedekleyin.

Mount. rclone mount remote:bucket /mnt/bucket bir bucket'ı klasör gibi gösterir (Windows'ta WinFsp kuruluyken X: gibi bir sürücü harfine mount edin). Dosyaları yeniden yazan uygulamaların düzgün çalışması için --vfs-cache-mode writes ya da full ekleyin. Mount gezinmek, medya kütüphaneleri ve ara sıra okumalar için uygundur; bir disk değildir, veritabanlarını ya da dosya kilitlemesi gerektiren hiçbir şeyi üzerine koymayın.

Drive'dan indirin; bir bucket üzerine şifreli bir remote ekleyin

rclone copy gdrive:Projects ./projects -P

# rclone.conf: encrypted backups inside an existing bucket remote
[secure]
type = crypt
remote = cdntr:backups/encrypted
filename_encryption = standard
password = <obscured by rclone config>
password2 = <obscured by rclone config>

rclone copy /srv/backups secure: -P

rclone'u zamanlamak: cron, systemd ve Görev Zamanlayıcı

rclone'un kendine ait bir zamanlayıcısı yoktur; bir zamanlayıcı tarafından çalıştırılmak üzere tasarlanmıştır. Linux'ta çoğu iş için bir cron girdisi yeterlidir. Yavaş bir çalıştırmanın üzerine bir sonrakinin binmemesi için komutu flock ile sarın, bir dosyaya log yazın ve --config'i açık bir yola yönlendirin; çünkü cron farklı bir HOME ile çalışır ve aksi hâlde remote'larınızı bulamaz.

Silme yapan bir sync için emniyet kemerlerini ekleyin: her zamankinden çok daha fazlasını silecek bir çalıştırmayı durdurmak için --max-delete, üzerine yazılan ve silinen dosyaları kaybetmek yerine tarihli bir klasöre taşımak için --backup-dir. rclone'un çıkış kodu başarıda 0, hatada sıfırdan farklıdır; böylece sarmalayıcı betik ya da systemd unit'i alarm üretebilir. Bir aydır sessizce başarısız olan bir iş, yedeklerin olağan başarısız olma biçimidir.

systemd kullanan makinelerde bir service artı bir timer, journal'da loglama ve yeniden başlatmadan sonra kaçırılan işi çalıştıran Persistent=true sağlar. Windows'ta, tam config yolu ve bir log dosyasıyla rclone.exe'yi çalıştıran bir Görev Zamanlayıcı (Task Scheduler) görevi oluşturun; görevi hem dosyalara hem de config'e erişimi olan bir hesap altında çalıştırın.

# crontab -e  (02:30 every night)
30 2 * * * flock -n /tmp/rclone-backup.lock \
  rclone sync /srv/backups cdntr:backups/nightly \
  --config /home/backup/.config/rclone/rclone.conf \
  --max-delete 200 \
  --backup-dir cdntr:backups/deleted/$(date +\%F) \
  --log-file /var/log/rclone-backup.log --log-level INFO