Olası Çoğalt: Biz S3 üzerinde kullanıcı verilerini depolayan bir uygulama var
Notification of new S3 objectsKullanıcı bir S3 ürün grubuna yüklendiğinde bildirim alın.
. Uygulamanızın yüklemeleri işleyen kısmı, verileri işleyen kısımdan ayrıştırılır. Bazı durumlarda, kullanıcı, uygulamamızdan hiçbir şekilde geçmeden doğrudan S3'e veri yükleyebilir (bu, kendi S3 hesaplarına sahipse ve bize kimlik bilgilerini sağladıysa olabilir).
S3 kovası içeriği değiştiğinde bildirim almak mümkün mü? Bir şekilde "bu dosya eklendi/güncellendi/silindi: foo" yazan bir mesaj gönderilebilirse harika olurdu.
Bunun bir sonucu olarak, anketin en son ne zaman güncelleştirileceğini anlayabileceğim bir zaman damgası var mı?
Eğer bunlardan hiçbirini yapamazsam, o zaman tek seçenek tüm kepçeyi taramak ve değişiklikleri aramaktır. Bu yavaş ve pahalı olacak.
Daha küçük hacimli nesneler için, adın ön eki düzgün çalışacaktır. Büyük hacimli nesneler için, bu aslında S3'ü yavaşlatır. S3, veriyi kova adı/nesne anahtarına göre dahili olarak bölümlere ayırır ve aynı önek içeren anahtarlar büyük olasılıkla aynı bölüm içinde olur. Yüksek yükleme kapasitesi için, nesne tuşlarının dizenin başında değiştirilmesini sağlamanız gerekir. Ayrıntılar için bakınız: http://aws.typepad.com/aws/2012/03/amazon-s3-performance-tips-tricks-seattle-hiring-event.html – dlaidlaw
@dlaidlaw: Amazon tarafından açıklandığı gibi, kolayca Tuşların özel önek dağıtımı olmadan bile saniyede 100'den fazla istek patlaması. Gelen sıranızı bundan daha hızlı işliyorsanız, önek yerine "işlenmemiş" bir kepçe kullanabilirsiniz. Bununla birlikte, bu oranda büyük olasılıkla paralel işlemciler kullanacaksınız, bu noktada, incelenen işlenmemiş dosyaların tek bir listesini (öneriyi hangi dosyada işlediğini nereden biliyorsunuz?) Bulunmasını öneriyoruz. –
Çok yüksek verim için SQS'ye dosyaya SQS içeren bir mesaj yazarım. Birden çok iş parçacığı SQS sırasını işleyebilir. Evet, SQS mesajının yazılı olduğu ek yük var, ancak gerekli ve S3'e dosya gönderen tüm iş parçacıklarına dağıtılıyor. Amazon'un S3'te bir SNS mesajı oluşturmak için bir bayrağı olması çok daha iyi olurdu, bu da yükü iş parçacıkları boyunca dağıtmak için bir SQS sırasına abone olabilirsiniz, ancak o zamana kadar kendi mesajlarınızı SNS'ye veya SQS. – dlaidlaw