Kısa cevap no. Akış sistemi, verileri normal olarak depolandığından farklı bir depolama biçiminde/sistemde akıtılan verileri arabelleğe alır. Tamponlanan verileri geleneksel depolama sistemine düzenli olarak akıtıyoruz, bu noktada ilgilendiğiniz tablo meta verileri, temizlenen veriler.
Bu davranışın nedeni, aktif olarak akışlı bir sistemde, bu istatistiklerin potansiyel olarak sürekli değişmesidir ve bu nedenle yanlış olacaktır. Akış besleme hizmeti dağıtılmış bir sistem olduğundan, arabelleğe alınmış veriler hakkında doğru istatistikleri elde etmenin tek yolu, tarama arabelleği arabelleğidir ve güncelleme istatistiklerini hesaplar (bu, yanıtın döndürülmesiyle yanlış/eskidir) ayrıca çok pahalı olabilirler. Bu istatistiklerin meta veri değerlerini sabit tutmak için "temizlenen" verilere bağlı kalmasını ve pahalı bir arabellek taraması yapılmasını gerektirmediğinden veri döndürülmesini bekledik.
Tabloda "streamingBuffer" adlı meta verilerde, satır/bayt üzerinde tahminler ve bazı zamanlama istatistikleri sağlayan bir bölüm var.
Sorgunuzdan tablo jokerlerinden bilgi kullandığınızı görüyorum (TABLE_QUERY kastediyorsunuz?). Tahmin edilen verileri, tablo sorgusu için kullanılabilen alanlarda streamingBuffer bölümünden içerecek şekilde bir hatayı dosyalayacağım.
Karşılaştığınız sorunun belirli bir örneğini verebilir misiniz? Sorunun ne olduğundan emin değilim ... Bazı özel sorular: tabloları önceden oluşturuyorsunuz veya şablon tabloları kullanıyorsunuz (https://cloud.google.com/bigquery/streaming-data-into-bigquery#template-tables)? Ne tür geçersiz meta veriler görüyorsunuz? Bunu ne zaman görüyorsun? –
Bir tablo oluşturup içine veri akıtıyorum. Her neyse, tablo meta verilerini güncellemeyi zorlamak için bir belirsizlik arıyorum ve belirsiz bir programa ulaşmak için bazı arka plan işlemlerinin beklemesini beklemiyorum. –
Şablon tablolarına akış oluşturmaya ve ilişkili tablonun oluşturulmasına mı atıf yapıyorsunuz? Yoksa bunun yerine, tablo meta verilerindeki tablo istatistikleri (bayt, satır vb.) Hakkında konuşuyor musunuz? –