2017-10-10 49 views
8

Tensorflow'un transform_graph aracını kullanarak bir grafiği optimize etmek istiyorum. Grafiği MultiNet'dan (ve benzer kodlayıcı-kod çözücü mimarileri olan diğerlerinden) optimize etmeye çalıştım. Bununla birlikte, optimize edilmiş grafik, quantize_weights kullanırken aslında daha yavaştır ve quantize_nodes kullanıldığında daha da yavaştır. Tensorflow'un dokümantasyonundan, iyileştirme yapılmayabilir veya nicelleştirildiğinde daha yavaş olabilir. Aşağıdaki grafik/yazılım/donanım ile normal olup olmadığı konusunda bir fikriniz var mı?Tensorflow quantization

  • OS Platformu ve Dağıtım: Burada

    referans için benim sistem bilgidir Linux Ubuntu 16.04
  • TensorFlow yüklenen: (ikili-python kullanarak, grafik dönüşüm için TF kaynak kodunu (CPU) kullanarak çıkarım
  • TensorFlow versiyonu için GPU): ikisini de kullanarak r1.3
  • Python sürümü: 2.7
  • Bazel sürümü: 0.6.1
  • CUDA/cuDNN sürümü: 8.0/6.0 (çıkarsama only)
  • GPU modeli ve hafıza: GeForce GTX 1080 Ti

Ben gerekirse yeniden üretmek kullanılan tüm komut dosyalarını gönderebilir.

cevap

0

PC ortamında aynı sorunla karşılaştım. Benim modelim nicemden 9 kat daha yavaş.

Ama nicem modelimi Android uygulamasına taşıdığımda, hızını artırmak için tamam.

Sadece CPU üzerindeki çalışma ve sadece Android telefon gibi ARM baz CPU gibi görünüyor.