2016-01-27 22 views
15

Google eğitmeninden TensorFlow'da bir modeli nasıl eğiteceğinizi biliyoruz. Ancak, eğitimli bir model kaydetmenin en iyi yolu nedir, daha sonra üretim sunucusunda temel bir minimal python api kullanarak tahmini sunun.API'dan TensorFlow kullanarak tahmin nasıl dağıtılır ve sunulur?

Soruma temel olarak, modelin kaydedilmesi ve hız ve bellek sorunlarından ödün vermeksizin canlı sunucuda öngörü hizmeti sunmak için TensorFlow uygulamasının en iyi uygulamaları söz konusudur. API sunucusu sonsuza dek arka planda çalışacağından beri.

Küçük bir python kod snippet'i takdir edilecektir.

cevap

13

TensorFlow Serving, üretim ortamları için tasarlanan ve TensorFlow için optimize edilmiş, makine öğrenimi modelleri için yüksek performanslı, açık kaynaklı bir hizmet verme sistemidir. İlk sürüm, gRPC tabanlı C++ sunucusu ve Python istemci örneklerini içerir. Temel mimari aşağıdaki şemada gösterilmiştir.

enter image description here

tutorial bakın hemen başlamak için.

+0

Bunun için teşekkürler, Jarek. TensortFlow Serving için sunucu tarafında bir python uygulaması için planlar olup olmadığını biliyor musunuz? – eriophora

+0

Temel kütüphane C++ ve performans odaklı olduğundan beri bildiğimden değil. Kullanım durumunuz hakkında daha fazla bilgi paylaşır mısınız? –

+0

Bu mantıklı. Çok sayıda kullanıcıdan gelen istekleri görüntüleyen ve görüntülerin şeklini alan ve çıkarımın sonuçlarını döndüren bir sunucuyu dağıtmak istiyorum (girdisi istek görüntüsü olan bir modelin çıktısı). Belli ki, belgelerin çoğunun (örn. Architecutre genel bakışında "servoları" tanımlamak) TensorFlow Serving'in aslında çıktılarını değil, modellerin kendileri döndürdüğünü ima ettiği görülmektedir ("Sunucular, müşterilerin gerçekleştirmek için kullandıkları temel nesnelerdir" hesaplama ") ... İstemci tarafında değil, sunucu tarafında yer almayı isterim. – eriophora

İlgili konular