Derin öğrenme teknikleri kullanarak denetimli öğrenme (belge sınıflandırması)

Question

Derin öğrenmeye dair kağıtları okuyorum. Çoğu denetimsiz öğrenmeye işaret ediyor. Ayrıca nöronların denetimsiz RBM ağı kullanılarak önceden eğitildiğini de söylerler. Daha sonra geri yayılım algoritması (denetlenen) kullanılarak ince ayar yapılır.

Derin öğrenmeyi kullanarak denetimli öğrenme problemlerini çözebilir miyiz?

Belge sınıflandırma sorunu için derin öğrenmenin uygulanıp uygulanamayacağını bulmaya çalışıyorum. Oldukça iyi sınıflandırıcılar olduğunu biliyorum. Ama amacım, bu amaçla derin öğrenmeyi kullanıp kullanamayacağımızı öğrenmek.

Answer 1

Derin bir öğrenme, bilinmeyen kavramların öğrenilmesi ile ilgilidir, bu nedenle tipik olarak veri kümelerindeki kalıpları bulmak açısından kullanılır. Bu modeller denetimsizdir, çünkü bu modeller zorunlu olarak bilinmemektedir. Ancak, denetimli öğrenmede, ihtiyaç duyduğunuz modelin türü, öğrenmeye çalıştığınız verilere uyan eğitim kalıpları biçiminde kolayca anlaşılır. Bu modeller, verilerinize (örneğin, geri yayılımı kullanarak eğitilmiş bir sinir ağı) modelinize temel oluşturuyor. Yeni kavram ve bileşenlerin gerçek bir keşfi yoktur. Öyleyse, bu bakış açısıyla, denetlenen öğrenme problemlerini çözmek için hiçbir derin eğitimin uygulanamayacağını söyleyebilirim.

Bunu söyledikten sonra, verilerinizde ilginç desenler bulmak için kullanabilirsiniz. Daha sonra bu ilginç modelleri standart denetimli bir yaklaşım kullanarak eğitim için bir temel olarak kullanabilirsiniz. Belki de yukarıda yaptıkları şey budur, burada

'dan bahseder. Ayrıca nöronların denetlenmemiş RBM ağı kullanılarak önceden eğitildiğini söylerler. Daha sonra, ileri yayılım algoritması (denetlenenler) kullanılarak ince ayar yapılır.

Ne okuduğunuzu okumadan, belki de en ilginç verileri bulmak için denetlenmeyen bir algoritma ile başlamışlar ve bunu yaparken de bir boyutsal boyut küçültme gerçekleştirmişlerdir. denetimli algoritma.

Answer 2

Özetle - evet, genellikle denetimli olarak kullanılabilir. Tam olarak Ben J'nin tarif ettiği gibi - mimarinin "derinliği", daha önce ön işlem katmanı (ince ayar yok) veya başlatma olarak kullanılabilen, verilerinizin çok soyut gösterimini oluşturmak için denetlenmeyen şekilde kullanılır. sinir ağı için (ince ayar, Hinton benzeri). Özellikle bu tür yaklaşımları metinler için kullanabilirsiniz.

DBMS ile metin belgelerini modelleme konusunda Hinton tarafından ilginç çok yeni kağıt yok: http://www.cs.toronto.edu/~rsalakhu/papers/uai13.pdf

"klasik" DBN (Derin Beiief dahil belirli pylearn kütüphane uygular böyle yaklaşımlar birçok kaynak DAİREMİZ çevrimiçi, vardır Ayrıca, sadece yığılmış RBM'leri kullanarak sınıflandırma yapmak da mümkündür, bu modele "sınıflandırma RBM" denir. Daha fazla ayrıntı elde edilebilir: http://machinelearning.org/archive/icml2008/papers/601.pdf

Answer 3

Yukarıda verilen iyi referansın yanı sıra, Yann Le Cunn'ın grubu tarafından, herhangi bir harici özellik çıkartma kütüphanesi kullanmadan sadece karakterleri kodlayarak metin sınıflandırması yapan başka bir kağıt daha vardır. Sadece karakter seviyesinde kodlayarak çalışır. % 98 doğrulukta iddia ediyorlar.Kesinlikle

http://arxiv.org/pdf/1502.01710v2.pdf

Answer 4

Evet. Aslında endüstride derin öğrenme çoğunlukla denetlenen sorunları çözmek için kullanılır. RBM ve bu gibi denetlenmeyen şeyler akademik çevrelerin dışında yaygın olarak uygulanmaz. Gözetimli öğrenmeyle derin öğrenmeyle ilgili daha fazla bilgi edinmek için, 2012'den sonra makaleleri okuyabilir, ImageNet Challenge ile ilgili herhangi bir şeyden başlayabilirsiniz. lejlot ve Ben