Hızlı Başlangıç: Kutupları AI ile dengeleme (Cartpole)

• Toplam tamamlama süresi:50 dakika
• Etkin süre:5 dakika
• Makine eğitim süresi:45 dakika

Bir AI'ye hareketli bir tabanda kararsız bir kutupla, önceden tanımlanmış bir simülatörle ve örnek kodla Bonsai dengelemeyi öğretir.

Başlamadan önce

Bu tanıtıma tamamlamak için geçerli bir Microsoft veya Azure hesabınız ve Azure'da sağlanan geçerli bir Bonsai çalışma alanınız olmalıdır. Bir hesaba veya Azure deneme sürümüne ihtiyacınız varsa, 'daki yönergeleri Microsoft account setup for Bonsai izleyin.

1. Adım: Cartpole beyni yükleme

Bonsai , ters çevirmiş kalem sorunu (Cartpole) için önceden paketli bir simülatör ve örnek kod sağlar. Beyninizi oluşturmak için:

1. Sign into the Bonsai UI.
2. Aşağıdaki iletişim kutusundan tanıtım beyinleri listesinden Cartpole'Başlarken seçin.
3. Yeni beyninizi ("Cartpole Demo" gibi) olarak adlandırılır.
4. Örnek beyin ve simülatör yüklemek için Beyin Oluştur'a tıklayın.

2. Adım: Müfredatı inceleme

Bonsai tanıtım beyniniz yüklenirken öğretim kullanıcı arabirimini açar. Öğretim kullanıcı arabiriminde kodlama paneli ve grafik paneli bulunur. Kodlama panelinde, öğretim kodunuzu (müfredat) Inkling adlı özel bir dilde yazılmış olarak görüntüler. Grafik panelindeki grafik, Inkling kodu tarafından tanımlanan, iterative öğrenme işlemini temsil eder.

Bonsai Teaching UI" (Bonsai Öğretimi Kullanıcı Arabirimi) "50-0" data-linktype="relative-path">

Öğretim grafındaki farklı düğümlere tıklarken örnek kodda ilgili bölüm vurgulanır:

• Durum düğümü:Simülasyon çalıştırıldık (gözlemlenebilir algılayıcı durumları) olarak beyinde bulunan bilgileri kapsüller. Cartpole için gözlemlenebilir algılayıcı durumları, tabanın geçerli konumu ve hızı ile kutupların geçerli açısıdır.
• Kavram düğümü:Beyinin eğitim hedefleriniz tarafından tanımlandığı şekilde öğrenmesi istediğiniz kavramı kapsüller. Cartpole için kavram, önceden tanımlanmış bir alanda belirli bir tolerans içinde bir kutup dengelemesidir. Karşılık gelen Inkling hedefleri, kutupun ( ) üzerine düşmelerini ve tabanın rayın kenarından taşınmalarını avoid Fall Over önlemektir ( avoid Out Of Range ).
• Eylem düğümü:Beyin gözlemlenen durumlara yanıt olarak gerçekleştire bir dizi geçerli eylemi kapsüller. Cartpole için kullanılabilir eylemler tabana sola veya sağa doğru iter.

3. Adım: Beyni eğitin

Eğitim kullanıcı arabirimini açın ve grafik panelindeki yeşil Eğit düğmesine tıklayarak beyin eğitimine başlayabilirsiniz.

Eğitim kullanıcı arabirimi, kodlama panelini boş bir veri paneliyle değiştirir ve güncelleştirilmiş bir öğretim grafiği gösterir. Eğitimi başlatırken otomatik Bonsai olarak bir simülatör örneği filosu başlatır. Filo, güncelleştirilmiş grafikte yeni bir Simülatör düğümü olarak görünür.

Simülatör düğümü şunları gösterir:

• simülatör adı, "BalancePoleSimulator".
• filodaki simülatör örneklerinin toplam sayısı.
• saniye başına yinelemelerde filonun genel hızı.

Bonsai Eğitim Kullanıcı Arabirimi" veri-açıklaması="100-0" data-linktype="relative-path">

Her yinelemede, beyniniz sorunu ne kadar iyi çözdüğünü temel alarak bir performans puanı kazanır. Bonsai , veri panelinde bir Hedef Memnuniyeti çizimi olarak beyninizin eğitim Bonsai raporlar. Bireysel hedef memnuniyeti değerleri, beyninizin ilgili hedefe ulaşmak için ne kadar yakın olduğunu gösterir. En son genel hedef memnuniyeti değeri, öğretim grafiğinin kavram düğümünde de raporlandı.

Beyniniz kutup dengeleme konusunda daha iyiye geldiğinden memnuniyet çizimleri yukarı doğru eğilimli olacaktır.

4. Adım: Beyni iş içinde izleyin

Cartpole simülatöründe bir görselleştirici vardır, böylece beyninizi nasıl işlemde izleyebilirsiniz? belirli bir benzetim aracılığıyla çalışır. Görselleştirmeyi görmek için veri panelinde aşağı kaydırın.

Görselleştirici basit bir taban (sepet) ve kutup 3D modelini işler. Taban, kutupların değişen konumunun yanıt olarak ekranın üzerinde sola ve sağa hareket eder.

Görselleştirici, işlenen modelin altında durum değişkenlerini ve eylemleri değiştiren bir grafik de görüntüler. Ve değerlerine cart_positionpole_angle tıklayarak kutup tabanının konumunun ve açısının zaman içinde nasıl değiştiklerini takip etmeye çalışabilirsiniz.

5. Adım: Eğitimi durdurma

Bonsai aşağıdakilerden biri oluştuğunda eğitimi otomatik olarak durdurur:

• genel hedef memnuniyet değeri %100'e ulaştı
• Graf çizgileri, önceden tanımlanmış eğitim bölümleri için yatay çizgi haline geldi.

%100 memnuniyet değeri, beyninizin geçerli müfredatı tam olarak öğrendiği anlamına gelir. Yatay çizim çizgisi, beyinin artık geliştirilemeyecek olduğu anlamına gelir. Belirli sayıda bölüm (tarafından tanımlandığı gibi) sonra bir beyin geliştirilemezse, işlem kaynaklarını boşa harcanmaması NoProgressIterationLimitBonsai için eğitimi sonlandırılır.

Eğitimi erken durdurmak için grafik panelinin üst kısmında yer alan kırmızı Eğitimi Durdur düğmesine tıklayın.

Sonraki adımlar

Tebrikler! Bir beyni hareketli bir tabanda bir kutupla dengelemek için başarıyla eğittiniz.

Cartpole beyniyle ilgili temel bilgileri anlıyoruz. Eğitim hedeflerinizi değiştirmek için Inkling kodunu özelleştirmeyi deneyin.