Giriş
Bu modülde, doğal dil metinleriyle ilgilenmek için farklı sinir ağı mimarilerini keşfedeceğiz. Son yıllarda Doğal Dil İşleme (NLP), büyük metin corpora üzerinde denetimsiz eğitim kullanırken dil modellerinin insan dilini daha hızlı "anlama" becerisinin performansından dolayı hızlı bir büyüme yaşadı. Örneğin, GPT-3 veya BERT gibi önceden eğitilmiş metin modellerini kullanarak cümle oluşturma birçok NLP görevini basitleştirdi ve performansı önemli ölçüde geliştirdi.
NLP'yi PyTorch'ta tensor olarak temsil etme ve sözcük paketi (BoW), sözcük ekleme, yinelenen sinir ağları ve üretken ağlar kullanma gibi klasik NLP mimarilerine odaklanacağız.
Doğal Dil Görevleri
Geleneksel olarak sinir ağlarını kullanarak çözmeyi denediğimiz birkaç NLP görevi vardır:
- Metin parçasını önceden tanımlanmış birkaç sınıftan birinde sınıflandırmamız gerektiğinde Metin Sınıflandırması kullanılır. E-posta istenmeyen posta algılama, haber kategorisi, kategorilerden birine destek isteği atama ve daha fazlası bunlara örnek olarak verilebilir.
- Amaç Sınıflandırması , konuşma yapay zeka sistemindeki giriş konuşmalarını tümceciğin gerçek anlamını veya kullanıcının amacını temsil eden amaçlardan biriyle eşlemek istediğimizde, metin sınıflandırmasının belirli bir örneğidir.
- Yaklaşım Analizi , belirli bir metin parçasının olumsuzluk derecesini anlamak istediğimiz bir regresyon görevidir. Bir veri kümesindeki metinleri en negatiften (-1) en pozitif olanlara (+1) etiketlemek ve bir metnin bir dizi "pozitifliğini" çıkaracak bir modeli eğitmek isteyebiliriz.
- Adlandırılmış Varlık Tanıma (NER), tarihler, adresler, kişi adları gibi bazı varlıkları metinden ayıklama görevidir. Amaç sınıflandırmasıyla birlikte, NER genellikle iletişim sistemlerinde kullanıcının konuşmasından parametreleri ayıklamak için kullanılır.
- Benzer bir anahtar sözcük ayıklama görevi, metin içindeki en anlamlı sözcükleri bulmak için kullanılabilir ve bu da etiket olarak kullanılabilir.
- Metin Özetleme , en anlamlı metin parçalarını ayıklar ve kullanıcıya anlamın çoğunu içeren sıkıştırılmış bir sürüm verir.
- Soru/Yanıt , bir metin parçasından yanıt ayıklama görevidir. Bu model metin parçasını ve soruyu giriş olarak alır ve metin içinde yanıt içeren tam yeri bulması gerekir. Örneğin, "John, Microsoft Learn'u kullanmayı seven 22 yaşında bir öğrencidir" metni ve John'un kaç yaşında olduğu sorusu bize 22 yanıtını vermelidir.
Bu modülün kapsamı için çoğunlukla metin sınıflandırma görevine odaklanacağız. Dünya, Spor, İş ve Sci/Tech olmak üzere 4 kategoriden hangisinin üyesi olduklarını sınıflandırmak için haber başlıklarındaki metinleri kullanacağız. Ayrıca, insan benzeri metin dizileri üretebilen üretken modeller de sunacağız.
Öğrenme hedefleri
Bu modülde şunları yapacaksınız:
- Doğal dil işleme görevleri için metnin nasıl işlendiğini anlama
- Yinelenen Sinir Ağları (RNN) ve Üretken Ağlar'ı kullanmaya giriş
- Metin sınıflandırma modelleri oluşturmayı öğrenin
Önkoşullar
- Temel Python bilgisi
- Jupyter Notebook'ları kullanma hakkında temel bilgiler
- Makine öğrenmesi hakkında temel bilgiler