Geçtiğimiz yaz OpenAI şirketi GPT3 (Generative Pretrained Transformer) ismini verdiği bir doğal dil işleme modelini duyurmuş ve makine öğrenmesi ve yapay zekâ alanında çok olumlu bir gelişme olarak kabul edilmişti. 175 milyar parametre ile bu model ile insanlar makine ile konuşarak iletişim kuruyorlar. Bu model insanlara benzeyen cümleler kurup, verilen bir atasözü üzerine 2 sayfa kompozisyon yazıp ve çok sofistike sözlerle, çok güzel şiirler üretebiliyor. Atasözü ve özlü sözlere benzer güzel cümleler kurabiliyor, temel kodlamadan, HTML ile web sitesi tasarlamaya, şiir yazmaktan tutun yapay zekâ modelleri eğitmeye kadar bir çok şeyi yapabiliyor. Bu model eğitilirken Wikipedia’daki bütün yazılar, milyonlarca kitap ve web sitelerindeki yazılar kullanıldı.
Ancak Google Google Brain ekibinden üç araştırmacı, geçtiğimiz hafta trilyon parametreli bir doğal dil işleme modeli eğittiğini açıkladı. Yapay zekâ ve makine öğrenmesinde parametreler çok önemlidir. Yapay zekâ modelleri bu verilerden öğrenerek geleceğe dönük tahminlerde ve öngörülerde bulunur. Doğal dil işleme de ise veriler sayı olmaktan çok yazıdır ve her bir kelime ve hatta iki kelime için ayrı bir sütun açılır ve algoritmayı eğitmek için hazır hale gelmiş olur.
Doğal Dil İşleme yapay zekânın en ilginç ve geleceği en parlak alanlarından birisidir. Çünkü halihazırda biz bilgisayarlarla klavye, mouse ve dokunmatik ekranlarla iletişim kurabiliyoruz. Doğal Dil İşleme ile artık konuşarak iletişim kurabileceğiz. Esasen elimizde bulunan verilerin %75’i Doğal Dil İşleme’nin ilgi alanına giriyor. Çünkü emailler, hastane raporları, sözleşmeler, mahkeme dökümanları, web sitelerindeki yazılar, kitaplar, dergiler, gazete haberleri, sosyal medya paylaşımları, videolar, ses kayıtları, podcastler, radyo yayınları gibi veriler normal veritabanlarına kaydedilmeyecek kadar karışık ve düzensiz haldeler. Doğal Dil İşleme tam burada devreye girip, yazıları okuyup, videoları izleyip, konuşulanları dinleyip anlamlı hale getiriyor ve mantıklı bir cevap üretiyor.
Doğal Dil İşleme konusunu üç ana başlıkta toplayabiliriz: Sentiment Analizi, konu modelleme(topic modelling) ve yazı üretme. Sentiment analizi konuşulan konunun pozitif mi, negatif mi yoksa nötr mü olduğunu anlamamızı sağlar. Topic modelleme ise konuşulan veya yazılan metinleri anlayıp hangi alt başlıklarda konuşulduğunu ortaya çıkarır. Son olarak metin üretme geçmiş veriler ışığında sorulara akıllı cevap verebilmesi, bir atasözü üzerine 2 sayfalık bir kompozisyon yazabilmesi, doktorların hastaları hakkında yazabilecekleri raporları tahmin edebilmesi, avukatların dava dilekçelerini otomatik hazırlayabilmesi gibi konularda yazı üretmesidir. Bu sebeple de yapay zekânın zor ve en ilginç bir alanlarından birisidir.
Doğal Dil İşleme bilen bir yapay zekâ uzmanı üzerinde çalıştığı verileri temizler. Temizlemeden kasıt, noktalama işaretlerinin kaldırılması, rakamların atılması, bütün metnin küçük harfe çevirilmesi, kelimelerden ekleri ve zaman çekimlerinin atılarak köklerinin bulunması ve sonra cümlede ayrılıp kendi başına bir sütuna atılmasıdır. Sonrasında her kelimenin bir sentiment karşılığı vardır. Bir cümlenin olumlu mu yoksa olumsuz mu olduğu sentiment(duygu) analizi ile anlaşılır. Bir cümlenin sentimenti ise bu cümleyi oluşturan kelimelerdeki her bir sentiment değerinin toplanması ile bulunur.
Metin üretme benim en çok sevdiğim alanlardan birisidir. Birkaç insanın bir kaç konuşmasını dinleyip gelecek konuşmasını tahmin etmek tam da bu alanın işidir. Mesela sosyal medya hesabı olmayan birisi eğer sosyal medya hesabı olsaydı ne yazardı diye bir çalışma var. Bu çalışma sosyal medya hesabı hiç açmamış kişilere arkadaşlarının sisteme emailleri ile login olmaları sebebiyle email adres listelerine ulaşabiliyor ve başka arkadaşları da bu şekilde üye olmuşlarsa çapraz sorgularla bahse konu sosyal medya hesabı olmayan kişinin arkadaşlarının paylaşımlarından eğer hesabı olsaydı ne paylaşırdı sorusuna %56 oranında doğru cevap verebiliyor. Zaten Facebook 70 farklı beğeniniz sayesinde sizi en yakın arkadaşınızdan daha iyi tanıyor, 300 beğenide ise ailenizden ve eşinizden daha iyi tanıyor.
Metin üretme (text generation) ile komedyenlerin bir kaç konuşmasını izleyip/dinleyip gelecek hafta ne konuşacağını az çok tahmin edebiliyoruz. En çok okunan bir çok romanı verip bu romanlardan daha güzel bir romanı yapay zekâya yazdırabiliyoruz. En güzel şiirleri verip daha güzel ve aynı derinlikte yeni şiirler üretebiliyoruz. 15 dakikalık ses kaydı ile bütün bir kitabı sizin sesinizden okutabiliyoruz.
Hal böyle olunca tahminim o ki Google bu model ile artık makinelerin insanlar kadar akıllı cevap vermesini, insanlar kadar güzel bilgisayar kodu yazmasını, en iyi web tasarımcısı kadar güzel bir web sitesi tasarlamasını ve en güzeli makineler ile insanlar arasında klavye ve mouse gibi araçları kaldırarak doğrudan iletişim kurmamızı sağlayacak. Şimdiye kadar makineler insanların ne demek istediğini tam olarak anlamıyorlar fakat anlıyormuş gibi yapıyorlardı. Artık bu model ile makineler insanları gerçekten anlayacaklar ve aynı derinlikte cevap verecekler.
Trilyon parametre ile yapay zekâ modellerini eğitmek çok ciddi bilgisayar gücü ve ince planlama gerektiriyor. Google’de hem para hem de data var ve teknik olarak bu modelleri eğitecek yeterli bilgisayar gücü var. Hal böyle iken Google’a düşen unu, şekeri, suyu varsa geriye helva yapmak kalıyor ve bunuda başarmış gibi görünüyor.