OpenAI’ı endişelendiren veri: Büyük dil modellerindeki ilerleme yavaşlıyor
Information’a nazaran, GPT-4’ün halefi olan Orion kod isimli yeni model, GPT-3’ten GPT-4’e kalite sıçramasından daha küçük bir gelişmeyi temsil ediyor.
Dahası, The Information’ın kaynaklarına nazaran Orion, programlama üzere alanlarda selefini dengeli bir biçimde geçmiyor ve sadece lisan yeteneklerinde gelişme gösteriyor. Modelin bilgi merkezlerinde çalıştırılması da evvelki sürümlere nazaran daha maliyetli olabilir.
Bu durum Orion’un çalıştırılmasını daha değerli hale getirebilir ve yapay zeka modellerinin ölçeklenebilirliği konusunda tasalara yol açabilir.
EĞİTİM DATALARININ YETERSİZLİĞİ
OpenAI araştırmacıları yavaşlamanın bir nedeni olarak yüksek kaliteli eğitim datalarının yetersizliğine işaret ediyor. Kamuya açık metinlerin ve bilgilerin birçok esasen kullanılmış durumda.
The Information’ın haberine nazaran, OpenAI buna karşılık olarak Nick Ryder liderliğinde bir grup oluşturdu.
AÇIĞI KAPATMA PLANI
Bu, CEO Sam Altman’ın Haziran ayında yaptığı, kâfi ölçüde data mevcut olsa da, odak noktasının daha az datadan daha fazlasını öğrenmeye kayacağı tarafındaki açıklamasıyla uyumlu. Şirket, bu açığı kapatmaya yardımcı olmak için yapay zeka modelleri tarafından üretilen eğitim malzemesi olan sentetik bilgileri kullanmayı planlıyor.
The Information, Orion’un GPT-4 ve OpenAI’nin yeni “akıl yürütme” modeli o1’den elde edilen sentetik datalar üzerinde kısmen eğitim aldığını belirtiyor. Lakin bir OpenAI çalışanına nazaran bu yaklaşım, yeni modelin yalnızca “belirli istikametlerden eski modellere benzemesi” riskini taşıyor.
LLM’DEKİ SAKİNLİK BÖLÜM İÇİN ZORLUK
Large language models yani büyük lisan modellerininilerlemesindeki yavaşlama OpenAI’nin ötesine geçiyor. The Verge kısa mühlet evvel Google’ın yakında çıkacak Gemini 2.0’ın şirket içi gayelerin gerisinde kaldığını bildirdi. Anthropic’in, muhtemelen kullanıcıları ve yatırımcıları hayal kırıklığına uğratmaktan kaçınmak için, amiral gemisi Opus’un 3.5 sürümünün geliştirilmesini durdurduğu ve bunun yerine geliştirilmiş bir Sonnet yayınladığı söyleniyor.
patronlardunyasi.com
