Kaliforniyadagi yillik Meta Connect tadbirida Meta Platformalar taqdim mashhur ilovalari uchun bir nechta yangi AI xususiyatlari Facebook, Instagram va WhatsApp, lekin texnologiya gigantining eng ta'sirli innovatsiyasi ko'pchilikning e'tiboridan chetda qolgan bo'lishi mumkin. Gap Llama 2 Long AI modeli haqida bormoqda.
Meta kompaniyasining tadqiqotchilari jamoasi qandaydir tarzda sekingina maqola chop etishdi, unda ular foydalanuvchilarning uzoq so‘rovlariga izchil va mos javoblar yaratishga qodir bo‘lgan yangi sun’iy intellekt Llama 2 Long modelini taqdim etdilar. Eng ko'p, deydi ular, bu sohadagi eng yaxshi raqobatchilardan ustundir.
Llama 2 Long - bu kengaytma olov 2, yozda chiqarilgan ochiq manbali AI modeli Meta turli ma'lumotlar manbalaridan o'rganishi va kodlash, matematika, tilni tushunish va boshqalar kabi turli vazifalarni bajarishi mumkin. Biroq, Llama 2 Long uzoqroq matnlarni o'z ichiga olgan ko'proq ma'lumotlarga o'rgatilgan va bu algoritm uzoqroq ma'lumotlar ketma-ketligini boshqarish uchun o'zgartirilgan. Bu unga javoblarni yaratish uchun foydalanishi mumkin bo'lgan kontekst miqdori bo'yicha cheklovlarga ega bo'lgan OpenAI-ning GPT-3.5 Turbo va Claude 2-dan ustun turishiga imkon beradi.
Tadqiqotchilar huzur Llama 2 ning turli versiyalaridan foydalangan - 7 milliarddan 70 milliardgacha parametrlar, ya'ni AI modeli ma'lumotlardan o'rganish orqali o'zgarishi mumkin bo'lgan qiymatlar. Ular yana 400 milliard tokenni (matn birliklari) qo'shdilar, ularda asl model ma'lumotlar to'plamiga qaraganda uzunroq matnlar mavjud. Shuningdek, ular AI modelining arxitekturasini Rotary Positional Embedding (RoPE) texnikasidan foydalangan holda biroz o'zgartirdilar, shunda model boshqa usullarga qaraganda kamroq ma'lumot va xotiradan foydalangan holda aniq va foydali javoblarni yaratishi mumkin.
Jamoa odamlarning fikr-mulohazalaridan (RLHF) o'rganishni kuchaytirish usulidan foydalangan, bu usulda AI modeli to'g'ri javoblar uchun mukofotlanadi va inson baholovchilari tomonidan tuzatiladi va sintetik ma'lumotlar Llama 2 chatining o'zi tomonidan ishlab chiqariladi. turli vazifalardagi ish faoliyatini yaxshilash .
Maqolaning ta'kidlashicha, model 200 40 belgigacha bo'lgan foydalanuvchi so'rovlariga yuqori sifatli javoblar yaratishi mumkin, bu taxminan 2 sahifali matnga teng. Tadqiqotchilarning ta'kidlashicha, Llama XNUMX Long foydalanuvchilarning murakkab va xilma-xil ehtiyojlarini qondira oladigan umumiy va ko'p qirrali AI modellarini yaratish yo'lidagi qadamdir. Ular, shuningdek, bunday modellarning potentsial axloqiy va ijtimoiy oqibatlarini tan oladilar va ulardan qanday mas'uliyatli va foydali foydalanish bo'yicha keyingi tadqiqotlar va muloqotlarga chaqiradilar.
Shuningdek o'qing: