സബ്‌വേഡ് ഭാഷാ മോഡലുകളെ പ്രീട്രെയിനിങ് ചെലവിന്റെ ഒരു ശതമാനത്തിൽ താഴെ ഉപയോഗിച്ച് ബൈറ്റ് തല മോഡലുകളാക്കി മാറ്റുന്ന പഠനം നേച്ചറിൽ

10 ഒക്ടോബർ 2026

2026 ഒക്ടോബർ 7-ന് നേച്ചറിൽ പ്രസിദ്ധീകരിച്ച പഠനം 'ബൈറ്റിഫിക്കേഷൻ' എന്ന രണ്ടു ഘട്ട രീതി അവതരിപ്പിക്കുന്നു; നിലവിലുള്ള സബ്‌വേഡ് അധിഷ്ഠിത വലിയ ഭാഷാ മോഡലുകളെ ബൈറ്റ് തല മോഡലുകളായി ഇത് മാറ്റുന്നു. ആകെ 49.1 ബില്യൺ ടോക്കണുകൾ ഉപയോഗിച്ചാണ് ഇത് ചെയ്തതെന്ന് ഗവേഷകർ പറയുന്നു; സാധാരണ പ്രീട്രെയിനിങ് ചെലവിന്റെ ഒരു ശതമാനത്തിൽ താഴെ മാത്രം. ഓൾമോ 3 7B, ഓൾമോ 2 1B എന്നിവയിൽനിന്ന് ബോൾമോ 7B, ബോൾമോ 1B; ക്വെൻ3 8B ബേസിൽനിന്ന് ബ്വെൻ 8B; ലാമ 3 8B-യിൽനിന്ന് ബ്ലാമ 8B എന്നിവ അവർ നിർമിച്ചു. യാദൃച്ഛിക തുടക്കത്തിൽനിന്ന് പരിശീലിപ്പിച്ച ബൈറ്റ് തല മോഡലായ BLT 7B-യെക്കാൾ STEM ചോദ്യങ്ങളിൽ ബോൾമോ 7B 16.5 ശതമാനം പോയിന്റ് മുന്നിലാണ്. അക്ഷരതല ചോദ്യങ്ങളിൽ ബൈറ്റിഫൈഡ് മോഡലുകൾ അവയുടെ മൂല മോഡലുകളെക്കാൾ വളരെ മികച്ച പ്രകടനം നടത്തുന്നു. മുൻകാല ലേറ്റന്റ് ടോക്കണൈസർ രൂപകൽപ്പനകളിൽനിന്ന് വ്യത്യസ്തമായി, ഇവിടെ ബൗണ്ടറി പ്രെഡിക്ടർ ഒരു ബൈറ്റ് ഭാവി സന്ദർഭം ഉപയോഗിക്കുന്നു; സബ്‌വേഡ് ടോക്കണൈസറുകൾ അതിരുകൾ നിർണയിക്കുന്ന രീതിയോട് ഇത് കൂടുതൽ ചേർന്നുനിൽക്കുന്നു.