Is it the end of lora?

Is this the end of LoRA as a fine-tuning approach? Singular Value fine-tuning is here!

We have a new paper in town called the "Transformers Squared". It promises to adapt any LLM to any task without external intervention.

The core idea of the paper is to use Singular Value Decomposition (SVD) to factorize the weight matrices of transformers. During training, we learn different singular values for different tasks. More specifically, we learn to scale the singular values for different tasks. Tasks can be as diverse as math reasoning or coding. The possibilities are endless.

During inference, we do a two-pass inference. In the first pass, the LLM decides which "scale" to use for which task. In the second pass, the LLM adapts itself to be a specialist in the task and responds to our prompt.

How cool is that?

Paper Title: Transformer2: Self-adaptive LLMs

Paper: https://sakana.ai/transformer-squared

Blog: https://arxiv.org/abs/2501.06252

Video Explanation: https://youtu.be/r4UG8YfKseE?si=SiaFCH4rJ9UF-T1y

Hope it's useful!

Comments

የዕለቱ ወንጌል ሐምሌ 5

05/11/2016 /ጴጥሮስ ወጳውሎስ ብርሃናተ ዓለም 72 አርድእት ወይስሐቅ ሰማእት/ የዕለቱ የወንጌል ክፍል ዮሐንስ 21:15-20 ምሳ ከበሉ በኋላም ኢየሱስ ስምዖን ጴጥሮስን፦ “የዮና ልጅ ስምዖን ሆይ፥ ከእነዚህ ይልቅ ትወደኛለህን?” አለው። “አዎን ጌታ ሆይ፥ እንድወድህ አንተ ታውቃለህ” አለው።“ግልገሎቼን አሰማራ፡” አለው። ደግሞ ሁለተኛ፦ “የዮና ልጅ ስምዖን ሆይ፥ ትወደኛለህን?” አለው። “አዎን ጌታ ሆይ፥ እንድወድህ አንተ ታውቃለህ፡” አለው። “ጠቦቶቼን ጠብቅ፡” አለው። ሦስተኛ ጊዜ፦ “የዮና ልጅ ስምዖን ሆይ፥ ትወደኛለህን?” አለው። ሦስተኛ፦ “ትወደኛለህን?” ስላለው ጴጥሮስ አዘነና፦ “ጌታ ሆይ፥ አንተ ሁሉን ታውቃለህ፤ እንድወድህ አንተ ታውቃለህ፡” አለው። ኢየሱስም አለው፦ “በጎቼን አሰማራ። እውነት እውነት እልሃለሁ፥ አንተ ጐልማሳ ሳለህ ወገብህን በገዛ ራስህ ታጥቀህ ወደምትወደው ትሄድ ነበር፤ ነገር ግን በሸመገልህ ጊዜ እጆችህን ትዘረጋለህ፥ ሌላውም ያስታጥቅሃል ወደማትወደውም ይወስድሃል።” በምን ዓይነት ሞት እግዚአብሔርን ያከብር ዘንድ እንዳለው ሲያመለክት ይህን አለ። ይህንም ብሎ፦ “ተከተለኝ፡” አለው። ...

ወንጌል ዘሐምሌ 6

ዕርገቱ ለዕዝራ ነቢይ ወንስተሮኒን ወአልሞድያስ ወሥርቀተ ተሙዝ ወዮልዮህ ወተዝካረ በርተሎሜዎስ ወ፲፻ ሰማዕታት ወከላድያን ሊቀ ጳጳሳት 06/11/2016 የዕለቱ የወንጌል ክፍል “እንግዲህ በነቢዩ በዳንኤል የተባለውን የጥፋትን ርኩሰት በተቀደሰችው ስፍራ ቆሞ ስታዩ፥ አንባቢው ያስተውል፥ በዚያን ጊዜ በይሁዳ ያሉት ወደ ተራራዎች ይሽሹ፥ በሰገነትም ያለ በቤቱ ያለውን ሊወስድ አይውረድ፥ በእርሻም ያለ ልብሱን ይወስድ ዘንድ ወደ ኋላው አይመለስ። በዚያችም ወራት ለርጉዞችና ለሚያጠቡ ወዮላቸው። ነገር ግን ሽሽታችሁ በክረምት ወይም በሰንበት እንዳይሆን ጸልዩ፤ “በዚያን ጊዜ ከዓለም መጀመሪያ ጀምሮ እስከ ዛሬ ድረስ ያልሆነ እንግዲህም ከቶ የማይሆን ታላቅ መከራ ይሆናልና። እነዚያ ቀኖችስ ባያጥሩ ሥጋ የለበሰ ሁሉ ባልዳነም ነበር፤ ነገር ግን እነዚያ ቀኖች ስለ ተመረጡት ሰዎች ያጥራሉ። በዚያን ጊዜ ማንም፦ እነሆ፥ ክርስቶስ ከዚህ አለ፡ ወይም፦ ከዚያ አለ፡ ቢላችሁ አትመኑ፤ ሐሰተኞች ክርስቶሶችና ሐሰተኞች ነቢያት ይነሣሉና፥ ቢቻላቸውስ የተመረጡትን እንኳ እስኪያስቱ ድረስ ታላላቅ ምልክትና ድንቅ ያሳያሉ። እነሆ፥ አስቀድሜ ነገርኋችሁ። እንግዲህ፦ ‘እነሆ፥ በበረሀ ነው’ ቢሉአችሁ፥ አትውጡ፤ ‘እነሆ፥ በእልፍኝ ነው’ ቢሉአችሁ፥ አትመኑ፤ መብረቅ ከምሥራቅ ወጥቶ እስከ ምዕራብ እንደሚታይ፥...

የዕለቱ ወንጌል ሐምሌ 7:

አባ ሲኖዳ ወአግናጥዮስ ሊቀ ጳጳሳት አባ ጊዮርጊስ ወመቃቢስ ወአግራጥስ ወቦኡ ሥሉስ ቅዱስ ቤተ አብርሃም የዕለቱ ወንጌል ሐምሌ 7: ዮሐ 8:51-59 ፶፩እውነት እውነት እላችኋለሁ፥ ቃሌን የሚጠብቅ ቢኖር ለዘላለም ሞትን አያይም።፶፪አይሁድ። ጋኔን እንዳለብህ አሁን አወቅን። አብርሃም ስንኳ ሞተ ነቢያትም፤ አንተም። ቃሌን የሚጠብቅ ቢኖር ለዘላለም ሞትን አይቀምስም ትላለህ።፶፫በእውኑ አንተ ከሞተው ከአባታችን ከአብርሃም ትበልጣለህን? ነቢያትም ሞቱ፤ ራስህን ማንን ታደርጋለህ? አሉት።፶፬ኢየሱስም መለሰ አለም። እኔ ራሴን ባከብር ክብሬ ከንቱ ነው፤ የሚያከብረኝ እናንተ አምላካችን የምትሉት አባቴ ነው፤፶፭አላወቃችሁትምም፥ እኔ ግን አውቀዋለሁ። አላውቀውም ብል እንደ እናንተ ሐሰተኛ በሆንሁ፤ ዳሩ ግን አውቀዋለሁ ቃሉንም እጠብቃለሁ።፶፮አባታችሁ አብርሃም ቀኔን ያይ ዘንድ ሐሤት አደረገ፥ አየም ደስም አለው።፶፯አይሁድም። ገና አምሳ ዓመት ያልሆነህ አብርሃምን አይተሃልን? አሉት።፶፰ኢየሱስም። እውነት እውነት እላችኋለሁ፥ አብርሃም ሳይወለድ እኔ አለሁ አላቸው።፶፱ስለዚህ ሊወግሩት ድንጋይ አነሡ፤ ኢየሱስ ግን ተሰወራቸው ከመቅደስም ወጥቶ በመካከላቸው አልፎ ሄደ ።"" ሮሜ9:1-17 ፩-፪ብዙ ኀዘን የማያቋርጥም ጭንቀት በልቤ አለብኝ ስል በክርስቶስ ሆኜ እውነትን እናገራለሁ፤ አልዋሽምም፤ ሕሊናዬም በመንፈስ ቅዱስ ይመሰክርልኛል።፫በሥጋ ዘመዶቼ ስለ ሆኑ ስለ ወንድሞቼ ከክርስቶስ ተለይቼ እኔ ራሴ የተረገምሁ እንድሆን እጸልይ ነበርና ..."" 1ኛዮሐ 4:11-21 የሐዋ 11:11-19 ምስባክ መዝ 27:8-9 ወሐሠሥኩ ገጽከ ገጸ ዚአከ አሐሥሥ እግዚኦ ወኢትሚጥ ገጸከ እምኔየ ፰አንተ ፊቴን እሹት ባልህ ጊዜ። አቤቱ፥ ፊትህን እሻለሁ ልቤ አንተን አለ።፱ፊትህ...

TECH AND SCIENCE CONTENT BELOG.

Search This Blog