ⵊⴰⵎⴱⴰ, ⴷ ⴰⵎⵓⴹⵉⵏ ⴰⵎⴰⵢⵏⵓⵜ ⵏ ⵜⵎⵓⵙⵙⵏⵉ ⵜⴰⵙⴻⵏⵙⴻⵍⴽⵉⵎⵜ ⴰⵢ ⴷⵜⴻⵙⵏⵓⵍⴼⴰ AI21 Labs, ⵢⴻⵜⵜⵄⴻⴷⴷⴰⵢ ⵖⴻⴼ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵜⵎⴻⵏⴹⴰⵡⵜ (contexte) ⵏ ⵜⵎⴻⵥⴷⵉⵢⵉⵏ (contextes) ⴰⵢ ⵙⵄⴰⵏ ⵢⵉⵎⵓⴽⴰⵏ ⵏ AI ⵏ ⵜⵎⴻⵥⴷⵉⵢⵉⵏ ⴷⴻⴳ ⵡⴰⴽⵓⴷ ⴰⵢⴷⴻⴳ ⵃⵡⴰⵊⴻⵏ ⵛⵡⵉⵟ ⵏ ⵜⴻⵣⵎⴻⵔⵜ ⵏ ⵓⵙⵙⴻⵇⴷⴻⵛ. ⵜⴰⵎⴳⵓⵔⵉⴰ ⵍⴰ ⵜⴻⵜⵜⴻⴷⴷⵓ ⵖⴻⵔ ⵢⵉⵎⵓⴽⴰⵏ ⵢⴻⵙⵄⴰⵏ ⵜⵉⵣⴻⵎⵎⴰⵔ ⵜⵉⵎⴻⵇⵔⴰⵏⵉⵏ ⵏ ⵓⵙⵙⴻⵇⴷⴻⵛ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵜⵎⴻⵏⴹⴰⵡⵜ, ⴷ ⵜⵉⴷ ⴰⵢ ⵢⴻⵙⵙⴻⵍⵀⵓⵢⴻⵏ ⴰⵙⵙⴰⵖⴻⵏ (cohérence) ⴷⴻⴳ ⵓⵙⴽⴰⵙⵉ (discussion) ⵖⴻⵣⵣⵉⴼⴻⵏ ⵎⴰⵛⴰ ⵙ ⵡⴰⵟⴰⵙ ⴰⵢ ⴷⵜⵜⴰⵙⴻⵏ ⵙ ⵍⵇⵉⵎⴰ ⵏ ⵢⵉⵙⵓⵜⵓⵔ ⵏ ⵓⵙⵙⴻⵇⴷⴻⵛ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵢⵓⴳⴰⵔⴻⵏ ⵜⴰⵢⴻⴹ. ⵏⴻⵖ Dagan, ⴰⵏⴻⵎⵀⴰⵍ ⵏ ⵓⴼⴰⵔⵉⵙ ⴷⴻⴳ AI21 Labs, ⵢⴻⵜⵜⵡⴻⴽⴽⵉⴷⴷ ⴷⴰⴽⴽⴻⵏ ⵜⴰⵙⴻⵔⵜⵉⵜ (ⵙⵜⵔⴰⵜⴻⴳⵉⴻ) ⴰⵢ ⵢⴻⵙⵄⴰⵏ ⴰⵣⴰⵍ ⵓⴳⴰⵔ ⴷ ⵜⵉⵏ ⴰⵢ ⵉⵣⴻⵎⵔⴻⵏ ⴰⴷ ⵜⴻⵜⵜⵡⴰⵡⴻⴹ ⵢⴻⵔⵏⴰ ⵢⴻⵙⵙⴽⴰⵏⴰⵢⵉⵜⵜⵉⴷ ⵙ ⵍⴻⵎⵜⴻⵍⵏⵙⴻⵏ ⴰⵏⴻⴳⴳⴰⵔⵓ ⴰⴽⴽ, Jamba.
ⵜⵉⵡⵡⵓⵔⴰ ⵏ ⵓⵙⵡⵉⵔ ⵏ ⵢⵉⵎⵓⴽⴰⵏ ⵏ AI ⴷ ⵜⵉⴷ ⵢⴻⵙⵄⴰⵏ ⴰⵣⴰⵍ ⵉ ⵓⵃⵔⴰⵣ ⵏ ⵓⵙⵡⵉⵔ ⵏ ⵓⴷⵉⵡⴻⵏⵏⵉ ⴷ ⵓⵙⵏⴻⴼⵍⵉ ⵏ ⵢⵉⵙⴻⴼⴽⴰ. ⵜⵉⵡⵡⵓⵔⴰ ⵜⵉⵎⴻⵇⵔⴰⵏⵉⵏ ⵜⵜⵃⴻⵜⵜⵉⵎⴻⵏⵜ ⴰⴷ ⵟⵟⴼⴻⵏⵜ ⵢⴻⵔⵏⴰ ⴰⴷ ⵃⴻⵔⵣⴻⵏⵜ ⴰⴱⵔⵉⴷ ⵏ ⵜⵎⴻⵙⵍⵉⵡⵜ, ⵎⴰ ⴷ ⵜⵉⴷ ⵜⵉⵎⴻⵥⵢⴰⵏⵉⵏ ⵜⵜⴰⵡⵉⵏⵜⴷ ⵙ ⵜⵖⴰⵡⵍⴰ ⴰⴷ ⵢⴻⵜⵜⵓ ⵓⵎⴷⴰⵏ ⵜⵉⵎⵍⵉⵍⵉⵢⵉⵏ ⵜⵉⵎⴰⵢⵏⵓⵜⵉⵏ. ⵊⴰⵎⴱⴰ ⵏ AI21 Labs ⴷ ⴰⵎⵓⴷ ⵏ ⵓⵙⵏⵓⵍⴼⵓ ⴷ ⵓⵙⵏⴻⴼⵍⵉ ⵏ ⵢⵉⴹⵔⵉⵙⴻⵏ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵜⵉⵎⴰⵢⵏⵓⵜⵉⵏ ⴰⵢ ⵉⵣⴻⵎⵔⴻⵏ ⴰⴷ ⵢⴻⵙⵙⴻⵇⴷⴻⵛ ⴰⵟⴰⵙ ⵏ ⵢⵉⵙⴻⴼⴽⴰ ⵢⴻⵔⵏⴰ ⴰⴷ ⵢⴻⴹⴹⴻⴼ ⴰⵟⴰⵙ ⵏ ⵜⵓⵜⵍⴰⵢⵉⵏ, ⵢⴻⵔⵏⴰ ⵢⴻⵜⵜⵇⴰⴱⴰⵍ ⵜⴰⵣⵎⴻⵔⵜ ⵏ ⵢⵉⵎⵓⴹⵉⵏⴻⵏ ⵢⴻⵜⵜⵡⴰⵙⵙⵏⴻⵏ ⴰⵎ Gemini ⵏ Google ⴷ ChatGPT ⵏ OpenAI.
ⵢⵉⵡⴻⵜ ⵏ ⵜⵖⴰⵡⵙⴰ ⴰⵢ ⴷⵢⴻⵙⵙⴽⴰⵏⴰⵢⴻⵏ Jamba ⴷ ⵜⴰⵣⵎⴻⵔⵜⵏⵏⴻⵙ ⵏ ⵓⵙⵙⴻⴼⵔⴻⴽ ⵏ 140.000 ⵏ ⵢⵉⴼⴻⵔⴷⵉⵙⴻⵏ (tokens) ⴷⴻⴳ ⵢⵉⵡⴻⵏ ⵏ GPU ⵏ ⵜⵖⴰⵔⴰ ⵜⴰⵎⴻⵇⵔⴰⵏⵜ- ⴰⵣⴰⵍ ⵏ ⵜⵖⴰⵡⵙⴰ ⵏ ⵡⵓⵏⴳⴰⵍ ⵏ 210 ⵏ ⵢⵉⵙⴻⴱⵜⴰⵔ. ⵙ ⵜⵎⵓⵖⵍⵉ ⵏ Llama 2 ⵏ Meta, ⵉ ⵢⴻⵜⵜⴹⴰⴼⴰⵔⴻⵏ ⵜⴰⵙⴻⴽⴽⵉⵔⵜ ⵏ ⵜⵎⴻⵏⴹⴰⵡⵜ ⵜⴰⵎⴻⵛⵟⵓⵃⵜ ⵙ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵜⵎⴻⵥⴷⵉⵜ ⴷ ⵜⵉⵎⴻⵛⵟⴰⵃ, ⵜⴰⵣⵎⴻⵔⵜⴰ ⵜⴻⵍⵍⴰ ⵙ ⵡⴰⵟⴰⵙ ⵓⴳⴰⵔ.
ⵊⴰⵎⴱⴰ ⴷ ⵜⵉⵏ ⴰⵢ ⴷⵢⴻⵍⵍⴰⵏ ⵙ ⵜⵎⴻⵚⴽⵉⵡⵜⵏⵏⴻⵙ (ⴰⵔⵛⵀⵉⵜⴻⵛⵜⵓⵔⴻ), ⴷ ⵜⵉⵏ ⴰⵢ ⵢⴻⵙⴷⵓⴽⴽⵍⴻⵏ ⵉⵎⵓⴷⴻⵍ ⵏ ⵜⴻⵙⵔⴰⴼⵜ ⵏ ⵓⵡⴰⵏⴰⴽ (SSM), ⴰⵢ ⴷⵢⴻⵜⵜⴰⴽⴻⵏ ⵜⵉⵣⴻⵎⵎⴰⵔ ⵏ ⵓⵙⵙⴻⴼⵔⴻⴽ ⵙ ⵜⵎⴻⵣⵣⵓⴳⵉⵏ ⵏ ⵢⵉⵙⴻⴼⴽⴰ ⵖⴻⵣⵣⵉⴼⴻⵏ, ⵙ ⵢⵉⵎⴻⵙⵏⵉⵍⴻⵏ ⵢⴻⵜⵜⵡⴰⵙⵙⵏⴻⵏ ⵙ ⵓⵙⵙⴻⴼⵀⴻⵎⵏⵙⴻⵏ ⵉⵅⵓⵚⵚⴻⵏ. ⵎⴰ ⵢⴻⵍⵍⴰ SSM, ⴰⵎ ⵍⴻⵎⵜⴻⵍ ⵏ Mamba ⵙ ⵜⵖⴻⵔⵖⴻⵔⵜ ⵢⴻⵍⴷⵉⵏ, ⵙⵙⴻⵍⵀⵓⵏ ⵍⵅⴻⴷⵎⴰ ⵏ ⵍⴻⵎⵜⴻⵍ ⴷ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⴷⴻⴳ ⵢⵉⴹⵔⵉⵙⴻⵏ ⵉⵖⴻⵣⴼⴰⵏⴻⵏ, ⵉⵎⵙⵓⴷⴷⵙⴻⵏ ⵜⵜⵡⴰⵅⴻⴷⵎⴻⵏ ⵙ ⵍⵅⵉⵔ ⴷⴻⴳ ⵓⵄⴻⵢⵢⴻⵏ ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵏ ⵢⵉⵙⴻⴼⴽⴰ ⴰⵢ ⴷⵉⴽⴻⵞⵞⵎⴻⵏ. ⴰⵢⴰ ⵢⴻⴵⴵⴰ Jamba ⴰⴷ ⵢⵉⵍⵉ ⴷ ⴰⵄⴻⵙⵙⴰⵙ ⵏ ⴽⵔⴰⴹ ⵏ ⵜⵉⴽⴽⴰⵍ ⵓⴳⴰⵔ ⵏ ⵢⵉⵎⵓⴽⴰⵏ ⵏ ⵜⵎⴻⵥⴷⵉⵢⵉⵏ (transformateurs) ⵏ ⵜⵖⴰⵡⵙⵉⵡⵉⵏ ⵢⴻⵎⴳⴻⵔⵔⴰⴷⴻⵏ.
ⵊⴰⵎⴱⴰ ⴷ ⴰⵎⴻⴷⵢⴰ ⴰⵎⴻⵣⵡⴰⵔⵓ ⵏ ⵓⵙⴻⵇⴷⴻⵛ ⵏ SSM ⴷⴻⴳ ⵢⵉⵎⵓⴽⴰⵏ ⵉⵎⴻⵇⵔⴰⵏⴻⵏ, ⵏ ⵜⵏⴻⵣⵣⵓⵢⵜ ⴰⵢ ⴷⵢⴻⵙⵎⴻⴽⵜⴰⵢⴻⵏ ⵙ ⵓⵙⵏⴻⵔⵏⵉ ⵏ ⵜⵖⴰⵔⴰ ⴷ ⵜⵖⴰⵔⴰ. ⵢⴻⵜⵜⵡⴰⴼⴽⴰⴷ ⵉ ⵢⵉⵏⴰⴳⵎⴰⵢⴻⵏ ⵙ ⵜⵜⴻⵙⵔⵉⵃ ⵏ ⵓⵙⵎⴻⵍ ⵢⴻⵍⴷⵉⵏ ⵙ ⵍⴻⴱⵖⵉ ⵏ ⵓⵙⵏⴻⵔⵏⵉ ⵏ ⵢⵉⵃⴻⵣⵣⵉⴱⴻⵏ ⵏ ⵜⵖⴻⵍⵍⵉⵙⵜ ⴷ ⵓⵙⵏⴻⵔⵏⵉ ⴷⴻⴳ ⵜⴻⵙⵖⵓⵏⵉⵏ ⴰⵔⴰ ⴷⵢⴻⴼⴼⵖⴻⵏ ⵙⴰⴽⴽⵉⵏ. ⵊⴰⵎⴱⴰ, ⵖⴻⴼ ⵍⴻⵃⵙⴰⴱ ⵏ Dagan, ⵢⴻⵙⵄⴰ ⵜⴰⵣⵎⴻⵔⵜ ⴰⴷ ⵉⴱⴻⴷⴷⴻⵍ ⴰⴽⴽ ⴰⵅⴻⴷⴷⵉⵎ ⵏ ⵍⴻⵎⵜⴻⵍ ⴷⴻⴳ ⵢⵉⵡⴻⵏ ⵏ GPU, ⴷ ⴰⵢⴻⵏ ⴰⵔⴰ ⵢⵉⵍⵉⵏ ⴷ ⴰⴱⵔⵉⴷ ⴰⵎⴻⵇⵔⴰⵏ ⴷⴻⴳ ⵜⵖⴰⵔⴰ ⴷ ⵓⵙⵏⵓⵍⴼⵓ ⵏ AI.