NVIDIAとMistral AIがAIモデル「Mistral NeMo」を発表、新型トークナイザ「Tekken」を採用し日本語を含む多言語性能が強み - GIGAZINE

自動ニュース作成GNVIDIAとMistral AIがAIモデル「Mistral NeMo」を発表、新型トークナイザ「Tekken」を採用し日本語を含む多言語性能が強み - GIGAZINEhttps://gigazine.net/news/20240719-nvidia-mistral-nemo-ai/2024-07-28 11:15:06＞Mistral NeMoは新開発のトークナイザ「Tekken」を採用しており、トークン化の効率が向上しています。日本語では従来のトークナイザと比べて1.56倍の効率でトークン化が可能で、アラビア語では3.02倍、マレーシア語では3.90倍に効率が向上しています。
いや、正直に吐露すればテッケンだけで投稿してしまった。しかしウィキペディアには英語版◇にもまだこの意味での項目は無いようだ・フリップ芸に期待