Mixture of Experts
AIがAIを修正するMIT研究、Mistralのオープンモデル、Google Genie 4
AI fixes AI in MIT study, Mistral's open model & Google Genie 4
ゲストホストのAili McConnonのもと、Chris Hay、Sascha Brodsky、Kiyu Gabrielが再帰的自己改善(RSI)、大規模オープンウェイトモデル、世界モデルを議論した。MITの「重み空間プログラミング」はAIが別モデルの重みを直接修正した例として注目された。MistralとNVIDIAのオープンモデルは技術公開の価値が語られ、世界モデルでは映像学習型と物理・CAD型の違いが整理された。