松田語録：Mamba論文がRejectされた

松田語録：Mamba論文がRejectされた

えマンバの話ですああそれって何でしたっ けなん検索するとマンバ券が出てきちゃ うってのますけど内容忘れましたマンバ 自身の意味は毒ヘビなんですがねでこれは ま全く新しいアーキテクチャーで トランスフォーマーに変わるというものな んですよで何が良いかというとですね トランスフォーマーま前々から言うように こうあのアテンションかけるからnの2乗 の制限があるとだからそのトク数が増うん 痩せられないわけですよねままこれに関し ては例のリングアテンションちゅうことで ま克服したちゅう側面あるんやけどで マンボはですねあのトランスフォーマー じゃないアーキテクチャーとこれはね元々 あるrnnってありますよねリカレント ニラネットまあれの系統なのよというか 時間的にこう追っていくというでステート スペース状態空間ちゅうのがあってでで 時刻Tの状態空間があってでT+1をどう するかとでT+1に入力が入ってきてそれ からあTのあのその状態空間とから新しい T+1の状態空間が決まるとでそっから 出力が出てくこれねあのねカルマン フィルターの思想なわけですよでカルマン フィルターっちゅうのは1960年に カルマンさんが提案したもんででこれが あるから例のあのこれ極めて有名なのねで どういうあので言うようなのよでなぜ かって言ったらアポロ宇宙船の コントロールにつったわけですようんうん でそのマンバってのはそういうものをソフ あもっとあのせ宣伝したもんなんですよ はいはいでこれの特長はアテンションが ないからですねま極端に言えば過去の 例えばま100万アテンションえいやま ずっと前のことまであの覚えてられると ええうんつまりトランスフォーマーの大体 アーキテクチャーとしてま登場したわけな んですよえでそれが出てきてこれがねパッ と有名になったんですよはいんで YouTubeがねまこれを解説する YouTubeがいっぱい出てきたんです よでさらに言えばこのマンバを応用して これを画像生成に使うとかまた新しい応用 も出てきたんですよえええそのようにね このマンバはでれのジェミニー1.5プロ が出て来た時にまあるYouTuber これはマンバ使ってんじゃないかって思っ たとでも結局そうじゃなかったんだけどね まそれほどですねマンバというものはある 意味で画期的なアテクシとしては提案され たんですよええところがその論文が リジェクトされたのよ ああ何がいけなかったんですかはいやいや

レフリーがねうんあこれあのアメリカの 有名なまあの国際会あちなみにAI系の 論文ちいうのはま我々物理と違ってですね そういう国際会議に出したものがま ペーパーになるんですよねま我々どちら かて言うと雑誌に出すんだけどうんどっち もありますけどねうんうんででもまAQは どちらかというとあの国際会議の方が メインなんですよねはいでででそれに投稿 したわけだけどまリジェクトされたわけよ リジェクトする方も度胸ありますよねこん だけ題になったがわわ言ってるもを リジェクトしちゃったってそうまそれにい 理屈をねまま僕から見ればねヘリ屈だと 思うんだけど例えばその制度をあの計算 するのにあのパプレてィを使っとるとうん うんでこんなはいかんとか言うんだけどで もねパブリシティはそういう制度のね1つ のメジャーとしてよく使われてんですよ うんあそんなとこですかだからね僕は ヘルクだと思うんよでまあまともかく リジェクトさ先リジェクトも分かってるん ですかあこれはね分かってると思うだって これあの理由は好評戦といかんらしいよね 最近ねうんええあそうえっと一般的には いや見て見てない見てないそこは リジェクトされたこと自体はあんまり公表 されてないですよねいやそれされたって いうのはなんかに出てたっていうこといや あ党人が言うたんかもしれませんがそあ うんそれはありえますねリジェクトリもだ から当人が言ったのかもしれませんけどで ここでね僕はねあの言いたいのはまその ペーパーがリジェクトされたことそのもの こと自体よりもねええねリジェクトされて その後でねえノーベル賞になったってな ペーパーもあるんですやんえええうんで このAI会で言えばね有名なやつがワード toベックがリジェクトされたんですよえ そうなんですかあんな素晴らしいええそれ は審査イに見る目がなかったですからそう いうことそういうことなそういうこと価値 がわかんなかったそういうことそういう ことだからこのねあの学務の世界でねピア レビュー制度っていうのがあるんですよね で論文を出すとレビューアーという人ま これはあのま日本語では多読者と言うんだ けどえが論文を見てそれがま間違ってると かね価値がないとかどうとかいうことを 決めるわけですやうんうんででそん時に サド者がねね完全にね何でも理解してる わけじゃないわけよええで査読者ってねま 結構有名な人にするんだけどでもまその みんな集中するからあのもう多読者が足ら ないのよ今ねうんだから大学院生でも多読

者になったりするんですようんでで現在の 場合のその多読者が誰かそれは知りません よそこはわかんないよでもねあのだから 多読制度ちゅうものが僕ねもうね限界に来 てるんじゃないかという1つの象徴的な 事件じゃないかとと私は思うとうんああだ からマンバちゅう理論がいいとか悪いと かっちゅう話じゃなくてそれはね多くの人 がね価値を認めたわけねそれをねたった1 名か2名の多読者がねま作者は何面かおる んだけどねそのうちえ全員が反対したと 思えないからまたすけでダメになったん だろうと思うんだけどま1名か2名かの差 読者がねね多分価値のあるペーパーを リジェクトしたというまこれミスジャッジ だと思うんだけどまだからこれは科学に 対してねま結構ね今後の作動制度ちゅもの に対する疑問停止ような事件じゃないかと 私は思うとうんまだけどあれですよねその ジャーナルペーパーと違って国際会議の 場合はその再録の目安っていうの件数 みたいな目安があってパーセンテージとか ねあ基本絶対的な評価じゃなくて相対的 だったりするわけですねまそうだけどね マンバはねそん中でもトップクラスになる べき論文なわけよえっとそれもねやっぱり 国際会議の性格とかにもよりますしま左者 一般的にそんなに多くないですから逆に そういう制度でこう選択していくというの が基本ずっとやってるやり方なんですよね いいやつも落ちることあるというのはま 普通のことでだからこの今のシステムが ダメだと言ったところで他のやり方ある わけじゃないですよねいやいや僕はだから 将来的にAIが得するようになってくん じゃないああそうそうAIが得するんだっ たらねいいのかもしれませんけどもまあ 今回はま落ちたということはまもちろん あの残念だとは思いますけども今の作制度 で言うならばそういうこともあるとうん いうことだと思いますよ画期的な論であれ ばあるほどやっぱりあの作者が色々言って くることに対してこう論文の中でちゃんと 書かれてないと あのリジェクトする理由になりがちです からねあんまり画期的な論文って帰って 通りにくいっていうのはあのイメージとし ては分かりますけどねうんうんうんあんで ねただね昔と違って今ね プレプレプレアデス 誰に当たるかとかいうのにもよりますよね たまたまなんかネガティブそのうんうん そのに対してネガティブな人というのが 当たったっていうことはあり得ると思い ますけどねまうんうん利害関係者みたいな

ものはあるかもどうか分かりませんけども うんまそういう意味じゃもうすでにあの このロブすごくよく知られててみんな価値 が分かってるから別に拒絶されたって価値 がなくなるわけじゃないからえええじゃ んってもとも言えるような気がしますけど で今このあのサドの拒絶理うん書いてあり ますよえっとミディアムに記事が出ててえ そうそれを僕は言うんだああそうですか なぜ拒絶されたかて拒絶理由が2つあって この手法の良さを評価するためのベンチ マークとしてはlraとロングレンジ アリーナという方法があってそれが スタンダードなんだからそれで評価しろう よとそれをやってないというのがあの拒絶 流の1それからパープレテをあの予算の 評価パプレレティの値が低い方がいい手法 なんだよっていうことを使ってるけどそれ はそうとも限らないんでこれを使っても いいことのあの照明にならんよっていうの が理由の2なんですけどでもパープレシが 低いこと思って良いとするってのは あっちゃこっちゃで見かけるのでそうそう それ表的ですちゃていうそうそうそうだ からそれ僕言っちゃうもんだと思うんよ そうそう私もなんかこれならいいがかり 臭いなと思いましたねうんうんうんうんま あの落ちた論文っていうのは普通普通は まあ公開されなくて多読者が作者じゃない あの著者がねうん自から出したんだったら 出ることはあるかもしれませんけどもうん あのなんかの学会に落ちたってその論文を ねまたちょっとあのコメント元にして 書き直して別の学会に出すとかいうこと ますんでそのためにもま落ちた論文は普通 公開公表されないとでもちろん落ちた論文 のえ不再録理由は本人たちにはいきます けどもんうんあのはれないというのが一般 的だといやどうなんでしょうこの頃ねそこ ちょっと調べてから言わんといかんけど 公表されるようになってる雑誌もあると 思うよ えっと通ったやつの多読結果すらあれじゃ ないですか普通は公表しないんじゃない ですかいやあ従来はそうだったと思うんよ うんそうなんだけどうん最近ねなんかね そのそういうことだ例えばねねこあの レフリーのね不正っていうのがあってねあ はいそれは落としといてそのアイデアを 使って自分がペーパーかっていうのがある んですよねだからそういうことがないよう にあの落ちた場合はその理由を明らかに するっていう話もうんどっかで聞いたけど ねああそうですかそれはなんかすごいなと 思いますねちなみにねこのレフリー制度

っっていうのはね本当に無理なんよま私は もう今は離れてるからやらないけど現役の 頃あれ現役離れてもですねあのよくねあの 所得依頼が来るわけでこれはね大変なのよ でよくね誤解されてるけど所得したらねお 金もらえると思うかもしれそんなことは ないんですよこれただ働きなんですようん うんうんであの要するに論文が来てですね それを読めっちゅうわけでしょでそれを 評価しろっちゅうわけですやで単に読む だけなら無責任に読めるけど読するとやっ たらやっぱりね責任持って読まんといかん わけじゃないですかでこれものすごいね 大変な努力なんやでそれがね本当にね価値 なるペーパーならいいですようんだけどさ 悲しも価値なるペーパーとは限らないわけ だからだからねでまたね有名な先生の時に それ集中するんやうんででだけだからね 自分の研究ができないことがあるんですよ まもちろんねそれが所得すんのが有益な ペーパーであればね自分の勉強にもなるん だけどんで悲しもそうとは限りないわけね で落としたことが後で分かるとね逆にね 恨まれてね逆襲される場合があるのよ自分 が出したの通してくれないみたいなま本来 は分からないようにするはずですけど わかんないようにするんだけど僕ねそれが ああったんやひどい世界だなであるねま アメリカ人のペーパーでま有名なアメリカ の雑誌に投稿されてで僕が作してで僕が リジェクトしたんですやでこれ分からない はずなのにどういうわけかやね僕の別の 論文の松田のこの論文は間違っておると いう論文が出たわけよ うん仕返しですかそう仕返し ででそれを読んでみるとですね僕の論文が はくってなくてですねいいがかり論文な わけで僕の論文が間違ってなっちゅうこと は他の人に見せてどう思うってねまま日本 人のプロフェッサーに切ったそれは松田 さんの子ですよてでだからそれに対しま また反論の論文も書いたわけや けどいやまそういう風にですねま要するに さしってのは大変なんだとであのまさお金 ももらえしねものすごいあのあの労力うん 時間を食うしうんでま自分のためにも悲し もならないし下手すると逆襲されるしと いうようなことでだからさちゅうのは なかなか大変なんですよ うん大変です大変ですあもえええあすい ませんあのちなみに特許は一応救済措置 ってのがあって特許はあのいろんな学会と かないですから特許1つしかないんでこれ 飛んなかったら終わりなんであの特許 えっと出願してでさらにあの審査請求を

すると審査してもらえてで拒絶理由通知 っての来るんですよ拒絶じゃないんです 拒絶理由通知でこれこれのあの通るべきで ない理由がこれこれれ発見されましたって 言われてでそれに対してどうしますかと 取り下げますかとか一部修正しますかとか 反論しますかとか聞かれて反論もできるん ですよでこれは全然違うじゃんとかあの 反論もできてそれがに納得してもらえれば ちゃんと通るんですねで何回かやり取りし てで結局あの拒絶されて決定して特許取ら ない時もあるんですけどそうそれでもまだ 反論のチャンスがあってそれはあのえっと なんとえっと不平審判だじゃなかったら何 だっけなえっとえっと不服審判ってのが あってそれもほとんど裁判なんですけど もう特許拒絶が決まっちゃった後でも裁判 を起こすことによってもう1回 ひっくり返せるチャンスがあるうんうん いやあの地交際ですね地財交際っていうの があって裁判所なんですよ本当にそうそう そうそうそうでそれをこの出願者がえ特許 長を訴える形でそうそうそうそう裁判を起 すっていうのができてでしょうかね論文の 場合もねそれはね似たようなことがあって ですねま最初ねレフリーがね校があかんと 言うてくるわけですやんうんなね大体どう いう構になっというかてまずエディター 編集者っていうのがおってうんでま著者が 論文を出すでしょなそれエディターに出す わけですよなエディターが編集者が多読者 を選んで多読者っちゅうのはま数名ねねま まなかなか探せないから最近1名なんて 場合もあるんだけどまあまあ普通は2名と か3名なんですやで誰かがねダメだと言っ たとするでしょそれがどういう理由で行っ たかちことたら著者に帰ってくるわけそん 時にあのサド者はですねねいろんなねあの 理由がこれはそのまま通すっていうのが1 ねねうん次ね小修正すれば通すっていうの が2ねからここは問題だから大修正を 求めるというのがあってこれが1番のま 問題なんだけどねその次はこれはここの 雑誌には適さないから他へ出せとで最後に リジェクトというのがあるんですよおお 大体そういう風になっててでま1位とか2 はまいいですよねで問題3の場合ねねね ここ大修正ここは問題だって言ってる時は ねそれに対し著者はですねそれに納得すれ ばうんあの修正するわけですよで修正して 出すわけでレフリーがそれ見てそれで納得 すればよしと言うしそれでもダメと言う ならねまた帰ってくだけですよでこういう ことがやって最終的に決めるのは エディターが決めてねうんんでま決める

わけだけどその時にねま著者はねエデあ レフリーを変えてくれということもできん のね ふでまあまあそういう風にあの救済措置は 色々あるわけですよいやだからね自分が 論文を書いて出した時にそのレフリーが 言うてくることねこれね理不尽なこと言う てくることが結構あるんですようんでこれ 僕あるやね僕がレフリーやった時にこう いうケースがあってエディターからねこれ をあのレフリーしてくれとというのは前の レフリーがリジェクトしたからだとねその リジェクト理由は正しいかどうか見てくれ というわけですで呼んでみたら前の レフリーは何も分かっとらんとま リジェクトした理のはまあまあうん まあまあそうとしてやねなんでリジェクト したかちゅうその理由は私は第2の レフリーとして納得できないとうんうんで でよく読んでみたらまあねなかなか まあいい線はついてんだけどま最終的には 実はね僕リジェクトしてしまったというの はうんそのうんペーパーのアイデアえここ を明らかにしたら言ったらこういう風に 言うてきたとその言うてきたことは別の人 のペーパーから引用してるからだから新規 性がないということで最終的には リジェクトしたんだけどうんだから レフリーがねな偉いとは何でも分かってる とは限らないのよまそうですよねあのだ けどね特に今回国際会議ということです から期間が非常に限られるということで そんな何度もやり取りなんて普通はないと 思いますけどだからね最近あるやつがあり ますけどねうんだまそういう時間的な制約 もあってということでなかなかあのもう レフリーに依存してしまうとで一発でその レフリーの判断を元にそのエディターが 決めちゃうと編集委会ですけどね編集委員 会が全部のスカを見ながらこの上から何番 までうんみ取り方をするんだと思うんです で会線のあたりはこれは取るか取らないか みたいなのはベッ協議して決めるんだと 思いますけどもだからそのそういう他との このあの比較の中でどれ取るかっていうの を決めるという感じになると思うんでま 国際会議ってのはちょっとかなり違うと 思いますけどあうんだから雑誌とは違い ますねえダス側もねこの左者のなんか 当たりが悪かったみたいなことは想定の 範囲内だと思思んですけどねだから落ち たら今度は別の学会に出そうとあるいは ジャーナルの場合はその辺はちょっと違っ ていて反論っていうかこう何度もね 書き直して反論してみたいなプロセスを経

てでねジャーナルの場合はね落ちたら別の 写真出すという手があるんよでジャーナル にもねランキングっちゅうのがあってね トップジャーナル出して落ちたら2番目の ジャーナル出してそれで落ちたら3番目と いうような手があるわけですよでねどんな もんでも出すっていうようなねもあったり するのねだからまだけど今回のねマンバ マンバの論文に関してはま通らなかっ たっていうのはやっぱどっかの記載にこの あんまり良くない部分があったというそれ に林さんがおっしゃっ評価方法だからな 評価すればいいじゃんと思うえええいやだ から直してえまた出したらいだと出す時間 がないからね多分ええでももうねもう周知 になってしまってつまり普通はね リジェクトされたら闇にうまれるわけなん ええでもこの場合はマンバの場合もう周知 されてうんでみんなねそれなりにねだから そのね落とされた著者のこと誰も悪くは 思わないと思うようんむしろレフリーの方 がおかしいんじゃないのと思うんじゃない かなええええあの画期的な論文であるほど ねうんそれがこのはその会議で発表され るっていうのは価値が会議の側にとっても 価値そうそうそうの場合もそうですしうん から論とうんいう意味ではね本当は択し たいと思うんですけどもねちょっと落ちた というのは大きなトピックスだとうん 大きなトピックス意見だという感じもし ますねはい

収録日：2024年3月9日
シンギュラリティサロン主宰の松田卓也神戸大学名誉教授の健康や学習に関連する日ごろのお考えを皆さんにお伝えします。今回はMamba論文がRejectされたという話。

Mamba論文のOpenReviewのページ
https://openreview.net/forum?id=AL1fq05o7H

出演：松田卓也　シンギュラリティサロン主宰・神戸大学名誉教授
　　　塚本昌彦　神戸大学教授
　　　小林秀章　セーラー服おじさん
　　　保田充彦　XOOMS代表
企画・運営：シンギュラリティサロン(https://singularity.jp/)