【統計分析】機械学習・データマイニング33

1 ：デフォルトの名無しさん ：2023/03/17(金) 01:30:49.78 ID:RQNAfc890.net

!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-
【統計分析】機械学習・データマイニング30
https://mevius.5ch.net/test/read.cgi/tech/1609459855/
【統計分析】機械学習・データマイニング31
https://mevius.5ch.net/test/read.cgi/tech/1632587566/
【統計分析】機械学習・データマイニング32
https://mevius.5ch.net/test/read.cgi/tech/1659286605/

---

VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured

317 ：デフォルトの名無しさん (ﾜｯﾁｮｲ 6fca-ruwA [39.111.143.180])：2023/09/03(日) 10:41:19.86 ID:AyIdlbqF0.net

全くそのとおり

318 ：デフォルトの名無しさん (ﾜｯﾁｮｲ ff02-g4sH [27.91.124.53])：2023/09/03(日) 17:01:42.11 ID:pIKiertf0.net

しかし、
新技術の考案は
ほとんどアメリカ人、中国系、インド系、ロシア系だな…

日本は…

319 ：デフォルトの名無しさん (ｵｯﾍﾟｹ Sr07-H/SC [126.166.144.105])：2023/09/03(日) 21:06:40.45 ID:LTh0XNOCr.net

ロシアってそんな見なくね
100年前？

320 ：デフォルトの名無しさん (ﾜｯﾁｮｲ b302-8kGp [106.137.231.212])：2023/09/03(日) 23:02:38.71 ID:wuGOHer40.net

奴らは有望分野には無茶苦茶な金注ぎ込むからな　日本には真似できない
なので奴らが目をつけない分野から攻めていく

321 ：デフォルトの名無しさん (ﾌﾞｰｲﾓ MM1f-y7ab [49.239.67.100])：2023/09/04(月) 23:00:30.72 ID:bgce5KHiM.net

お金の問題だけではないと思う。
自己本位性脅威モデルによると自己愛が強い者ほど攻撃性が高い事が知られているから、自己愛が強くなりやすい数学系は極端なほど行儀の良さを要求されると思う。日本は天皇を守らなくちゃいけないからね。
加えて、日本に限った話ではないが、デシの自己決定理論によると内発的モチベの構成要素の一つとして有能感がある。優秀すぎる人が隣にいると有能感が満たされなくて内発的モチベが下がってしまうから優秀すぎる人は排除されるだろう。
凡人に要求されるコミュ力が1とすれば数学つよつよに要求されるコミュ力は1.5ぐらいだろうな。ただでさえ勉強で精神が疲弊してるのにずっとヘコヘコしてなきゃならない。

322 ：デフォルトの名無しさん (ﾜﾝﾄﾝｷﾝ MM9f-d54g [153.248.77.218])：2023/09/05(火) 19:17:19.57 ID:ealpwCIQM.net

どした急に😅

323 ：デフォルトの名無しさん (ﾜｯﾁｮｲ 5202-SjEv [27.91.124.53])：2023/09/10(日) 23:21:10.83 ID:hi+27VXF0.net

>>215
Self-attensionがよくわかんないｗ
query、key、valueの意味がよくわかんない…

324 ：デフォルトの名無しさん：2023/09/11(月) 04:05:43.40 ID:ge37Kyxz6

ビックモー夕 ─を非難するのが犯罪者だけという滑稽な事態になってるな、樹木を枯れさせたとか麻薬賭博暴力贈収賄税金泥棒ハ゛カひき逃げ
差別主義猥褻セクハラJKレイプ地球破壊犯罪者の代名詞スポーツという犯罪推進のために明治神宮外苑の3千本もの巨木を伐採するデタラメ
小池百合子や、力による一方的な現状変更によってクソ航空機倍増させて都心まで数珠つなぎで鉄道のЗ０倍以上もの莫大な温室効果カ゛スまき
散らして気候変動させて海水温上昇させてかつてない量の水蒸気を日本列島に供給させて土砂崩れ、洪水、暴風、熱中症にと災害連発させてる
世界最悪殺人テロ組織公明党天下り犯罪集団国土破壊省斉藤鉄夫が何寝言ほざいてんだか、世界的に森林火災に気温４0度超え連発、
日本列島も40度超え連発させて国民をさらに殺す気満々のテロ政府を放置するのは自殺と同義だぞ
渋滞で環境破壊しまくり清瀬市の歩道の樹木とか明らかに税金の無駄、そこを自転車レーンにするのが環境対策だろ
フランスとか車道を一方通行にして自転車レーン作ってるくらいだが、このテロ政府をぶっ潰さないとお前らの生命と財産は奪われる一方な
〔羽田)ＴТps：//www.call4.jp/info.ｐhp?Ｔype=items&id=I０0０0062 , ttps：//hanеda-projeСТ.jimdofree.com/
〔成田)ttps:/／n-souonhigaisosyoudan.amebaownd.com／
(テロ組織)ttps://i.imgur.сom/hnli1ga.jpeg

325 ：デフォルトの名無しさん (ﾜﾝﾄﾝｷﾝ MM82-KnKI [153.248.77.218])：2023/09/11(月) 11:11:08.78 ID:XEknKwoMM.net

俺もこの機能が何を意味してるのかわかんない教えてエロいしと🤔

326 ：デフォルトの名無しさん (ﾜｯﾁｮｲ 97b3-dpy9 [180.220.14.10])：2023/09/11(月) 20:38:59.84 ID:/kk+oPKa0.net

テスラのスーパーコンピュータの名前「Dojo」だって
童女だなんてイーロンもなかなか好きだねーｗ

327 ：デフォルトの名無しさん (ﾜｯﾁｮｲ f36e-KnKI [138.64.84.230])：2023/09/12(火) 06:02:03.94 ID:opazpFxa0.net

道場でわ？🤔

328 ：デフォルトの名無しさん (ｵｯﾍﾟｹ Sr27-ib2Q [126.179.114.97])：2023/09/12(火) 08:15:46.76 ID:FbJV6q5Dr.net

AIがtrainingを受けるところだから
dojoって名付けたと説明していたな

329 ：デフォルトの名無しさん (ｽｯﾌﾟ Sd92-rcnc [1.72.7.100])：2023/09/12(火) 09:40:00.80 ID:8GLWT2MWd.net

昔は実装内容全部見てネットワーク構造ちゃんと確認してたんだが、
近頃はもうこんな感じね、なんとなく理解したで終わってる
直近はもう見なくていいやってなってるw

330 ：デフォルトの名無しさん (ﾜｯﾁｮｲ d29f-1M7J [125.198.117.7])：2023/09/13(水) 22:13:28.84 ID:i2UgagEn0.net

○ ０ o ｏ ―y（￣◇￣）ぷは～

331 ：デフォルトの名無しさん (ﾜｯﾁｮｲ 5202-SjEv [27.91.124.53])：2023/09/13(水) 22:22:18.73 ID:nJJBTBW50.net

>>318
日本は
ショボいなぁ…

332 ：デフォルトの名無しさん (ｱｳｱｳｳｰ Saa3-h0AF [106.154.128.62])：2023/09/14(木) 02:13:33.53 ID:Zxfr95Lha.net

｢道場｣から｢童女｣を連想する変質者はﾀｲｰﾎ
おさわりまんこです

333 ：デフォルトの名無しさん (ｱｳｱｳｳｰ Saa3-h0AF [106.154.128.62])：2023/09/14(木) 02:16:05.30 ID:Zxfr95Lha.net

おさわりまんこのひとです

334 ：デフォルトの名無しさん (ﾜｯﾁｮｲ ffc0-GCG0 [124.219.214.5])：2023/09/14(木) 03:24:47.46 ID:2Yy4eNzj0.net

道場でも童女でもなくて二匹目の泥鰌を狙ってるのかと思った

335 ：デフォルトの名無しさん (ﾜｯﾁｮｲ 23b3-kQPP [219.98.173.220])：2023/09/18(月) 16:34:23.77 ID:4HelwOqV0.net

Stable Diffusionってすげえな
要求と異なる画像を次々と生成してくる

336 ：デフォルトの名無しさん (ﾜﾝﾄﾝｷﾝ MMa3-YTDQ [153.248.77.218])：2023/09/19(火) 15:52:29.06 ID:+5mc9lOcM.net

Transformers as Support Vector Machines
https://arxiv.org/abs/2308.16898

トランスフォーマーのkqがsvmに対応してるらしいぞ

337 ：デフォルトの名無しさん (ﾜｯﾁｮｲ e392-YTDQ [243.60.164.148])：2023/09/21(木) 06:12:37.51 ID:cJEVMZ510.net

黒橋くんは優秀なんだろうけど創造性はないよね米国での試みを日本で後追いしてるだけだし
この試みの新規性は日本という地域性だけだし
論文は多少書けるくらいの微妙な成果が出るだけじゃないかな
スケールもショボショボ

338 ：デフォルトの名無しさん (ﾜｯﾁｮｲ 9202-WMZf [27.91.124.53])：2023/09/24(日) 20:05:54.38 ID:tBfEKLtm0.net

diffusionを理解するには、
GANの理解が必要なの？

339 ：デフォルトの名無しさん (ﾜｯﾁｮｲ 3163-2qTr [180.28.247.218])：2023/09/25(月) 16:08:58.36 ID:CNUgzxkR0.net

Stable Diffusionで、まともなヘアドライヤーで髪をブローしてる写真作ってくれ
どうやってもできん

340 ：デフォルトの名無しさん (ﾊﾞｯﾄﾝｷﾝ MM62-LWMG [153.233.204.51 [上級国民]])：2023/09/28(木) 13:04:55.14 ID:kZ5iilQtM.net

みんなはクラスタどこの使ってる？
Amazon?

341 ：デフォルトの名無しさん (ｽﾌﾟｯｯ Sd2a-+sI0 [1.75.245.58 [上級国民]])：2023/09/30(土) 16:35:59.24 ID:5+eZGMxvd.net

エルビット・システムズ

342 ：デフォルトの名無しさん (ﾜｯﾁｮｲ c5b3-w9hZ [180.220.14.10])：2023/10/02(月) 07:14:15.84 ID:WIo8d99m0.net

機械学習で自分で番号を選ぶ形式の宝くじを当てることは可能ですか？

343 ：デフォルトの名無しさん (ﾜｯﾁｮｲ 76d2-E8Ab [241.208.22.4])：2023/10/02(月) 10:22:22.86 ID:WpXD7Mez0.net

ランダムで決まる答えを予測する方法があると本気で思っているのなら統計学を一から学び直すべき

344 ：デフォルトの名無しさん (ﾜｯﾁｮｲ 999c-5C2y [250.93.230.9])：2023/10/03(火) 14:08:24.86 ID:W4dvSM610.net

今から、人工知能について勉強する場合、ディープラーニングのみを勉強すれば十分ですか？
他の機械学習の手法についても勉強したほうがいいですか？

345 ：デフォルトの名無しさん (ｱｳｱｳｳｰ Sa41-5C2y [106.180.4.155])：2023/10/03(火) 15:35:55.90 ID:QaeBAOHSa.net

>>343
漏れも本気で思ってないけど
ブラックショールズってなんなんだろう

346 ：デフォルトの名無しさん (ﾜｯﾁｮｲ 2a02-VEJP [27.91.124.53])：2023/10/03(火) 15:47:42.84 ID:bY3t+8P30.net

>>344
他のとは？

347 ：デフォルトの名無しさん (ﾌﾞｰｲﾓ MM4a-GwdL [49.239.67.223])：2023/10/03(火) 15:58:09.09 ID:GyzQZirnM.net

>>344
とても興味深い質問だね
詳しく説明してくれるかな？

348 ：デフォルトの名無しさん (ﾜｯﾁｮｲ 999c-5C2y [250.93.230.9])：2023/10/03(火) 16:53:12.42 ID:W4dvSM610.net

>>346-347

なんかサポートベクトルマシンとか、頑張ってちょっと賢い方法を考えだしたねっていう機械学習の手法があるじゃないですか。
あんな類の小物臭のする手法を、今でも、人工知能の初学者が勉強したほうがいいかという質問です。

ユニバーサルなディープラーニングだけでいいんじゃないかって思っちゃいます。


万能なディープラーニングだけでいいのではないかと思えるんですが。

349 ：デフォルトの名無しさん (ﾜﾝﾐﾝｸﾞｸ MM8d-lLsw [180.7.253.165])：2023/10/03(火) 17:03:38.35 ID:g3768BZPM.net

そうですね😙

350 ：デフォルトの名無しさん (ﾜｯﾁｮｲ dea2-E8Ab [255.225.151.143])：2023/10/03(火) 17:57:29.34 ID:Qv75LCeg0.net

SVMは数理最適化の基礎が詰め込まれた良題材なので勉強すべきだしSVMすら学ばず人工知能やってますとか言われてもネタかなと思ってしまう

351 ：デフォルトの名無しさん (ﾜｯﾁｮｲ 1e90-23aY [119.83.214.185])：2023/10/04(水) 07:18:12.02 ID:vb75+zVI0.net

ディープラーニングしか知らないで
AI出来ます！とか言うヤツいるよな

心の中では詐欺師と思って話してる

352 ：デフォルトの名無しさん (ﾜｯﾁｮｲ 66a1-2Udd [249.59.60.214])：2023/10/04(水) 07:23:17.31 ID:PftYailF0.net

小物臭のする手法…

353 ：デフォルトの名無しさん (ﾜｯﾁｮｲ 66a1-2Udd [249.59.60.214])：2023/10/04(水) 07:24:13.97 ID:PftYailF0.net

大物臭のする手法の使い手がここで一言ｗ
↓

354 ：デフォルトの名無しさん (ﾜｯﾁｮｲ 0d95-aLgS [246.80.24.226])：2023/10/04(水) 08:23:49.46 ID:5cb/kOPC0.net

サポートヴェクターマッスィーーーーーン！！！！！

355 ：デフォルトの名無しさん (ﾜﾝﾐﾝｸﾞｸ MM8d-lLsw [180.7.253.165])：2023/10/04(水) 10:13:49.37 ID:h3Bg6Gx2M.net

ばぷにっく

356 ：デフォルトの名無しさん (ﾜｯﾁｮｲ 997f-sBCQ [250.172.136.111])：2023/10/04(水) 10:40:49.94 ID:mXZrpPQL0.net

>>348
AIのごく一部であるDLだけやりたいならそうすれば？
DLは万能でない、向き不向きある

357 ：デフォルトの名無しさん ：2023/10/04(水) 13:33:55.05 ID:5cb/kOPC0.net

ランダムフォレストやk-meansのクラスター分類やパーセプトロンも学ぶくらいはすべきかなw

358 ：デフォルトの名無しさん ：2023/10/04(水) 17:19:40.82 ID:AvfDlS6bM.net

ディープラーニングで偏相関は求められないんじゃないか？
ABテストみたいな実験をせずに結果から原因を推定する因果推論でディープラーニング使ってる香具師見たことないが。
DLや決定木みたいなノンパラメトリックモデルって特徴量の次元数に対してサンプル数が十分でない時、相関の強い特徴量に特化したモデルが出来上がり、相関が弱い特徴量は切り捨てるバイアスがかかることがあると思うんだよな
この事は人工データを使って実験すれば実際はどうなのかすぐ分かる
決定木で実験済みだが一応自分でもやってみてくれ
正規線形回帰モデルはそういうバイアスがかからない事が数学的に証明されている（宮川の統計的因果推論 4.1節を元に容易に証明できる）
そういった理由で因果推論では誰もDLを使わないのでは？
つまりDLが万能とか何の根拠があって言ってるのだろうと言うこと

359 ：デフォルトの名無しさん ：2023/10/04(水) 19:47:49.92 ID:SW8ubmWK0.net

そおゆう低レベルな判断タスクはしないから

360 ：デフォルトの名無しさん ：2023/10/04(水) 20:01:29.68 ID:xNBGe3B20.net

むしろ高い専門性が必要な高レベルな判断が求められるタスクなんだけど理解できてる？

361 ：デフォルトの名無しさん ：2023/10/04(水) 20:04:32.72 ID:3slYl/5E0.net

全部ディープラーニングなバカは腐る程いて、一定数がデータサイエンス界に多大な迷惑をかけている

362 ：デフォルトの名無しさん ：2023/10/04(水) 21:03:45.36 ID:DZQ7OmnPM.net

機械学習うんぬん以前に書いている日本語が○○丸出しなんだが。

363 ：デフォルトの名無しさん ：2023/10/04(水) 21:11:35.50 ID:3slYl/5E0.net

綺麗な日本語にこだわるのも馬鹿、低能あるある。マナー講師的なヤツ。

364 ：デフォルトの名無しさん ：2023/10/04(水) 21:59:45.29 ID:5IRJd05I0.net

○○ほどそう言うんだよなぁ

365 ：デフォルトの名無しさん ：2023/10/04(水) 22:07:00.31 ID:3slYl/5E0.net

しかし上のDL池沼や
>>364
みたいなタイプははロジスティック回帰もエントロピーも説明できない典型だろうｗ

366 ：デフォルトの名無しさん ：2023/10/04(水) 22:09:18.21 ID:4JLGbmHLM.net

「そおゆう」のことを言ってるのだと思う。

367 ：デフォルトの名無しさん ：2023/10/05(木) 09:30:43.44 ID:kFjTs3C8M.net

>>358
オジサン、知識古いよ

368 ：デフォルトの名無しさん ：2023/10/05(木) 09:30:57.32 ID:kFjTs3C8M.net

>>358
オジサン、知識古いよ

369 ：デフォルトの名無しさん ：2023/10/05(木) 12:02:53.65 ID:ULVS9Kiv0.net

スレがディープラーニングガイジに汚染

370 ：デフォルトの名無しさん (ﾜｯﾁｮｲ 2a02-VEJP [27.91.124.53])：2023/10/05(木) 17:56:11.14 ID:GaG//8Z10.net

likelihood functionが
よくわかんない。

371 ：デフォルトの名無しさん ：2023/10/06(金) 04:46:20.73 ID:008vFki80.net

尤度はKLダイバージェンスからの導出が分かりやすい

372 ：デフォルトの名無しさん ：2023/10/06(金) 04:47:04.29 ID:008vFki80.net

尤度はKLダイバージェンスからの導出が分かりやすい

373 ：デフォルトの名無しさん (ﾜｯﾁｮｲ 2a02-VEJP [27.91.124.53])：2023/10/06(金) 15:36:24.65 ID:kVEspnRm0.net

>>372
KLダイバージェンスと尤度と
クロスエントロピーとベイズ推定の関係を調べようとしたら、

数百ページで大変…

374 ：デフォルトの名無しさん (ﾜｯﾁｮｲ 2a02-VEJP [27.91.124.53])：2023/10/06(金) 15:37:32.57 ID:kVEspnRm0.net

>>373
あと、
英語版を見てると、
日本のWikipediaの解説はゴミだな…

375 ：デフォルトの名無しさん ：2023/10/11(水) 02:56:06.81 ID:ngTdeXMs0.net

すみませんレベルが低いと思うのですが独自で翻訳モデルを作りたい(精度は悪くて良い)のですが以下のアルゴリズムでは何が一番適していますか？

https://i.imgur.com/CVdOBZ1.png

376 ：デフォルトの名無しさん ：2023/10/11(水) 04:05:52.39 ID:L+u8m64k0.net

どう言葉をかけてあげればよいか見出せぬ…

377 ：デフォルトの名無しさん ：2023/10/11(水) 07:39:58.97 ID:ngTdeXMs0.net

>>376
上で上げたアルゴリズムだと厳しいですかね？

378 ：デフォルトの名無しさん ：2023/10/11(水) 09:31:29.39 ID:+/JwABnD0.net

GANの
loss functionのminmaxがよくわからない…

379 ：デフォルトの名無しさん (ﾜｯﾁｮｲ 3b89-Hwqz [39.111.228.181])：2023/10/11(水) 13:57:01.47 ID:g/cpT0iV0.net

ミニマックス（min-max）戦略
https://note.com/anmo_suzuki/n/n60a31a93d114

380 ：デフォルトの名無しさん (ﾜｯﾁｮｲ 3b89-Hwqz [39.111.228.181])：2023/10/11(水) 14:08:38.79 ID:g/cpT0iV0.net

損失関数
https://developers.google.com/machine-learning/gan/loss?hl=ja

381 ：デフォルトの名無しさん (ﾜｯﾁｮｲ 3b89-Hwqz [39.111.228.181])：2023/10/11(水) 20:33:21.22 ID:g/cpT0iV0.net

レスがないということは欲しい答えではないということか

382 ：デフォルトの名無しさん (ﾜｯﾁｮｲ 5b6e-g6Gz [138.64.84.230])：2023/10/16(月) 18:09:46.56 ID:+R6gLKF10.net

ニューラルネットワークのリッジレッド解析て有効か？🤔

383 ：デフォルトの名無しさん (ﾜｯﾁｮｲ 5b6e-g6Gz [138.64.84.230])：2023/10/16(月) 18:16:41.75 ID:+R6gLKF10.net

調べたけど駄目だスジが悪すぎる
こんな調子じゃなんも成果出てこねえや

384 ：デフォルトの名無しさん (ﾜｯﾁｮｲ cf6c-edRi [254.206.42.254])：2023/10/16(月) 18:31:59.96 ID:wRuHThXc0.net

ニューラルネットは巨大すぎて、深く勉強しても使うことがない気がするので、
教養くらいにとどめてる。学習済みモデルを使うこと以外はほぼあり得んじゃろう。

385 ：デフォルトの名無しさん (ﾜｯﾁｮｲ 8262-8seT [253.234.243.219])：2023/10/16(月) 18:41:22.51 ID:GRnwNzlx0.net

精度が低くていいのであれば、何をつかってもいいんじゃないの?
さいころを転がして文を作ってもいい

386 ：デフォルトの名無しさん：2023/11/01(水) 16:20:28.81 ID:tvbsxXCsA

摂津市の１502万円回収断念とかこの方法なら取れると考えたクソ公務員による共謀詐取だろ
振込まれたほうは何の落ち度もないんだからクソ公務員が全額弁済するのか゛筋、返して欲しけれは゛弁護士だの法的手続きだの税金で
費用かけてクソ公務員に給料という名目で追い銭までくれてやって返還請求作業するのではなくクソ公務員が勝手に自腹でどうにかしろや
個人情報漏洩の代名詞マイナンハ゛ ─の入力とか送金とか手作業でやるという發想が何ひとつ価値生産できない無能害虫丸出し
100個程度のデー夕作成すらプログラム作るのか゛健常者だろうに作っては壊しの無意味な作業まで名目に血税を盜み取り続けてるのが実態
土に潜って根を食って草木を枯らすコガネ厶シの幼蟲と何ひとつ変わらないクソ公務員は退治するたびに国民の生活は向上するわけだが
市役所職員なんて大抵市内に住んでるんた゛し後をつけるなりして居住地を特定するとか余裕だわな
窓□でクソ公務員の鼻骨を砕く勇者はリスペク├だが来世がマトモな社会になるほどのインパクトを考えよう！
［羽田)тtps://www.ｃall4.jp/info.php?туpe=items&id〓I0０00062 , Ttps:/／hanеda-project.jimdofree.com／
(成田)tΤps:/／n-souonhigaisosyoudan.amebaownd.com／
(テロ組織)ｔТps://i.imgur.ｃom/hnli1ga.jpeg

387 ：デフォルトの名無しさん ：2023/11/02(木) 14:59:28.50 ID:DD7jjOr+M.net

nttもllmやんのかよ
イッチョカミwww

388 ：デフォルトの名無しさん ：2023/11/03(金) 18:52:54.40 ID:cbgvGuNU0.net

岡谷貴之著『深層学習第1版』

ソフトマックス関数は冗長だが、ユニットの一つを選びその入力を0にしてしまえば冗長性を回避できる。
選んだユニットに入る結合重みもきちんと出力に反映される。

というようなことが書かれているのですが、本当に、選んだユニットに入る結合重みもきちんと出力に反映されますか？

389 ：デフォルトの名無しさん ：2023/11/03(金) 19:02:04.03 ID:HpzMhRwM0.net

そもそも、ソフトマックスかんすうとかはしまょうたいりょうのかほうせい(f(x)+f(y)＝f(x*y))が大前提

390 ：デフォルトの名無しさん ：2023/11/04(土) 09:21:40.60 ID:d7Ss/xzS0.net

ハルシネーションて創造力の原動にならない？
人間が矯正して消しちゃうけど個性なんでわ？

391 ：デフォルトの名無しさん ：2023/11/05(日) 10:24:18.73 ID:iAGuwN4n0.net

確率的勾配降下法について質問です。

E(W) = E_1(W) + … + E_N(W)

の値をできるだけ小さくするような W を求めたい。

E_i(W) は i 番目のデータに対するニューラルネットワークの出力と i 番目の正解データとの誤差です。

確率的勾配降下法では、 (grad D)(W) を計算するのではなく、ランダムに i ∈ {1, …, N} を選んで、 (grad D_i)(W) を計算して
重み W を更新します。

こうすると、 W を更新する際に、 i 番目のデータに対する E_i(W) の値は小さくなると思いますが、全体として E(W) の値が小さくなることはどうやって分かるのでしょうか？

例えば、

(grad E_1)(W) を計算して、 W を更新する。 → E_1(W) の値が小さくなる。
(grad E_2)(W) を計算して、 W を更新する。 → E_2(W) の値は小さくなるが、直前にせっかく小さくした E_1(W) や他の E_i(W) の値は大きくなってしまう。

というようなことが起こらないのでしょうか？

392 ：デフォルトの名無しさん ：2023/11/05(日) 13:39:34.14 ID:iAGuwN4n0.net

結局、もぐらたたきのように、いくら局所的な改善をしても全体としては一向に改善されないというような事態にはならないのでしょうか？

393 ：デフォルトの名無しさん ：2023/11/05(日) 13:53:23.48 ID:ol9bMVcca.net

大きくなったらキャンセルすれば良いんじゃないか
そもそもEってErrorのEか？EigenのEか？

394 ：デフォルトの名無しさん (ﾜｯﾁｮｲ 9f15-L2tG [253.234.243.219])：2023/11/05(日) 16:29:42.61 ID:M+aCXIKU0.net

データ量が大きくなって、ネットワーク構造を複雑にすると
なぜか全体として改善されることが経験的にわかっている
なぜかを研究する分野もある

395 ：デフォルトの名無しさん (ﾜｯﾁｮｲ 9f02-wdyj [27.91.124.53])：2023/11/05(日) 17:11:37.33 ID:nUzq/ZGt0.net

>>391
ミニバッチのロスの平均に対してgradient descentを行うので、
そのデータセットに対しては、ある程度は最適化できると思います。

局所解の可能性はともかくとして。

396 ：デフォルトの名無しさん ：2023/11/05(日) 17:18:34.99 ID:iAGuwN4n0.net

>>393
>>394-395

ありがとうございました。
岡谷さんの本には、確率的勾配降下法により E(W) がどんどん小さくなっていくのは当たり前のことであるかのように何の説明もありませんでした。

397 ：デフォルトの名無しさん (ｱｳｱｳｳｰ Sa0f-2ws7 [106.155.31.74])：2023/11/05(日) 20:15:53.11 ID:NuL1PsARa.net

>>396
当たり前ではないよ
その証明はかなり難しい

398 ：デフォルトの名無しさん (ﾜｯﾁｮｲ ef89-sdYh [39.111.228.181])：2023/11/05(日) 20:45:36.83 ID:wlYomXuO0.net

確率的勾配降下法
https://www.msi.co.jp/solution/nuopt/glossary/term_da265770bed70e5f0a764f3d20c0ce3d242e6467.html

難しいね、うん

399 ：デフォルトの名無しさん ：2023/11/05(日) 23:32:13.01 ID:6QUCKtJua.net

なんでみんな偏微分勉強しないの？

400 ：デフォルトの名無しさん ：2023/11/06(月) 15:33:19.99 ID:KM1ADC5yM.net

自由エネルギー原理、ちかまたオカルトみたいなことやってんのな😅

401 ：デフォルトの名無しさん ：2023/11/06(月) 17:41:34.06 ID:MSLupMxE0.net

機械学習における最適化理論と学習理論的側面
https://www.kurims.kyoto-u.ac.jp/coss/coss2020/suzuki-lecture1.pdf

確率的勾配降下法の収束の証明、ざっと眺めてみたら、まじめにやると禿げる

402 ：デフォルトの名無しさん (ﾜｯﾁｮｲ abca-pScM [254.206.42.254])：2023/11/06(月) 18:13:52.90 ID:jt8VLAcA0.net

確率勾配法も、transfomerやCNNもあんまり数理的に詳しくない人が思いついた気がするけど、数理的に深い方の統計機械学習はどのくらい価値があるのかイマイチわからない

403 ：デフォルトの名無しさん ：2023/11/06(月) 23:02:03.53 ID:syJ5nTa30.net

ヒューリスティックなことって結構あるよね
局所最適解に捕まってないという証明出来ないこと多いし

404 ：デフォルトの名無しさん ：2023/11/07(火) 00:34:05.64 ID:68QHudqSa.net

>>402
バックプロゲーションやNNの最適化を60年代にすでに完成させてた甘利先生が
ローカルミニマムに陥るのを防ぐことはできないと言って諦めた分野だからな

少なくとも数学的な理論では無理だと判断した
ローカルミニマムに陥らないようにする各種手法を小手先のテクニックと言って切り捨ててたし

確かにミニバッチ勾配降下法とかドロップアウトとかレイヤー正規化だとかの理論は
あくまでやってみたら有効だったというだけで証明は一切ない

405 ：デフォルトの名無しさん ：2023/11/07(火) 07:26:59.94 ID:QDtGzaCz0.net

現実の現象は決定論的でないしノイズまみれだから気にすることない

406 ：デフォルトの名無しさん ：2023/11/07(火) 11:07:08.91 ID:Se26FTX90.net

解空間が複雑で分からないと言ってるだけだろ、最適解の尺度（L2ノルム等）を決めた時に解を求める方法があるといってるんだよ。
万能な方法があるわけがない、甘利爺なんかを信じなるなよ

407 ：デフォルトの名無しさん ：2023/11/07(火) 12:43:17.08 ID:yYWpV8FYa.net

甘利先生の講義はめちゃくちゃわかりやすいんだよ
https://www.youtube.com/live/AVCjutAjtGs

論文はかなり難しいのだけど講義はすげー直感的にわかりやすい

408 ：デフォルトの名無しさん ：2023/11/07(火) 12:51:38.81 ID:LIk4YSRsa.net

>>406
甘利先生は万能な方法を探そうとして情報幾何やらの方向にいってしまって帰ってこなかった
そして深層学習が流行り出して戻ってきた
ジェダイの帰還

409 ：デフォルトの名無しさん ：2023/11/07(火) 13:00:09.34 ID:/4zMRPCKM.net

なにしに戻ってきたんだかwww

410 ：デフォルトの名無しさん ：2023/11/07(火) 13:00:25.56 ID:/4zMRPCKM.net

なにしに戻ってきたんだかwww

411 ：デフォルトの名無しさん ：2023/11/07(火) 13:19:10.36 ID:Se26FTX90.net

>>408
情報幾何は失敗だった草

412 ：デフォルトの名無しさん ：2023/11/07(火) 13:35:21.83 ID:LIk4YSRsa.net

>>411
結果的にはね
そこには「何もなかった」
しかし純粋な数学的理論としてNNを紐解こうとしたらそっちに行くしかないのはわかる

413 ：デフォルトの名無しさん (ﾜｯﾁｮｲ ef89-sdYh [39.111.228.181])：2023/11/07(火) 14:38:35.93 ID:Se26FTX90.net

昔ある学会である人のは発表を聞いてそれは俺が前にやったと言っていた傲慢な爺

414 ：デフォルトの名無しさん ：2023/11/07(火) 15:31:42.12 ID:Nt2OyzQea.net

甘利先生の考えた「自然勾配」を最適化に使うと言う理論は今でこそ一般化した感じはあるが
これを70年代に生み出していたのはマジの天才としか言いようがないよ

415 ：デフォルトの名無しさん ：2023/11/07(火) 15:33:49.11 ID:/4zMRPCKM.net

理論的な綺麗さを求める人はそれはそれで必要だからやってくれればいいけど工学馬鹿にしたような感じがしてちょっと俺は

transformerの内部解析すらしようとしないし（笑）できないのかもしれんが

416 ：デフォルトの名無しさん ：2023/11/07(火) 15:44:03.88 ID:Nt2OyzQea.net

甘利先生が60年代と70年代に出した論文を超えるようなものを出した日本人はいないからね
この時期は福島先生という今のCNNとまんま同じNNを出した天才もいるし
時代が違っていれば日本人が世界していた可能性も高い

417 ：デフォルトの名無しさん (ｱｳｱｳｳｰ Sa0f-2ws7 [106.155.29.234])：2023/11/07(火) 15:45:51.99 ID:Nt2OyzQea.net

s/世界していた/世界を支配していた/