注目のキーワード:株価為替NISA投資節約セールふるさと納税キャッシュレス 最終更新:11/17(火) 00:52
新着人気お得情報カテゴリ ▾
📡 相互RSS・提携サイトの新着

世界各国が血眼になってGPUを確保する中、とてつもないLLMがリリース、1ビットLLM 全ての推論を加算のみ GPU不要になる可能性も

1: 稼げる名無しさん :2024/02/29(木) 16:34:34.47 ID:/Cz/NJMF9.net
Microsoftの中国チームがとてつもないLLMをリリースした。それが「BitNet 1.58Bits(https://arxiv.org/pdf/2402.17764.pdf)」だ。
彼らが発表したグラフを引用しよう。
画像
https://wirelesswire.jp/wp-content/uploads/2024/02/21622e3ce0b3cdc355c5a6679c4ea640-1536×1031.png

詳細はソース 2024/2/29
https://gigazine.net/news/20240229-microsoft-1bit-llm/
1001: 以下名無しさんに代わりまして管理人がお伝えします 1848/01/24(?)00:00:00 ID:money_soku



スレタイで「GPUが不要になる可能性」ってあるけれど、行列の加算でもGPUが圧倒的なのでは?
乗算だけなんだっけ?
yaruo_fuun
 加算でも同様にGPUのほうが早かったと記憶しているが、最新のアーキテクチャは確認していないのでちょっと調べてみたいな。
 スレ内ではNVIDIA終了という声も見られたが、恐らく問題なくNVIDIA一強状態は続くのではと思っている。(株価は上昇一服状態に入っているが)





MSI GeForce RTX 4090 SUPRIM X 24G グラフィックスボード VD8262


🔥 本日のおすすめ商品すべて見る ›


1001: 以下名無しさんに代わりまして管理人がお伝えします 1848/01/24(?)00:00:00 ID:money_soku




現在よく読まれているニュース!:






以下2chの反応と管理人の反応です






3: 稼げる名無しさん :2024/02/29(木) 16:35:47.29 ID:fbqN50KT0.net
何の話してんのか全然わからん

4: 稼げる名無しさん :2024/02/29(木) 16:37:28.33 ID:uWp7j9nh0.net
ふむふむなるほど全くわからん

5: 稼げる名無しさん :2024/02/29(木) 16:38:10.67 ID:QqzsS9+y0.net
なるほどーふーむ

7: 稼げる名無しさん :2024/02/29(木) 16:38:31.35 ID:r0KBiFNw0.net
1ビットなのに3つの値が分からん

27: 稼げる名無しさん :2024/02/29(木) 16:43:38.75 ID:/RYO2aKb0.net
>>7
1.58ビットと書いてあるじゃん

365: 稼げる名無しさん :2024/02/29(木) 18:27:51.31 ID:CJ4LhImc0.net
>>27
どの道わからんなそれ
なんなんだその半端は

424: 稼げる名無しさん :2024/02/29(木) 18:45:15.59 ID:/RYO2aKb0.net
>>365
情報理論を勉強すれば分かるようになるよ

11: 稼げる名無しさん :2024/02/29(木) 16:40:10.59 ID:2lku4xnd0.net
天才っているんだなぁ

17: 稼げる名無しさん :2024/02/29(木) 16:40:35.25 ID:Ujt5AlD60.net
メモリ使用効率良すぎだろ
ブレイクスルーレベルだはこんなの

22: 稼げる名無しさん :2024/02/29(木) 16:41:10.55 ID:SgsmzYaV0.net
よく分からんけどすごいな

23: 稼げる名無しさん :2024/02/29(木) 16:42:05.96 ID:UA/pLDLs0.net
つまり人類は滅亡するって事だな!

31: 稼げる名無しさん :2024/02/29(木) 16:45:32.46 ID:YMsuL2FO0.net
全く理解不能

32: 稼げる名無しさん :2024/02/29(木) 16:46:00.00 ID:xKXTDXCD0.net
NVDA暴落きちゃうの?

34: 稼げる名無しさん :2024/02/29(木) 16:47:00.51 ID:lLZKIRuT0.net
>>32
既にナイアガラ状態だよ

53: 稼げる名無しさん :2024/02/29(木) 16:51:59.48 ID:xKXTDXCD0.net
>>34
700ドル割ってから起こして

36: 稼げる名無しさん :2024/02/29(木) 16:47:38.01 ID:xsv53fBF0.net
エヌビ死亡かよ、半導体銘柄も死亡で日経終わるじゃん

38: 稼げる名無しさん :2024/02/29(木) 16:47:46.67 ID:Cbj8E8Fv0.net
GPUが不要になる

39: 稼げる名無しさん :2024/02/29(木) 16:47:47.92 ID:5zuC3Z9G0.net
まじかよ!
ちょっとコンビニでLLM買ってくる!
1001: 以下名無しさんに代わりまして管理人がお伝えします 1848/01/24(?)00:00:00 ID:money_soku





やる夫より:僕が使っている口座やニュース速報TwitterList、情報収集先などの記事だおやる夫の投資情報収集先あれこれ(2025年11月19日更新)
僕の友人が運営しているサイト
もしFXやCFDを始めるのであれば使っていただけると嬉しいお
口座の情報あれこれ




「かせまと!」をGoogleで優先するニュースソースに追加できます!
もしよかったらお願いします~!🙇‍♂️
セールをもっと見つけやすく!
電書セール帳
https://densho-cho.com/



現在よく読まれている記事:






https://asahi.5ch.net/test/read.cgi/newsplus/1709192074/

スポンサードリンク:

相互RSS(ブログロール)

💬 こちらもおすすめ

提携サイトの新着

コメント

  1. 1: 稼げる名無しさん
    投資だけじゃなくGPUのアーキテクチャに関しても詳しいのはほんまレアだと思う
  2. 2: 稼げる名無しさん
    16ビットで演算しても結果はあんま変わらんけど1.5ビットはスゴイな 微分できるんかしら?
  3. 3: 稼げる名無しさん
    つまり・・・増税だ
  4. 4: 稼げる名無しさん
    Microsoftの中国チーム?信用していいのか?
  5. 5: 稼げる名無しさん
    >>2 追記 元論文によると2枚の80GB A100を使ってベンチマークの計測はしたって書いてあるな バッチサイズをデカくしてメモリの限界まで計算資源を使いまくったって書いてあるし、nvidia終了って訳じゃない ただ、1.5ビット演算用のハードウェアがあればもっと早くできるかもとも書いてある
  6. 6: 稼げる名無しさん
    ええー?ほんとにござるかぁ
  7. 7: 稼げる名無しさん
    仮にそのすんごいのが出来たとしてGPUより安価で一般に普及できるのかっていうのがよくわからん GPU自体が結構お値段するから安く便利になるなら歓迎だわ
  8. 8: 稼げる名無しさん
    >>2 そもそも微分するのか? データはあくまで離散の世界なのに、連続の世界で微分可能関数を仮定してることに違和感ある あと一応だけど、微分という概念自体は離散の世界でもあるよ 可換環Rに対する多項式環R[X]上で微分が定義できるので
  9. 9: 稼げる名無しさん
    -1,0,1の3種ってことは多分、活性化関数はReLU関数だよね そして3元なのは線形性を破壊するための最低限だからだと思う
  10. 10: 稼げる名無しさん
    サイパン最高設定4K240でりゅ?🥺
  11. 11: 稼げる名無しさん
    >>4 爆発しそうだよね
  12. 12: 暇つぶしの名無しさん
    そもそもgpuは生成ai向けだろ 他ならcpuでもいけるしなんならRpiでも
  13. 13: 稼げる名無しさん
    >>12 この記事も生成AIの話なんだがちゃんと記事よんだ?
  14. 14: 暇つぶしの名無しさん
    >>8 コーシーの微分判読あたりを勉強してくださいな
  15. 15: 暇つぶしの名無しさん
    >>13 うーん大規模言語モデルの話でしょ 確かに生成aiでよく使われるけどさ
  16. 16: 稼げる名無しさん
    GPUでもCPUより早いかもしれんが、効率がいいかは分からん 確かなのはGPUよりもCPUよりも1bit加算演算に特化したハードウェアの方が効率が良いということ これまでもAI用ハードウェアは存在したが、やってる内容はGPUに近かったからコスパに大きく差は無かったけど今後はそうはいかない 現行のGPUやCPUとまるで設計が違うだろうからこれまでの設計のアドバンテージがリセットされかねないし、そうなるとファブレスのNVIDIAよりも半導体製造自体を抑えているTSMCが安定して上がりそうなのかな
  17. 17: 稼げる名無しさん
    >>15 それに加えて今回のは行列演算の話 CPUでもいける、RPIでもいける 確かにね、GPUに比べてめっちゃ遅いけど
  18. 18: 稼げる名無しさん
    ビット演算とかで乗算を代用するやつかな としたら、これまたオールドスクールな技術 省メモリだけど、コーディングもアルゴリズムも面倒くさくて、拡張性も低ければエラッタも出やすいと、ハイリスクなんよな
  19. 19: 稼げる名無しさん
    >>16 今後より良いアルゴリズムが考案されるかもしれないのにそれのみに特化した(というよりそれしかできない)ハードウェアを開発すんの? リスクでかすぎない?
  20. 20: 稼げる名無しさん
    普通の深層学習では積和計算が必要だからその計算に長けてるGPUがハードウェアとして適しているけど、この方法だと足し算だけでいいから足し算だけが高速にできるハードウェアが将来的には主流になってGPUが不要になるかもって話だよ 今は加算に特化したGPUに匹敵するハードウェアはないから、現状一般に手に入れられるハードウェアでこの手法に最も適してるのはGPU
  21. 21: 稼げる名無しさん
    >>19 横からだけど、そんなにリスクは高くないんじゃないかな? たとえばGoogleはTPUっていう行列演算に特化したハードウェア作ってるし、 アルゴリズムに特化した手法じゃなくて加算演算に特化したハードウェアでいいわけだし、GPUと違って複雑じゃなくて何かの計算のみに特化したハードウェアだから開発コストが低くてリスクは小さいよ ただ、この手法の信頼度や可用性みたいなのは不透明っていう点でMicrosoft以外はしばらく静観すると思う。 TPUと違って、コードをこのアルゴリズムに対応させなきゃいけないことと、LLMに使えても一般的な深層学習で精度が出ないかもしれないことが、この手法が普及するか否かの障害かな。 普及する公算が高ければ、GoogleがTPUを提供するようにMicrosoftが加算演算に特化したハードウェアを提供しても不思議ではないよ ちなみに、古いけど「AdderNet:」で検索すればヒットする論文で、「そもそも深層学習に掛け算って要らないかも?」って主張する研究者もいるから、加算演算で深層学習をする潮流っていうのはある
  22. 22: 稼げる名無しさん
    >>2 ビット = 2^1 だから、 1.58ビット = 2^1.58 ≒ 3 のことね。 行列に{-1,0,1}の3値を使っているのが特徴なので、ビット表記自体にはあんまり意味はない。 あと、この主張が正しいとすると、行列に整数値を採用してもせいぜい数倍〜数十倍の計算コストにしかならないからそっちの方の理論が出てくるかもね。あるいはビットシフトで済む2^n値とか。
  23. 23: 稼げる名無しさん
    >>9 3値を使うならintでもせいぜい数十倍の計算コストぐらいしか違わない気がするけど、桁溢れ処理とかでコストかかるのかしらん。
  24. 24: 稼げる名無しさん
    そもそも行列計算は超並列計算だから、GPU有利は変わらないのでは?

コメントを書き込む

🔥 本日のおすすめ商品すべて見る ›

メニュー

カテゴリ