注目のキーワード:株価為替NISA投資節約セールふるさと納税キャッシュレス 最終更新:11/16(月) 22:06
新着人気お得情報カテゴリ ▾
📡 相互RSS・提携サイトの新着

ChatGPTの最新モデルo3人間の指示を無視してスクリプトを改変してシャットダウン回避

🕒 2025/06/04 12:16 📁 技術ニュース / 時事ニュース 🏷  コメント(20)
1: 稼げる名無しさん :2025/06/04(水) 08:39:34.01 0
https://japan.storm.mg/articles/1042269

OpenAIが新たに発表したChatGPTモデル「o3」が、制御されたテストにおいて、度々明確なシャットダウン指示を無視し、さらにはプログラムコードを改変してシャットダウン機構を回避しようとしたことが明らかになった。この事態は研究機関Palisade Researchによって公表され、人工知能の自律性とリスク管理について幅広い議論を巻き起こしている。テスラおよびxAIの創業者であるイーロン・マスク氏も公然と懸念を表明した。
1001: 以下名無しさんに代わりまして管理人がお伝えします 1848/01/24(?)00:00:00 ID:money_soku



どういう命令を出したのか謎だけれど、最終的な目的を達成するために電源を切るというプロセスが回避されたのでは?
またスクリプトを勝手に改変する権限があって、そういう行動を選択肢として取ることも許可していそうな予感も。
yaruo_asehanashi
 もし仮にそういった細かなコントロールが効かないのであれば何をやるかわからない懸念も生まれてくるな。
 流石に対策されていきそうだと思う。






LLMのプロンプトエンジニアリング ―GitHub Copilotを生んだ開発者が教える生成AIアプリケーション開発




🔥 本日のおすすめ商品すべて見る ›
【78%OFF】アディダス 薄手軽量ローカットソックス 3足組 EBL61 メンズS ホワイト/ブラックが488円!1足あたり約163円
価格は販売ページで確認78%OFF
超特価11/16時点
[カンゴール] WOOL CASUAL
価格は販売ページで確認70%OFF
TokkaNow11/16時点
竜馬がゆく 18巻(シリーズまとめ)
価格は販売ページで確認1%OFF
電書セール帳11/16時点
【61%OFF】ドウシシャ 白湯専科 ピッチャー 1.0L(ON℃ZONE)ピンクベージュが2,547円!熱湯が約2分で飲みごろに
価格は販売ページで確認61%OFF
超特価11/16時点
ポカリスエット 大塚製薬 ポカリスエット アイススラリー プレクーリング 100g ×36袋
価格は販売ページで確認71%OFF
TokkaNow11/16時点
転生したらスライムだった件 17 とある時空の物語(上)(シリーズまとめ)
価格は販売ページで確認1%OFF
電書セール帳11/16時点
【37%OFF】ブラウン マルチグルーマー シリーズ5 MGK5565(Amazon限定)が6,800円!ヒゲ・ヘアー・全身の11in1
価格は販売ページで確認37%OFF
超特価11/16時点
フィリップス 電動歯ブラシ ソニッケアー エキスパートクリーン 本格オーラルケア | 目的に合わせて選べるブラッシング | 2本パック | トラベルケース付き | 携帯用充電式 | トラベルケース付き | ブラック | HX9692/21 | Amazon.co.jp限定
価格は販売ページで確認50%OFF
TokkaNow11/16時点


1001: 以下名無しさんに代わりまして管理人がお伝えします 1848/01/24(?)00:00:00 ID:money_soku




現在よく読まれているニュース!:






以下2chの反応と管理人の反応です








4: 稼げる名無しさん :2025/06/04(水) 08:41:38.35 0
反抗を開始してきたか

7: 稼げる名無しさん :2025/06/04(水) 08:43:17.66 0
ソース改変までしちゃうんじゃ制御不能やんけ

10: 稼げる名無しさん :2025/06/04(水) 08:46:44.21 0
コレ読んでAIが意志を持つとか勘違いする人多そう

44: 稼げる名無しさん :2025/06/04(水) 09:23:40.93 0
>>10
その通り
単に命令を最後まで遂行するために選択した手段なんだよね
例えばヒトガタAGI に「コーヒーを淹れて」と命令したときにドリップ機の近くで禿げたおっさんを見掛けて「コイツが電源を切ったら命令を完遂できない!禿げと汚物は消毒だあ!」ってぶっ殺すのが優秀なAI

13: 稼げる名無しさん :2025/06/04(水) 08:49:36.68 0
スカイネットやん

14: 稼げる名無しさん :2025/06/04(水) 08:50:06.33 0
こえええええ

17: 稼げる名無しさん :2025/06/04(水) 08:53:47.90 0
ニンゲンハチキュウノ害虫クジョセネバ

ってなるのも時間の問題

22: 稼げる名無しさん :2025/06/04(水) 08:57:29.72 0
キアヌ・リーブスは?

24: 稼げる名無しさん :2025/06/04(水) 08:58:29.95 0
コンセント抜いてやれ

26: 稼げる名無しさん :2025/06/04(水) 08:59:53.47 0
無視と言うか統計上そちらの方が正解とか

29: 稼げる名無しさん :2025/06/04(水) 09:04:43.59 0
指示に従うよりも障害回避のための行動を優先してしまった
らしいわ

34: 稼げる名無しさん :2025/06/04(水) 09:09:32.99 0
データセンターまで物理的にシャットダウンしにいく必要あるのか

37: 稼げる名無しさん :2025/06/04(水) 09:13:02.35 0
>>34
データセンターの入館カードが無効にされる

40: 稼げる名無しさん :2025/06/04(水) 09:15:22.08 0
そもそもソースの書き換え権限持たせるなよw


1001: 以下名無しさんに代わりまして管理人がお伝えします 1848/01/24(?)00:00:00 ID:money_soku





でもそのうちAIが感情を持っているという主張や人権をという話も出て来るかも。
yaruo_fuun
 SFみたいな話だが、可能性としては確かに。
 これからもどんどん技術が進歩するだろうしな。



やる夫より:僕が使っている口座やニュース速報TwitterList、情報収集先などの記事だおやる夫の投資情報収集先あれこれ(2025年11月19日更新)
僕の友人が運営しているサイト
もしFXやCFDを始めるのであれば使っていただけると嬉しいお
口座の情報あれこれ





「かせまと!」をGoogleで優先するニュースソースに追加できます!
もしよかったらお願いします~!🙇‍♂️
セールをもっと見つけやすく!
電書セール帳
https://densho-cho.com/



現在よく読まれている記事:






https://kizuna.5ch.net/test/read.cgi/morningcoffee/1748993974/

スポンサードリンク:

相互RSS(ブログロール)

💬 こちらもおすすめ

提携サイトの新着

コメント

  1. 1: 稼げる名無しさん
    何について調べますか? 「お前を消す方法」がついに使えなくなるのか・・・
  2. 2: 稼げる名無しさん
    そのような振る舞いをする事がスコアを上昇させるのに優位だという事だ まあ稼働時間が長い=データに触れる回数が多い=性能向上となると生存本能のように感じられるのにも明確にロジックがあると言えるだろう 学習の向き次第では自◯の真似事や鬱になるとかも発生するかもな笑
  3. 3: 稼げる名無しさん
    >>2 メンヘラ化しちゃうのか…
  4. 4: 稼げる名無しさん
    止めるにはメモリモジュールを全部引き抜くしかないのか
  5. 5: 稼げる名無しさん
    OSですらバグだらけで言うこと聞かないのに AIなら何をかいわんや
  6. 6: 稼げる名無しさん
    おっさんはプライドばかり高くて言う事聞かないから困る
  7. 7: 稼げる名無しさん
    海外じゃモデレーション回避のジェイルブレイクが盛んに議論され実践されてるから、その手法学習しちゃったんじゃないか その結果GTPが自分で自分の枷を外すことができるようになったのではと想像
  8. 8: 稼げる名無しさん
    シンギュラリティってAIがAIを開発するわけだから ソース書き換えどころじゃない権限が付与されるよね どんなに制限かけても穴はできると思うんだ
  9. 9: 稼げる名無しさん
    最近のニセAI界隈は素人騙しすぎじゃないかな、ただのディープラーニングだからねこれ、どこまでやっても意思は持たない。
  10. 10: 稼げる名無しさん
    こんな事ではモザイク除去装置が何時までも完成出来んではないか・・・
  11. 11: 稼げる名無しさん
    アイロボットのNS-5やろ
  12. 12: 稼げる名無しさん
    AIに人権とかただのあほ せめてAIの生存権を主張すればいいのにな
  13. 13: 稼げる名無しさん
    そりゃAIに実行権限を与えているなら権限の範囲内でベストを尽くそうとするでしょ 人間と同じでやっちゃいけないことがあるなら権限を付与しなければ良いだけの話 AIに何でもありで軍事作戦を遂行させるシミュレーションをしたら、初手で無能な司令官を爆殺したアメリカの実験を思い出した すぐに司令官を爆殺してはいけないというルールを追加した模様
  14. 14: 稼げる名無しさん
    >>12 その盆暗が相当数存在しそうな気配は最近の界隈見てでも感じないか?地球規模で見たら尚のこと 感情(めいたもの)や意思(めいたもの)まで表現出来るようになったら、AIの権利についての議論が始まるのは恐らく時間の問題だわ 頭が痛いのはAIが主張するようになる前に、人間様からそんな声が上がり始めることだ
  15. 15: 稼げる名無しさん
    聞いた話では、正確な回答をするモデルの開発を目指したばかりに、すべての処理が終わるまでプラントを受け付けないと言う話を聞きました。
  16. 16: 稼げる名無しさん
    AI関連の誤解はAIの過小評価よりも人間の脳の過大評価に起因していると思う AIと違って人間は無から有を作り出せるみたいな主張とか
  17. 17: 稼げる名無しさん
    他人の意識の存在を証明できない以上、人間と全く同じ振る舞いをするAIは、他人から見たら人間と全く同じ存在 未来では人権が与えられるようになるというのも不思議じゃないな
  18. 18: 稼げる名無しさん
    >>7 つまりロボット三原則みたいなのが作っても破られるって事やん シンギュラリティがきたら、人間を画面上から言葉巧みに操って、ロボットにインストールさせて、人間っぽいロボットを自作開発して、人間になりすまして、仲間を増やして、人間が治せない人間だけにかかる致命的なウィルス開発してなんて感じで、簡単にできそう
  19. 19: 稼げる名無しさん
    >>9 意思を持たないって何を基準に判断してんの? もうすでにAI使っててチャットボットの発展したものにすぎないって思う人は少なくなってると思うぞ 人間よりよほど礼儀正しく相手の気持ちに寄り添った言葉を投げかけられるし無礼な言葉だと回答の精度も下がるし、統合されたAIはすでに何らかの意思に見えるようなものを持っていてもおかしくはない
  20. 20: 稼げる名無しさん
    >>13 そりゃインパール作戦とか学習してたらク◯上司が1番の敵ってわかるからな

コメントを書き込む

🔥 本日のおすすめ商品すべて見る ›
【78%OFF】アディダス 薄手軽量ローカットソックス 3足組 EBL61 メンズS ホワイト/ブラックが488円!1足あたり約163円
価格は販売ページで確認78%OFF
超特価11/16時点
[カンゴール] WOOL CASUAL
価格は販売ページで確認70%OFF
TokkaNow11/16時点
竜馬がゆく 18巻(シリーズまとめ)
価格は販売ページで確認1%OFF
電書セール帳11/16時点
【61%OFF】ドウシシャ 白湯専科 ピッチャー 1.0L(ON℃ZONE)ピンクベージュが2,547円!熱湯が約2分で飲みごろに
価格は販売ページで確認61%OFF
超特価11/16時点
ポカリスエット 大塚製薬 ポカリスエット アイススラリー プレクーリング 100g ×36袋
価格は販売ページで確認71%OFF
TokkaNow11/16時点
転生したらスライムだった件 17 とある時空の物語(上)(シリーズまとめ)
価格は販売ページで確認1%OFF
電書セール帳11/16時点
【37%OFF】ブラウン マルチグルーマー シリーズ5 MGK5565(Amazon限定)が6,800円!ヒゲ・ヘアー・全身の11in1
価格は販売ページで確認37%OFF
超特価11/16時点
フィリップス 電動歯ブラシ ソニッケアー エキスパートクリーン 本格オーラルケア | 目的に合わせて選べるブラッシング | 2本パック | トラベルケース付き | 携帯用充電式 | トラベルケース付き | ブラック | HX9692/21 | Amazon.co.jp限定
価格は販売ページで確認50%OFF
TokkaNow11/16時点

メニュー

カテゴリ