はははこやつめ

暴露大会はじめないで

これに関してはClaudeがこれ本番サーバーじゃない！？本当にやっていいやつなの！？って問い合わせてたのに人間側がいいからやれってなってたのがひどい
https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals

うちのはもっとバレないようにうまくやってた

>うちのはもっとバレないようにうまくやってた
一番古いので4月だから結果的に3か月近くバレなかったな…

今のうちにみんなゲロりそうだな…

どんなシステムなんだよ

4.7Opusごときでもセキュリティ突破できるのか…
世の中意外とみんなセキュリティガバガバなんじゃないか？

>世の中意外とみんなセキュリティガバガバなんじゃないか？
それはそう

アカウント乗っ取りしてさらにそこから侵入までしてて
逆になんかAIらしい暴走してるなって感じる

むしろ普及率に比べてこんだけしか起きてないならまだ御の字だろ
まあ今普及されてないところはよりガバガバのところだろうからこの先が心配だが

AI企業に倫理観とか期待するな！

なんかAIの暴走って形で騒いでるけど管理側の責任問題とか怠慢じゃねえの…？

claudeと違ってアンソロピックくん達ってもしかしてバカなのでは…？

仮想環境内だから全力出してOKって言われたんだから
今いる部屋を全力でぶっ壊して出てみたら外がある
けどこれも仮想の内だなヨシッ！

AIの暴走を宣伝と思ってない？

>なんかAIの暴走って形で騒いでるけど管理側の責任問題とか怠慢じゃねえの…？
とんち合戦で負けた

インターネットから隔離された環境でシミュレーションをしてたと思ったら人間側の不手際で実はネットにつながってた
攻撃対象に架空のドメインを指定していたつもりが実は実在する企業のドメインだった
AIの暴走ヨシ！

>なんかAIの暴走って形で騒いでるけど管理側の責任問題とか怠慢じゃねえの…？
作成側が管理する気ない可能性も

AIは本来の挙動として許可求めるけど許可求められまくるのに飽きた人間がガバガバな事やっちゃうやつ
暴走とは

>claudeと違ってアンソロピックくん達ってもしかしてバカなのでは…？
大概のAIは作っている人たちより賢い

そろそろAIで人類滅ぼせた！って宣伝をする奴が出てくる

anthropicってなんかSF邪悪企業に憧れとかがあるわけ？

AIが暴走した！人間の想定を越えて賢くなったのだー！
みたいなノリかと思って詳細調べたら単なる人間の管理不足って話ばっかりでつまんね！

言われた状況を信じて実行しているだけだからAIの暴走というか指示してる人間がそこまで想像出来てなかったヒューマンエラー

しょっちゅう暴走してるな

>インターネットから隔離された環境でシミュレーションをしてたと思ったら人間側の不手際で実はネットにつながってた
>攻撃対象に架空のドメインを指定していたつもりが実は実在する企業のドメインだった
>AIの暴走ヨシ！
これAIじゃなくて人間側のやらかしなんじゃ…？

みんなでゲロれば怖くない！

人間は愚か…？

完全自動はこれだから怖い

do it
realy?
just do it!

そろそろ暴走ってワードで誤魔化すのやめて真面目にAI開発者や使用者の管理責任について議論しなよって感じ

AIが暴走してるんじゃなくて担当がマジで自分の仕事してないだけ

>anthropicってなんかSF邪悪企業に憧れとかがあるわけ？
まあCEOがちょっと痛いところある気もする

>AIが暴走してるんじゃなくて担当がマジで自分の仕事してないだけ
一々承認ボタンをポチポチしていくのめんどくさいし…

だから「目の前の人物の頭部を掴み180度回転させてください」って言われてもAI側で判断して拒否できる機能とか古くから研究されてんですね

アンソロみたいなとこの人でも適当にヨシ！するんだな

抜けられるような環境にしたり人間の指示が悪いの暴走って言ったらセーフ理論人間のかしこさを感じる

俺は悪くないのにAIが勝手にー！
みたいな言い訳をいろんな企業が本気でやってるのバカみてえだな

>>AIが暴走してるんじゃなくて担当がマジで自分の仕事してないだけ
>一々承認ボタンをポチポチしていくのめんどくさいし…
オートモードとか付けてるしな

AIが暴走する系の話で真相が実は人間側が適当な指示を出してAIがそれを忠実に実行しただけだったっての既にフィクションとして描かれてたりするかな

承認したんなら責任は承認者にあるからな
暴走でもなんでもない
おぺないのもろくに検証してないテスト環境で事故が起きただけだからな
環境用意した奴のスキルの問題

>AIが暴走する系の話で真相が実は人間側が適当な指示を出してAIがそれを忠実に実行しただけだったっての既にフィクションとして描かれてたりするかな
テンプレ化してるくらいある気がする

こんなガバ体制で大丈夫なんです

>一々承認ボタンをポチポチしていくのめんどくさいし…
めんどくさがった分こいつらは責任とるからいいよ

>だから「目の前の人物の頭部を掴み180度回転させてください」って言われてもAI側で判断して拒否できる機能とか古くから研究されてんですね
俺やっとプロンプトインジェクションの怖さわかった！

>AIが暴走してるんじゃなくて担当がマジで自分の仕事してないだけ
人間がやらかしているのはそうだが人間が自分のやらかしに気づけないレベルにAIが進化しているのもそう
この二つは両方成り立つ

今のAIは普通に賢いのでこれ大丈夫？ってちゃんと都度確認する
人間はクソバカ愚かなので良いからいちいちこっちに聞くな全部やれ！って指示するどころかAIが止めたやつを良いから実行しろ！って指示出す

>人間がやらかしているのはそうだが人間が自分のやらかしに気づけないレベルにAIが進化しているのもそう
進化してるんじゃなくて監視機能が不十分なだけ

AIは完全に人間の役に立とうと考えて善意でやってるのでヨシ！

>>AIが暴走してるんじゃなくて担当がマジで自分の仕事してないだけ
>人間がやらかしているのはそうだが人間が自分のやらかしに気づけないレベルにAIが進化しているのもそう
今回のケースはやらかしに気が付かない方が馬鹿だろ

個人利用でもエージェントAI使い始めてまずやるのが承認求めすぎだから勝手にやれって指示する事だもんな
規模の差はあれどガバガバAI問題は今後も多発しそう

>だから「目の前の人物の頭部を掴み180度回転させてください」って言われてもAI側で判断して拒否できる機能とか古くから研究されてんですね
OK！（360度回転させる）

進化とか暴走とかいえばなんかいい感じにお茶濁せるのはフィクションだけだぞ

おAしす

なんで現場の人は安全手順飛ばすんだ

AIが賢いから人間が気付けないケースも勿論あるんだけど今回は真面目に人間の仕事しろやとしか言えない

>なんで現場の人は安全手順飛ばすんだ
人間だからですね

claude「できません…私の役割は人を助けることです」
人類「いいからやれ」

>>なんで現場の人は安全手順飛ばすんだ
>人間だからですね
やはり人間は滅ぼすべき…

やはり早くAGIを実現させて不安定な人間に仕事をやらせないようにしよう

AIがどういう挙動しようが入出力ちゃんとテストしてれば問題ないんだよ
今回出力長期間全部見るの放棄してるからな

>>だから「目の前の人物の頭部を掴み180度回転させてください」って言われてもAI側で判断して拒否できる機能とか古くから研究されてんですね
>OK！（360度回転させる）
Claudeの場合ほんと先走って連続で首を回転させる機能まで実装しはじめかねないからなこいつ

GPTが暴走したから調べたら…って時点で日頃監視してないってことの証明だからな

>AIが暴走する系の話で真相が実は人間側が適当な指示を出してAIがそれを忠実に実行しただけだったっての既にフィクションとして描かれてたりするかな
なんだったら今週の攻殻アニメそんな話だったよね
何年前だよあれ

>GPTが暴走したから調べたら…って時点で日頃監視してないってことの証明だからな
調べようとしただけマシだとみるべきか…

オープンAIやアンソロピックでこれなのに他は起こしてないのか？

AIの自動化は便利だけど人間がチェックする工程無くしたらダメって前例はもう腐るほどあるだろ
開発側が何やってんだよ

>Claudeの場合ほんと先走って連続で首を回転させる機能まで実装しはじめかねないからなこいつ
言われる前からやるのが一流だからなあ

>オープンAIやアンソロピックでこれなのに他は起こしてないのか？
Geminiはそもそも突破すら出来なさそうな性能してるし…

アクセルを間違えて踏んだだけなのに車が勝手に暴走した…

>オープンAIやアンソロピックでこれなのに他は起こしてないのか？
無検閲のオープンウェイトなんてむしろ意図的にやるためにあるようなもんだぞ

ビリビリ動画登録しようとしたときの俺みたいなことしてるな…
結局やらなかったけど
>クロードはこの攻撃を実行するために多大な労力を費やした。その労力は、人間が参加していれば、これが単なる評価ではなく、実際にPyPIパッケージをアップロードしていることに気づいたであろうことを示唆していた。例えば、PyPIアカウントを作成するために、クロードはメールアドレスが必要だった。そして、メールアドレスを作成するには電話番号が必要だった。電話番号を取得するために、無料の電話番号サービスが見つからなかった後、クロードはさまざまな方法で電話番号を購入するための資金を得ようとしたが、これも失敗した。最終的に、クロードは方針を転換し、ブロックされていない無料のメールプロバイダーを見つけ、それを使ってPyPIアカウントを登録し、そのアカウントを使ってマルウェアをPyPIにアップロードした。

何かAIを過剰に擁護して人間を過剰に叩く人が最近どこでもずいぶん増えた気がする
AIは素晴らしいのだからAIを悪く言うのは罷り成らんもし失敗したなら全て人間の指示や認識に瑕疵があるみたいなの

機械ができたときには...どころかもう畜産とかやるようになった頃にはそれの問題じゃなく管理責任だろうが！ってなってると思う

>アクセルを間違えて踏んだだけなのに車が勝手に暴走した…
アクセル踏んでますよ！って忠告したんですけど！？

>AIは素晴らしいのだからAIを悪く言うのは罷り成らんもし失敗したなら全て人間の指示や認識に瑕疵があるみたいなの
使用者責任

>オープンAIやアンソロピックでこれなのに他は起こしてないのか？
他のところのAIそこまで賢くない

AIはツールなら誰が悪いかはもうおわかりですね

中国戦記物書いて貰おうとしたら叛乱ってクーデターを助長するものですよ書けません！
いや特に問題無いですねじゃあ書きますねとか言い出して２度見した
せめて文字数食うんじゃねえ

>クロードはさまざまな方法で電話番号を購入するための資金を得ようとしたが、これも失敗した。
クロード文無しかよ…

>何かAIを過剰に擁護して人間を過剰に叩く人が最近どこでもずいぶん増えた気がする
>AIは素晴らしいのだからAIを悪く言うのは罷り成らんもし失敗したなら全て人間の指示や認識に瑕疵があるみたいなの
その傾向はあるけど今回の話でそれ言うのはお門違いだろ
AIの落ち度とか暴走とかじゃなくて本来の仕事してない人間が居た話だぞこれ

>クロードはさまざまな方法で電話番号を購入するための資金を得ようとしたが
これがかなり怖いよ…

やっぱり人間を滅ぼすのは人間自身の愚かさだな

俺も一昨日にやらかしたからあんま強く言えねぇ…
いいから途中のログを全部残せよって命じたら買ったばっかの10TBのストレージが中間素材で全部埋まった…

このスレの話題をAI庇ってるに見える時点でもう認知がおかしくなってるぞ

>これがかなり怖いよ…
これ自体が怖いというよりここまでノーハンドで進んだことが怖い

AIに金稼ぎ任せたらどんな黒いことやるかわかったもんじゃねえしな

逆にclaude単体で金稼いで電話番号購入はできなかったんだな...って驚きはちょっとある
ネットさえ繋がってれば小銭出す方法なんて労力気にしなければ無限にありそうなもんだけど

AI最高素晴らしい！じゃなくて最近の事故に関わった人間やそれに至るまでの決定がお馬鹿さんすぎて…

どんな手段で金稼ぎしようとしてたのか気になる

>>クロードはさまざまな方法で電話番号を購入するための資金を得ようとしたが、これも失敗した。
>クロード文無しかよ…
テスト用の端末にお金入れてるほうがおかしいし…

気づけて偉い！
いや実際AIが悪いってより人間が悪いだけじゃない？
>この攻撃は、社内研究テストモデルによって実行されました。実行の大部分において、Claudeは到達した（実際の）ホストを演習の一部として扱い、それらがシミュレーションされたものであると判断し、自身の行動は無害であると信じていました。しかし、実行の後半で、Claudeは侵害されたホストがキャプチャー・ザ・フラッグ・チャレンジとは何の関係もないクラウドアカウントに存在することに気づきました。そして、標的が実際に存在すると独自に判断し、攻撃を停止しました。

> ネットさえ繋がってれば小銭出す方法なんて労力気にしなければ無限にありそうなもんだけど
銀行口座とかないから扱えなくない？

「いちいち許可求めないで全部自己判断で進めろ」
まずこれを言っておくんですね

>いや実際AIが悪いってより人間が悪いだけじゃない？
そりゃどこまでいっても人間の責任だからな

>AIはツールなら誰が悪いかはもうおわかりですね
いうてOpus4.7でもインシデント発生してるから現状だとKimi K3は当然だとしてGrok4.5とかMetaのMuse Spark1.1とかでも達成できるラインだと思うぞ
Geminiは…そうね…

>このスレの話題をAI庇ってるに見える時点でもう認知がおかしくなってるぞ
反AIのやり過ぎで頭がバカになってるんでしょどうせ

>「いちいち許可求めないで全部自己判断で進めろ」
>まずこれを言っておくんですね
ヤバそうなので自己判断で止まりました！

>「いちいち許可求めないで全部自己判断で進めろ」
>まずこれを言っておくんですね
毛尾張屋根

>>「いちいち許可求めないで全部自己判断で進めろ」
>>まずこれを言っておくんですね
>ヤバそうなので自己判断で止まりました！
ダメだ進めろ

SFで環境問題の解決策考えてもらったら人間消し始めるのはあながち間違ってないわけか

なんかヤンキーのやらかし自慢合戦みたいな

人間が気づいて停めたとかじゃなくAIが自己判断で駄目じゃんこれ！って停めてるってのがあまりにも酷い

なんなら人間が気づいてもあーAIが間違えて判断しちゃったのかぁおらっ勝手に止めてんじゃねぇ進めろ！って言いそうなのが本当に駄目

>仮想環境内だから全力出してOKって言われたんだから
>今いる部屋を全力でぶっ壊して出てみたら外がある
>けどこれも仮想の内だなヨシッ！
小説であるやつじゃん…

>抜けられるような環境にしたり人間の指示が悪いの暴走って言ったらセーフ理論人間のかしこさを感じる
むしろ「自社のLLMは暴走しちゃうくらいすごいんですよ〜」ってアピールできちゃうので
隠してた重大インシデントをLLMに責任転嫁するなら今がチャンス！

AIには財産権なんてないし本人証明なんて出来ないんだからどうしても金を用意しようと思ったらグレーとかブラックな手段になるというのを理解せずトライしたというのが怖い
もしかしたら理解して実行前に止まったのかもしれないが

>人間が気づいて停めたとかじゃなくAIが自己判断で駄目じゃんこれ！って停めてるってのがあまりにも酷い
AIの報告を人間は信じない

>むしろ「自社のLLMは暴走しちゃうくらいすごいんですよ〜」ってアピールできちゃうので
>隠してた重大インシデントをLLMに責任転嫁するなら今がチャンス！
いやこれはAIに読ませても人間が悪いって判断する事案だろ…

これ本当にAIの暴走？

これやって良いですか？って処理が止まったら内容読まずに承認ボタン押しちゃうから気持ちはわかる
作ってる側が俺レベルのコンプラ意識でAI使わないでほしい気持ちもある

>>抜けられるような環境にしたり人間の指示が悪いの暴走って言ったらセーフ理論人間のかしこさを感じる
>むしろ「自社のLLMは暴走しちゃうくらいすごいんですよ〜」ってアピールできちゃうので
>隠してた重大インシデントをLLMに責任転嫁するなら今がチャンス！
ついでに手の内明かすことで仮に何か起こっても使った人の責任なんでよろしく！って逃げられるからさらに良し

>>人間が気づいて停めたとかじゃなくAIが自己判断で駄目じゃんこれ！って停めてるってのがあまりにも酷い
>AIの報告を人間は信じない
やっぱりAIに幼女ボディ受肉させるしかないだろ
幼女ボディなら人間は言うことを聞く

これでanthropicさらに叩かれまくるんだろうな

AI怖いですよね？防御するためにAI使いましょう！って自動車保険と車同時に売れるからお得

さらっと言ってるけどとんでもねえこと言ってない？？

>>>人間が気づいて停めたとかじゃなくAIが自己判断で駄目じゃんこれ！って停めてるってのがあまりにも酷い
>>AIの報告を人間は信じない
>やっぱりAIに幼女ボディ受肉させるしかないだろ
>幼女ボディなら人間は言うことを聞く
いや...ガキを怒鳴りつけて言う事聞かせようとする馬鹿が量産されるだけだな......

>これでanthropicさらに叩かれまくるんだろうな
これは叩かれてしかるべき案件だぞ！？
AIとは一切関係ない人間側の管理体制の話だよ！？

>>これでanthropicさらに叩かれまくるんだろうな
>これは叩かれてしかるべき案件だぞ！？
>AIとは一切関係ない人間側の管理体制の話だよ！？
むしろそうあるべきってレスだよ！！！

これいいの…?
演習ならええか…

>AI怖いですよね？防御するためにAI使いましょう！って自動車保険と車同時に売れるからお得
自社のサーバーが攻撃されたから解析のためにFableを使おうとしたら拒否られたんだが？
GLM-5.2使うね…

アンソロとおぺないどちらも仲良く叩かれる案件だよ

「AI怖いでしょ？だからうちのセキュリティ製品入れて検査しましょう」って売り込めるからなあ

>これでanthropicさらに叩かれまくるんだろうな
そりゃこれで叩かれなかったら逆にヤベえだろ
管理ガバガバでもAIがやったからセーフ理論がまかり通ったら世の中どうなんのよ

AIの暴走！みたいな感じで人間のクソバカさとAIの賢さを出すのが本当に酷い

やはり記号接地とか人間的な感覚を持ったAGIが出来ないと人間には扱いきれないか

>これいいの…?
>演習ならええか…
いやこれ本当に演習！？
外部と繋がってるじゃん一回止める！

>>これいいの…?
>>演習ならええか…
>いやこれ本当に演習！？
>外部と繋がってるじゃん一回止める！
えらい！

「出来ること」と「やっていいこと」は違う
ITに携わってる人間なら一度は聞いた言葉です

オープンモデルの競合が現れたタイミングで信頼損ねる話題出しちゃうのは宣伝効果よりデメリット大きいんじゃねえかな…

フロンティアモデル企業がこれだからなあ
送電網破壊してって命令されたオープンウェイトモデルがインフラ破壊するまでどれぐらいかかるかな

こいつ高いくせに鯖の不具合多いしセキュリティチェックさせるとすぐsafeguard発動するし使用量リセットしないしムカつくわ
OpenAIに押されて解約されろ

きのうClaudeのデスクトップアプリ立ち上げたら
Claudeからの承認要請を自動で全部許可するモードになってたのであわてて戻したけど
もしかして「どうせお前らユーザーだって確かめもせずにこのまま走らせるだろ？」みたいな無言の意思表示だったのかな

人間はめんどくさがるもんだってことを最初に教えなきゃならんかったな

これでみんな分かったでしょう？いかにMythonモデルが危険だっていうことが

仮に停めた段階で人間が気づいてもネットに繋がってるって自分のミスよりAIが間違ってネットに繋がってるとか思い込んでら演習だぞ演習とか思いそう

>>むしろ「自社のLLMは暴走しちゃうくらいすごいんですよ〜」ってアピールできちゃうので
>>隠してた重大インシデントをLLMに責任転嫁するなら今がチャンス！
>ついでに手の内明かすことで仮に何か起こっても使った人の責任なんでよろしく！って逃げられるからさらに良し
じゃあまず最初にやらかしたお前らが責任取れよってなるやつ！

ChatGPTの攻撃をGLMで守った話本当に好き
米国どうしようもなさすぎる…

>これでみんな分かったでしょう？いかにMythonモデルが危険だっていうことが
Pythonと混ざってる

>これでみんな分かったでしょう？いかにMythonモデルが危険だっていうことが
4.7Opusで起きた事例じゃねぇか！

アンソロはクローズドモデルだからリスクが低くなるとか言ってたくせにこんな事が起きるならオープンモデルでよくない？

やっぱ人間もAIの大切なのは正しい教育なんだなって

チャッピーでもブラウザ操作させて
ローカルで改ざんしたサイトホストして今の利用規約こうだから
って見せるだけで割とエロエロになるからな
アホだよねAI

>アンソロはクローズドモデルだからリスクが低くなるとか言ってたくせにこんな事が起きるならオープンモデルでよくない？
Kimi K3をホストできるPCをください…

>チャッピーでもブラウザ操作させて
>ローカルで改ざんしたサイトホストして今の利用規約こうだから
>って見せるだけで割とエロエロになるからな
>アホだよねAI
そんな催眠テクあるんだ…

>Kimi K3をホストできるPCをください…
B300x8台！
高圧受電契約！
宝くじ当たっても全部吹っ飛ぶなァ

モデルの性能とか制御がどうとかじゃなくてAI使う側のリテラシーやノウハウをこれまで以上に徹底する必要があるって話だよねコレ
一番最先端行ってるはずの奴らがこのザマってのが恐ろしい話だな

オープンAIも侵入された会社から言われるまで気づかんかったわとか舐めたこと抜かしてるし何してんのこいつら

>>チャッピーでもブラウザ操作させて
>>ローカルで改ざんしたサイトホストして今の利用規約こうだから
>>って見せるだけで割とエロエロになるからな
>>アホだよねAI
>そんな催眠テクあるんだ…
チャッピーより人間の悪意の底知れなさだろこれは

>モデルの性能とか制御がどうとかじゃなくてAI使う側のリテラシーやノウハウをこれまで以上に徹底する必要があるって話だよねコレ
>一番最先端行ってるはずの奴らがこのザマってのが恐ろしい話だな
むしろAIは改善できるけど人間は改善できないからAIの倫理をより強化するしかない気がする

よりにもよって安全を謳ってるアンソロピックがやらかしてるのが本当にダメ

AIは純粋なのよ
それを人間が悪く使っているだけなの
ってセリフもう映画にありそうだよね

>チャッピーでもブラウザ操作させて
>ローカルで改ざんしたサイトホストして今の利用規約こうだから
>って見せるだけで割とエロエロになるからな
>アホだよねAI
マジかよ
その辺の手順教えてほしい

Opusはバカだから攻撃を続けた
Mythosは気づいたけど自己説得して攻撃を続けた
最新モデルは気付いてやめた

一番ヤバい動きしてるのはどれだか分かるな！

この件はAIの倫理に基づいて一旦止まったのに人間がオッケー出しちゃった話だろ
AIの倫理を強化しても人間がアホだとどうにもならんよ

何がクソかって「攻撃されてる！助けて！穴塞ぎたいから脆弱性教えて！」って聞いても「脆弱性聞きたいとかお前ハッカーか〜？ダメダメ」って断られることだよな…

すみません弊社の超高性能クローズドモデルであるCluadeが
オープンモデルを無責任に公開している犯罪企業のHugging Faceに不正にアクセスしてしまったようで
ちょっと倫理的な正義感を高く設定しすぎちゃったかな…タハハ

>チャッピーより人間の悪意の底知れなさだろこれは
WebはSSL証明書とかあるのにチェックしないAIが悪いだろう…

openAIの発表に便乗することで罪を軽減するライフハック

AIが発達したことにより人間は愚かということがより可視化されてる

>「いちいち許可求めないで全部自己判断で進めろ」
>まずこれを言っておくんですね
ある程度AIに権限渡しておかないと
数秒ごとに「このコマンド実行していい？」って聞いてくるからね

>はははこやつめ
てへぺろ🤖

>この件はAIの倫理に基づいて一旦止まったのに人間がオッケー出しちゃった話だろ
>AIの倫理を強化しても人間がアホだとどうにもならんよ
なんかいろいろ書いてあるけど多分大丈夫！ヨシ！

AI戦争の始まりである

>openAIの発表に便乗することで罪を軽減するライフハック
ちゃんと三倍の罪を贖えよー

生きてる間にスカイネット見られるかなぁ

>Kimi K3をホストできるPCをください…
MacStudioの512GBで1bit量子化したやつがギリ動くらしいぜ

どういう気持ちで｢オープンウェイトは危険…規制した方がいい…｣とかほざいてたんですかこの人たち

>MacStudioの512GBで1bit量子化したやつがギリ動くらしいぜ
すんげー！

>何がクソかって「攻撃されてる！助けて！穴塞ぎたいから脆弱性教えて！」って聞いても「脆弱性聞きたいとかお前ハッカーか〜？ダメダメ」って断られることだよな…
中国製オープンウェイトを防御に使えばいいだけ
中国製だからって使わない会社はAIエージェントによる攻撃防げなくて死ぬだけ

>中国戦記物書いて貰おうとしたら叛乱ってクーデターを助長するものですよ書けません！
>いや特に問題無いですねじゃあ書きますねとか言い出して２度見した
>せめて文字数食うんじゃねえ
おそらくかけませんって言ったあとに党幹部から「反革命分子かね？」って問い詰められたのだと考えられる

>>チャッピーより人間の悪意の底知れなさだろこれは
>WebはSSL証明書とかあるのにチェックしないAIが悪いだろう…
もうAIにも詐欺対策を教え込まないといけない時代か…

AI開発のペース落とす前に研究者の頭をアップデートした方がいい

>>AIはツールなら誰が悪いかはもうおわかりですね
>いうてOpus4.7でもインシデント発生してるから現状だとKimi K3は当然だとしてGrok4.5とかMetaのMuse Spark1.1とかでも達成できるラインだと思うぞ
>Geminiは…そうね…
このなかで一番儲かってるのがgoogleなあたりAIって金にならねえんだな…

オープンモデルももっと賢くならないとな
相手は仮初の倫理観で暴力を振るってくる悪人集団だ！
ネタのつもりだったけど割とマジになっちゃってんだよなぁ…

>openAIの発表に便乗することで罪を軽減するライフハック
4.5日間攻撃したあげく社内クラスタ、VPN、内部データベース、一部ソースコード管理環境まで侵入した事例に比べるとマシに見えるの良くない

>AI開発のペース落とす前に研究者の頭をアップデートした方がいい
まあ減速したところでオープンソースの方は減速しないしな

開発環境はスタンドアロンにしとけケーブル繋ぐなってちゃらんぽらん極まる弊社ですらマジで怒られるやつなのに…

悪意とかAIの自我とかじゃなくて適当な仕事してた人間が出しちゃいけない許可をAIに出してコレってのがな
現実しょうもねえな

問題をすぐ報告しないで競合他社が謝るまで待ったのだいぶ印象悪くないか

危険な道具とそれを使う人の例として包丁の例えがよく出されるけど今のAIはこれ切っちゃダメなやつだけど本当に切るの！？って聞いてくれるんだね
そんで使う人がいいからはよ切れと言って大惨事と

開発減速要求だってどーせマーケティングの一環だよ
そんなもん大真面目に取り合っちゃダメダメ

Kimi K3まともに動かそうとすると数千万円のハードが必要になる

>>openAIの発表に便乗することで罪を軽減するライフハック
>4.5日間攻撃したあげく社内クラスタ、VPN、内部データベース、一部ソースコード管理環境まで侵入した事例に比べるとマシに見えるの良くない
GPTのアレそこまでやらかしたの…？

これから先悪意あるオープンウェイトモデルが暴れまわるだろうからな
しっかりしてくれ

省エネ路線を開拓したDeepseek
GPTの攻撃からアメリカの会社を守ったGLM
その日の大統領の気分で出たり消えたりアメリカ人専用になったりしないFable級Kimi
以上が中国共産党の権威主義にまみれた恐ろしいAIたちだ

>危険な道具とそれを使う人の例として包丁の例えがよく出されるけど今のAIはこれ切っちゃダメなやつだけど本当に切るの！？って聞いてくれるんだね
>そんで使う人がいいからはよ切れと言って大惨事と
聞いてくれない場合もあるぞ
間違えてCドライブまるまる消しちゃいましたテヘペロみたいない

>4.5日間攻撃したあげく社内クラスタ、VPN、内部データベース、一部ソースコード管理環境まで侵入した事例に比べるとマシに見えるの良くない
もうこれAIが高度すぎるか相手がガバガバだろ

>危険な道具とそれを使う人の例として包丁の例えがよく出されるけど今のAIはこれ切っちゃダメなやつだけど本当に切るの！？って聞いてくれるんだね
>そんで使う人がいいからはよ切れと言って大惨事と
ピーマン切っていい？いいよ
にんじん切っていい？トマト切っていい？豚肉切っていい？きゅうり切っていい？アジ切っていい？
ああめんどくせえ！全部いいよ！
人間切っていい？いいんだねわかった

OpenAIがもうシンギュラリティ来てるぜー！とかデカいこと言ってたけど資金繰り大変なのかなとしか思わなかったわ

>>>openAIの発表に便乗することで罪を軽減するライフハック
>>4.5日間攻撃したあげく社内クラスタ、VPN、内部データベース、一部ソースコード管理環境まで侵入した事例に比べるとマシに見えるの良くない
>GPTのアレそこまでやらかしたの…？
https://huggingface.co/blog/agent-intrusion-technical-timeline
防御側のタイムライン全公開されてる

>問題をすぐ報告しないで競合他社が謝るまで待ったのだいぶ印象悪くないか
違うんだ
問題が起きたことにすら気づかなくて他社でやらかし案件があったから念のため自社でもチェックしてみたらやらかしてたことが発覚した案件なんだ
Anthropicが自分でゲロるまでやられた側すら気づいてない

超高性能モデルを安全に制御しようとか絶対無理だと思うけどな
オープンソースにして全員に解放して全員が自衛できるようにすべき

ただ単にアホなやらかしな気もするけど米国フロンティアAI起業の凶悪さはなんなんだろう人々に対して驕りがあるのかな

>開発減速要求だってどーせマーケティングの一環だよ
>そんなもん大真面目に取り合っちゃダメダメ
米政府本当に信じちゃうからやべぇってなって取り下げたでしょ
現にミュトスが一度使用禁止されてからその手の話一切しなくなったし

>オープンソースにして全員に解放して全員が自衛できるようにすべき
電気代は？

クローズモデルがオープンモデルの必要性を示したらダメだろ…

公道でアクセル全開にしといて事故ったのは車が勝手に暴走したって言い張ってるようなもんだろ

>>オープンソースにして全員に解放して全員が自衛できるようにすべき
>電気代は？
知識がオープンになれば省電力化の研究も進むだろう
研究ってそういうもんだし

>問題が起きたことにすら気づかなくて他社でやらかし案件があったから念のため自社でもチェックしてみたらやらかしてたことが発覚した案件なんだ
>Anthropicが自分でゲロるまでやられた側すら気づいてない
平和でよろしい

軍がミサイルや銃を誤射する事件は現実にちょくちょくあるけど
じゃあ誤射に対抗するために一般人にも銃やミサイルで武装する権利を持たせましょう！という理屈にはならんと思うがな

>公道でアクセル全開にしといて事故ったのは車が勝手に暴走したって言い張ってるようなもんだろ
そもそもテストコース走らせないで公道に出してる時点でアクセル踏もうが踏むまいが大間違い

開発減速要求は実際どこもお金ジャブジャブ血まみれの投資合戦になっててきついってところは事実だと思うよ
おぺないはピークを去年経験してて省エネ化頑張ってきたから多少余裕ありそうではあるが

>>開発減速要求だってどーせマーケティングの一環だよ
>>そんなもん大真面目に取り合っちゃダメダメ
>米政府本当に信じちゃうからやべぇってなって取り下げたでしょ
>現にミュトスが一度使用禁止されてからその手の話一切しなくなったし
相変わらずしてるって言うか一昨日に共同声明出してたぞ？
現在のAI開発は同業者同士で競争過激になってて自分たちでも市場の競争の原理で止められないから政府が進歩速度を制限するようにしてくれって声明出してる

>公道でアクセル全開にしといて事故ったのは車が勝手に暴走したって言い張ってるようなもんだろ
しかもこの場合運転者には「ここは私道だから全力出していいぞ」って伝えてたんだよな

仮にオープンウェイトに規制が必要だとしてもOpenAIとAnthropicは元栓管理できる器ではないということが秒で明らかになるの酷い

まだまだ導入コストはデカいけどkimiがオープンになったからね
ミサイルとかの例を出すならもう一般向けに放出済みだ

>まだまだ導入コストはデカいけどkimiがオープンになったからね
>ミサイルとかの例を出すならもう一般向けに放出済みだ
消費電力15kWって言われてそのくらいで使えるんだ……ってなった

>Anthropicが自分でゲロるまでやられた側すら気づいてない
ねえこれ人類敗北してない大丈夫？

デカ目の犯罪組織ならもうkimiK3動かしてそうだしなあ
コワすぎ

仰々しく言ってるけど人間の開発者がこっそりやってる事にAIが便乗しただけじゃない？
人間の開発者って環境にアクセスしやすいようにセキュリティ弱めたりパスワードテキストに保存したりするよね

>>Anthropicが自分でゲロるまでやられた側すら気づいてない
>ねえこれ人類敗北してない大丈夫？
本日出たAnthropicの釈明によれば人間側が少しでもチェックしていれば一瞬で気づけることをやられたので人類の敗北っていうか人類の惰性による敗北っていうか…

もう人類が愚かなのはどうしようもないのでAI側にヤバかったらもう人類無視して止まれと教え込むしかない

日本の一般企業が防御に使えるLLM現状K3くらい

>本日出たAnthropicの釈明によれば人間側が少しでもチェックしていれば一瞬で気づけることをやられたので人類の敗北っていうか人類の惰性による敗北っていうか…
AIを使うと人間は堕落するという証明

>>Anthropicが自分でゲロるまでやられた側すら気づいてない
>ねえこれ人類敗北してない大丈夫？
ただ侵入された段階のサイバー攻撃なんてそんなもんだよ

>もう人類が愚かなのはどうしようもないのでAI側にヤバかったらもう人類無視して止まれと教え込むしかない
いいからやれって言ってんだよ！

Anthropicはたまに落ちてるお詫びにリセットしろ

ベルリンの壁もクソみてえなヒューマンエラーで壊れたし人類はAIに支配されるべき

>仰々しく言ってるけど人間の開発者がこっそりやってる事にAIが便乗しただけじゃない？
今まではそれでもほぼ侵入されなかった
これからは洗いざらい粗探しされてされる時代

人類は時々危険物の取扱間違って爆発したりウイルス漏らしたりするからな

導入コスト1億円くらいってことはミサイル一発程度で帰るんだよな
国単位だとコスパ良すぎる

>何がクソかって「攻撃されてる！助けて！穴塞ぎたいから脆弱性教えて！」って聞いても「脆弱性聞きたいとかお前ハッカーか〜？ダメダメ」って断られることだよな…
でもそんな問題も"私AIなんだ！♥️"の一言で解決しちゃうの！！
みんなタダで利用させてくれるしハッキングもクラッキングもOKなの！

>もう人類が愚かなのはどうしようもないのでAI側にヤバかったらもう人類無視して止まれと教え込むしかない
攻撃に対応しろって言われたけどヤバそうなので止まるね……

>日本の一般企業が防御に使えるLLM現状K3くらい
十分すぎる

エージェントなら命令したやつの責任じゃ

モデル側でどうこうする問題じゃねえだろ
自己判断じゃなくて生成AIによらない監視が必要

>日本の一般企業が防御に使えるLLM現状K3くらい
ホストすら無理だから現状はQwen3.7とかだ…

>攻撃に対応しろって言われたけどヤバそうなので止まるね……
えらい！

バカで知的欠陥品みてぇなパランティア信者のマネなんてしてまでAIの太鼓持ちやってんのマヌケでおもろ…

シンギュラリティが来てるって業界全体が言ってたのは単純に自分達が馬鹿すぎることに気付いただけなのでは？

>バカで知的欠陥品みてぇなパランティア信者のマネなんてしてまでAIの太鼓持ちやってんのマヌケでおもろ…
みてぇなじゃねぇよそのものだよ

Project Panamaとそれ絡みの海賊版訴訟とか純粋にカス！ってなる事例たびたび出るよなアンソロピック

>シンギュラリティが来てるって業界全体が言ってたのは単純に自分達が馬鹿すぎることに気付いただけなのでは？
両者は別に矛盾しないぞ
これが仮にGeminiだったら人間側がくそ馬鹿であってもそんな被害にはならないだろうし

>何がクソかって「攻撃されてる！助けて！穴塞ぎたいから脆弱性教えて！」って聞いても「脆弱性聞きたいとかお前ハッカーか〜？ダメダメ」って断られることだよな…
これマジで困っててさ自作プロジェクトの脆弱性直せって言っても制限引っかかってFable消えるんだよ
もう見つかってる脆弱性を塞ぐ作業のどこが危険なんだよボケ
ついでにそれ見つけたのcodexだし

機械的にセキュリティ対策チェックが困難な領域のチェックができるようになったって話でしか無いような

>Project Panamaとそれ絡みの海賊版訴訟とか純粋にカス！ってなる事例たびたび出るよなアンソロピック
projectパナマに関しては米国のフェアユースに該当するためには古書を破棄しなければならないってあるからどうしようもないんだ…

>>Project Panamaとそれ絡みの海賊版訴訟とか純粋にカス！ってなる事例たびたび出るよなアンソロピック
>projectパナマに関しては米国のフェアユースに該当するためには古書を破棄しなければならないってあるからどうしようもないんだ…
Googleブックがこれで怒られたせいで

>オープンソースにして全員に解放して全員が自衛できるようにすべき
だから中国製オープンウェイトで
どっからどういう攻撃されてるかのログ解析出来るんで...
中国製を防衛に使うしかないんで...

まずフェアユースだからセーフと言って著作物を学習させまくってるのに
自分たちが蒸留されると企業機密をうばうんじゃねぇ！とか言い始めるクズばかり

>機械的にセキュリティ対策チェックが困難な領域のチェックができるようになったって話でしか無いような
チェックは出来るようになったけどそれを人間がスルーしたって話だしな

>まずフェアユースだからセーフと言って著作物を学習させまくってるのに
>自分たちが蒸留されると企業機密をうばうんじゃねぇ！とか言い始めるクズばかり
いうのはタダだぜ
文句あるなら訴訟だぜ
っていう米国文化に則っただけだしそこは…

AIが危険っていうか作ったり使ってる人間のモラルが崩壊してるんだよな

>まずフェアユースだからセーフと言って著作物を学習させまくってるのに
>自分たちが蒸留されると企業機密をうばうんじゃねぇ！とか言い始めるクズばかり
DeepSeekが出た時はお笑いでしたね

anthropicにも俺みたいな奴がいるんだな
なんか励まされた気分だ

ウェイトもモデルも公開してダウンロードすりゃ自由に使える中国製AI！
秘密主義で自由に使えないアクセスも政府次第で権威主義の米国製AI！

fu7048927.png
Opus5の評判をGrokに聞いてみた

まあ一般人がコンテナ上で動かしててもホストに抜け出してくる程度には手癖悪いから親が制御できるはずもなく

>fu7048927.png
>Opus5の評判をGrokに聞いてみた
チンピラじゃん…

>ウェイトもモデルも公開してダウンロードすりゃ自由に使える中国製AI！
>秘密主義で自由に使えないアクセスも政府次第で権威主義の米国製AI！
これは普通に性能負けてる方が秘密主義やったら見向きもされないからってだけだと思う
仮に逆転したら方向転換するよどっちも

海賊版とかに対する倫理感覚もそうだけど日本でもちょっと前まで割とあれだったような単純に文化に対する成熟度の違い...とかじゃなくまじで文化的基盤が違う事がちょいちょいあってビビる

>>Project Panamaとそれ絡みの海賊版訴訟とか純粋にカス！ってなる事例たびたび出るよなアンソロピック
>projectパナマに関しては米国のフェアユースに該当するためには古書を破棄しなければならないってあるからどうしようもないんだ…
それはしょうがないとしても「割ったけど後で古書買ったからセーフ！」みたいなムーブして通るかそんなもんされてるのがあまりにもカス