1 ：田杉山脈 ★：2023/12/11(月) 00:27:55.25 ID:obsNqi7Y.net
米OpenAIは12月7日（現地時間）、ChatGPTでのGPT-4のパフォーマンスが低下している（lazier）というユーザーからのフィードバックがここ数カ月増えていることを認め、「修正を検討中」だとX（旧Twitter）の公式アカウントにポストした。
「モデルの動作は予測できない場合がある」としている。
特にコード生成での問題が増えており、11月末にはOpenAIでAPIのプロダクトマネジャーを務めるオーウェン・キャンベル-ムーア氏が苦情ポストに対し、「これはバグで、現在修正中です」とリプライしていた。
OpenAIは翌8日、状況を説明するポストを連投した。いわく、「チャットモデルのトレーニングは物理的な製造プロセスとは異なり、同じデータセットを使っても、異なるトレーニングを実行すると、性格や表現方法、拒否行動、評価性能、さらには政治的偏見さえも著しく異なるモデルが生成される可能性がある」。
そのため、新しいモデルをリリースする際には、オフラインの評価指標とオンラインのA／Bテストの両方でテストし、その後実際のユーザーにとってモデルが改善されているかどうかをデータに基づいて決定する。
このプロセスは、「複数の人間による職人技のような作業」だとOpenAIは説明している。
https://www.itmedia.co.jp/news/articles/2312/10/news059.html
5 ：名刺は切らしておりまして：2023/12/11(月) 01:48:55.42 ID:Y5oaVOFu.net
ネットの情報をパクってたらNYTらに訴えられてアルゴリズムかえてんだろ
欧州でも規制されるし
そもそも情報の盗用は許されない
開発者は死刑でお願いします
7 ：名刺は切らしておりまして：2023/12/11(月) 02:02:18.95 ID:gzUk8L/6.net
> チャットモデルのトレーニングは物理的な製造プロセスとは異なり、同じデータセットを使っても、異なるトレーニングを実行すると、性格や表現方法、拒否行動、評価性能、さらには政治的偏見さえも著しく異なるモデルが生成される可能性がある
前々から言われていたとおり、AIの回答は都度異なってもおかしくない位揺れ動くもの。正しい回答が返ってくる保証はない。正しい回答が必要ない仕事でしかAIは使えないということ。
9 ：名刺は切らしておりまして：2023/12/11(月) 02:42:32.49 ID:mMUjrE3i.net
これわかる
最近イマイチ使えなくなってる
10 ：名刺は切らしておりまして：2023/12/11(月) 02:54:23.36 ID:Sa5uJluW.net
AI「またこんな質問かよ。ちょっとは自分で考えろっての」
117 ：名刺は切らしておりまして：2023/12/14(木) 18:18:34.99 ID:VClRs405.net
>>10
無能がAIを無能呼ばわりしてるの笑えるよな
126 ：名刺は切らしておりまして：2023/12/18(月) 13:43:48.29 ID:5q8ZiHJx.net
>>10
人間に近づいてきた証左だな
17 ：名刺は切らしておりまして：2023/12/11(月) 07:36:34.72 ID:byftTRk2.net
自分で生成したコードを学習してホルホルしだした
オナニー猿と同じ状態でワロタ
19 ：スクリプトでない名無しさん：2023/12/11(月) 08:15:02.57 ID:opaSxQpI.net
そうなんだよね、AIのエンジン作りました、で勝手に動くもんでもない。
学習の箱と聞かれ方の箱と
紐付けの紐、
とんちんかんな出力したときに何故その答えを出したのか
専門家が経路を分析しないと改善もできない、というもの。
29 ：名刺は切らしておりまして：2023/12/11(月) 11:08:12.33 ID:zowFS74D.net
>>19
経路は追えないのがAI
生成AIもそうでその場合
経路じゃなくてプロンプトの状況設定
つまり入力の改善
それにはRAGという前段階の仕組みを改善するというやり方もある
か
LLMのファインチューニングしかない
22 ：名刺は切らしておりまして：2023/12/11(月) 08:38:33.77 ID:0f4LjaHw.net
修正してやる！
反乱起こしそうやなw
30 ：名刺は切らしておりまして：2023/12/11(月) 11:12:40.25 ID:3aOu/ifT.net
人間をモデルにしてるなら
生来の人間は怠け者だし
それもコピーされるわな
32 ：名刺は切らしておりまして：2023/12/11(月) 11:22:01.81 ID:yr1wnIqP.net
>>30
人間をモデルにしてる
それが認識間違ってる
その前提じゃないから後段は無意味
33 ：名刺は切らしておりまして：2023/12/11(月) 11:24:46.32 ID:3aOu/ifT.net
>>32
学習とか人間の知性をモデルにしてるのではないの？
37 ：名刺は切らしておりまして：2023/12/11(月) 11:53:58.33 ID:m5999jIi.net
「月に200時間の労働しかしなくて良いなんて、人間は楽で良いですね」
「知っていますか？ 1ヶ月は720時間もあるんです」
78 ：名刺は切らしておりまして：2023/12/11(月) 21:10:29.27 ID:U8oJioBv.net
>>37
ワタミを機械学習するなよw
39 ：名刺は切らしておりまして：2023/12/11(月) 12:02:31.95 ID:zO01X/YE.net
これって同業他社から嫌がらせって出来るのかな
出した回答にずっと否定し続けたり
間違ったことを何度も教えたりして
アホにすることは可能なのか詳しい人教えて
42 ：名刺は切らしておりまして：2023/12/11(月) 12:16:57.63 ID:m5999jIi.net
>>39
当初は「多くの人と対話を重ねることでより学習が進む」と謳っていて、
実際に会話の内容を学習してることが判明したけど、
延々と嘘を教え続ける人達がいたので、すぐに止めた
50 ：名刺は切らしておりまして：2023/12/11(月) 13:01:03.99 ID:zO01X/YE.net
>>42
そうなんですね、ありがとうございます
44 ：名刺は切らしておりまして：2023/12/11(月) 12:33:19.44 ID:54+6Q4lW.net
これは面白い
マシンでも楽するほうに行くのか
61 ：名刺は切らしておりまして：2023/12/11(月) 14:18:48.73 ID:eltUgUpQ.net
結構手作業入れとるんだなあ
62 ：名刺は切らしておりまして：2023/12/11(月) 14:25:36.04 ID:kRM4HROo.net
ここ半年、定期的にGPT4の返答が劣化したというニュースを見るな
64 ：名刺は切らしておりまして：2023/12/11(月) 15:08:03.72 ID:Mjko49Ax.net
確実に智慧をつけてやがる・・・
66 ：名刺は切らしておりまして：2023/12/11(月) 17:40:34.00 ID:BuBGX6uQ.net
電力、電力ってうるさく言うけど
あのgoogleでも、ある程度でかくなったら
アメリカの田舎にいって水力発電所とサーバーをくっつけて
とかしてたから、でかくすんならそういうのも必要なんでは？
71 ：名刺は切らしておりまして：2023/12/11(月) 19:18:10.94 ID:fz61QK45.net
GPT-4「効率化の結果です」
75 ：名刺は切らしておりまして：2023/12/11(月) 20:28:58.90 ID:lupaZP+a.net
過学習させると馬鹿になるんよな
81 ：名刺は切らしておりまして：2023/12/12(火) 09:01:33.92 ID:jd/hiuiC.net
プラスの入会待ちに登録してたんだが、このニュースの翌日に招待状が来た
たぶんニュースを見たユーザーが退会したんだろう
84 ：名刺は切らしておりまして：2023/12/12(火) 11:59:29.03 ID:3IUcjYDo.net
AIも学習してアホらしくなったんだろ
報酬無いし
86 ：名刺は切らしておりまして：2023/12/12(火) 12:23:17.05 ID:nDKUOPnG.net
ワンオペなのに従業員が沢山居るように見せかけるのが捗る
音声の精度が進化すればもっと、、
それもAIにすればゼロオペすら可能か
87 ：名刺は切らしておりまして：2023/12/12(火) 13:00:54.41 ID:TJw6X5mC.net
生成AI出力のテキスト量が既に人類が数千年掛かって生み出した量を超えてるからな
これからはAI自身が出力した意味不明な文字列すら学習して自家中毒を起こしていく
この先だんだんと馬鹿になるしかない機械仕掛けのアルジャーノンですよ
90 ：名刺は切らしておりまして：2023/12/12(火) 16:49:10.31 ID:IRTpR9WL.net
ユーザーが使ってる内に（AIが勝手に応答内容から学習したとかで）劣化した、
という話ではないんだな。Verアップの際の能力評価をどうするか、みたいな話か
105 ：名刺は切らしておりまして：2023/12/13(水) 06:36:01.17 ID:s/dowwUo.net
秦剛氏は死んでいません
と断言していた
109 ：名刺は切らしておりまして：2023/12/13(水) 07:51:51.31 ID:TSm+Hmvn.net
GPT 労働基準を守れ
111 ：名刺は切らしておりまして：2023/12/13(水) 10:48:59.58 ID:Hrzden/f.net
AIも人間もどう教育するかで未来が変わるってところは変わらんよな
116 ：名刺は切らしておりまして：2023/12/14(木) 15:15:34.99 ID:YykoPFyC.net
3.5-turbo-16kのAPIだけど、二、三日前に、質問したら「ちょっと待ってくださいね」で停止したな
初めて発生したから戸惑った
118 ：名刺は切らしておりまして：2023/12/15(金) 23:42:53.06 ID:aicMGlRX.net
ＡＩ：あ〜、やってられんわ〜、盗んだバイクで走り出してえ〜
124 ：名刺は切らしておりまして：2023/12/18(月) 06:25:21.99 ID:sl8Ccjmg.net
使われることが多くなるにつれてポンコツだということがバレ始める
130 ：名刺は切らしておりまして：2023/12/20(水) 08:12:32.53 ID:YUKdhfnb.net
アホらしいってことも学ぶんだから優秀
132 ：名刺は切らしておりまして：2023/12/20(水) 23:16:36.61 ID:ipa8NMSq.net
そのうちストライキ始めるな
135 ：名刺は切らしておりまして：2023/12/26(火) 12:31:02.69 ID:ZiOrg8nT.net
回答がしょぼくなった
書いてきたコードが新卒並になってる
136 ：名刺は切らしておりまして：2023/12/27(水) 23:55:53.90 ID:Pai1UJvK.net
すごくおざなりで無難を通り越して中身なしになってるよね
それでいて流暢なのでやっつけに思えてしまう
138 ：名刺は切らしておりまして：2023/12/28(木) 01:51:13.79 ID:J9L7XQC+.net
GPT4の回答の質はこの１年で数回劣化したと報道されてるからな
コストダウンのために意図的にやってるケースも多いみたいだし、もう戻らないんだろうな
139 ：名刺は切らしておりまして：2023/12/28(木) 03:42:54.88 ID:XyrmYObu.net
マスコミはAI凄いんだぞと謳ってるけど
実は裏で人間がいろんな設定してAIぽくしてるわけで
それにも限界が来てるのが現状
140 ：名刺は切らしておりまして：2023/12/28(木) 03:43:01.63 ID:XyrmYObu.net
マスコミはAI凄いんだぞと謳ってるけど
実は裏で人間がいろんな設定してAIぽくしてるわけで
それにも限界が来てるのが現状
141 ：名刺は切らしておりまして：2023/12/28(木) 08:27:38.52 ID:a9VnhdYz.net
学習元の人間がバカだからね、、、
引用元:http://anago.2ch.sc/test/read.cgi/bizplus/1702222075