弊社では、毎週金曜日にバータイムを開催しています。
バータイムとは、
「金曜の夜だしお酒でも飲みながら何か話そう」
という感じの、軽いLT会・雑談会といったイベントです。
9/27のバータイムでは、「ChatGPTの気持ちを考えてみよう」クイズ会 が開催されました。
その様子を紹介します。
どんなクイズ?
「ChatGPTの気持ちを理解してみよう」の合言葉のもと、
“この問題、ChatGPTは正解できるか？”
を当てるクイズでした。
具体的には、ChatGPTへの問題(プロンプト)が与えられ、以下4つのChatGPTのうち、どれが正解するかを参加者が予想するものです。
- ChatGPT 4
- ChatGPT 4o
- ChatGPT o1-preview
- ChatGPT o1-mini
例題
例えば、こんな感じの計算問題を考えてみます。
この問題を与えたところ、ChatGPTの4モデル全てが正解しました。↓
計算過程を出すかどうかといった違いが出ていました。
他の問題はこんなかんじでした
文章題
各モデルの解答は ↓
推論問題
各モデルの解答は ↓
4oだけ不正解でしたが、考えようによってはこれも正解扱いできそうではあります。
「元に戻した」を 何をどこまで元に戻したか によって変わるところです。
このときの弊社Slackの反応は↓
訓練に使用されている( であろう ) データセットにまで思いをはせる人もいました。
なぞなぞ
各モデルの解答は ↓
( GPT 4 の言っていることが何度読み直してもよくわかりません。ナス？ )
と、こういう感じのクイズ会でした。
来栖川電算ではソフトウェア開発で社会に貢献したい仲間を募集しています。
興味を持って頂けた方は 採用ページ をご覧ください。