AIラボ AI Learning OS #005 RESEARCH LOG

AI Learning OSを
実際に運用して分かってきたこと

AIが作った復習問題14問を解いてもらったら、各教科おおむね8割。 それでも「AIの見立てが正しかった」とは、まだ言えませんでした。実際に使って分かったことを整理します。

PROJECT(取り組み)教育データサイエンス
CASE(対象)小学4年・中学受験
DATASET(残しているもの)教材・答案・テスト・成績表・使った記録
VERSION1.0
STATUS(現在地)実際に使って分かったこと

01この記事で分かること

この記事で分かること

AIが作った復習問題を、娘が実際に解いた結果。便利だったことと、思ったほど自動ではなかったこと。そして、多く解けても、AIの見立てが正しかったとも間違っていたとも、まだ言えない理由をお伝えします。

02復習問題を解かせてみた

AIが作った復習問題を、娘に解いてもらいました。全部で14問、配点にして121点分です。

結果は、各教科おおむね8割程度の得点でした。目立って落としたのは、国語の漢字です。

「AIが挙げた項目は、ほとんど苦手ではなかったのか」

最初はそう考えました。しかし、答案を見ながら整理していくと、この結果だけでは、AIの見立てが正しかったとも、間違っていたとも言えないことが分かってきました。

表1 使う前に思っていたことと、実際
使う前に思っていたこと 実際に分かったこと
PDFを入れれば整理が終わる資料の確認と、質問への回答が必要
AIが苦手を特定するいまのところ、確認したい候補を挙げるところまで
ほとんど自動でできる名前付けや分類は手伝ってもらえるが、確認は残る
1回のテストで判断できる複数回を見比べないと分からない
問題を作れば復習になる実際に解いてみないと分からない

03聞けば、手元の記録から答えが返ってくる

最初に「これは便利だ」と感じたのは、質問すれば、残してある記録をもとに答えが返ってくることでした。

過去のテストを引っ張り出して並べ直さなくても、聞けば整理して答えてくれます。そこから、確認したいところを整理し、復習問題を作るところまで、一続きで進められます。

まだ先の話ですが、記録がたまっていけば、いずれは志望校に合わせた対策にも使えるのではないかと考えています。ただし今は、まず候補の精度を確かめる段階です。

04答案の途中式にも触れていた

思っていた以上だったのは、娘の答案に残った途中式や書き込みを手がかりに、どこでつまずいた可能性があるかを示していたことです。

答えが合っていたか間違っていたかだけではなく、どういう手順で考えて、どこで方向が変わったのかを、順にたどっていました。

これは、人間がやろうとするとかなり骨の折れる作業です。1問ずつ、余白の式を目で追って、どこでつまずいたのかを考えていく。時間もかかりますし、集中力も要ります。

その最初の確認を手伝ってくれるのは、素直にすごいと思いました。前回、問題用紙の書き込みを消さずにスキャンしたと書きましたが、その判断が生きた場面でもありました。

ただし、AIが示したのは「こうつまずいた可能性がある」という推測です。それが当たっているかどうかは、また別の話になります。

05もう一度確認した方がよいところ

5月から7月までに受けた4回分のテストを見比べた結果、次の項目が挙がりました。

表2 もう一度確認した方がよいところ
教科 確認したいところ
理科電気回路
算数約数・規則性
国語漢字・語句
社会地名と位置の対応

繰り返しますが、これは「苦手だと決まった項目」ではありません。

1回のテストだけを見て決めたわけではないところに、意味があると思っています。5月の算数で点が取れなかった単元も、その1回だけで苦手とは判断せず、6月と7月の結果と比べています。

社会もテストによって得点差がありましたが、出題範囲が違うことを踏まえて、「社会全体が苦手」とは判断していません。

068割解けた。その結果をどう考えるか

作った問題は、算数7問、理科3問、国語3問、社会1問の計14問です。元のテストで間違えた問題と、同じ考え方をもとにした似た問題として作りました。

作成した翌日に娘が解き、私が採点しました。結果は、各教科おおむね8割程度です。

つまり、AIが「確かめた方がよい」と挙げた項目の多くは、実際に解いてみると解けていました。

ただし、この結果だけで「AIの見立てが正しかった」とも「間違っていた」とも判断できません。考えられる理由はいくつもあります。

図1 8割解けた理由として、まだ残っている可能性

子どもの側かもしれない

  • テスト後の復習や授業で、理解が進んでいた
  • 元の間違いが、一時的なミスだった
  • 翌日だったので、記憶が残っていた

問題や見立ての側かもしれない

  • 作った問題が、元のテストより易しかった
  • 出題の形式が違ったため解けた
  • 挙がった項目の一部が、そもそも弱点ではなかった

いまは、どれか一つに絞ることはできません。作った問題が元のテストと同じくらいの難しさだったかも、まだ確かめられていません。

国語の漢字についても同じです。以前から身についていなかったのか、一度覚えたものを忘れたのか、単なる書き間違いだったのかは、まだ分かりません。

07テストのときと、今では違う

それでも、解かせてみたことで一つはっきりしたことがあります。

AIが見ていたのは、テストを受けた日の答案です。一方、練習問題を解いたのは、その後に家庭で復習し、塾の授業も進んだ時点でした。同じ娘でも、理解している内容は変わっているかもしれません。

表3 AIが見ているものと、そのときの子どもの状態
いつの話か そのときの娘の状態
テスト当日その時点の理解が、答案に残っている
テスト後家庭の復習や授業で、理解が変わっている可能性
練習問題を解いた日いまの理解で解いている
これから時間を空けても解けるかは、まだ分からない

このずれは、教材を登録している段階では意識していませんでした。実際に解かせてみて、初めて気づいたことです。

図2 いま、どこまで進んだか
  • 教材を残すできた
  • 過去と見比べるできた
  • 確認したいところを挙げるできた
  • 復習問題を解くできた
  • 時間を空けて、もう一度確かめるこれから

その日に解けただけでは、身についたとは言えません。少し時間を空けて、別の形でも解けるかを見る必要があります。

08思ったほど、自動ではなかった

手間が残った部分についても書いておきます。

テストの場合は、塾が採点した解答用紙があります。丸とバツがはっきり書かれているので、AIも正誤を読み取りやすい状態です。

しかし、毎週の授業で使う問題は違います。丸付けをするのは私です。自分で書いた丸やバツを、AIが読み取れる形にしておかないと、正しく認識してもらえません。

つまり、授業教材を登録するときには、分かりやすく書いたうえでPDFにする、という手間が新しく発生します。ここは、AIを使う前にはなかった作業です。

表4 AIが手伝った作業/親に残った作業
AIが手伝った作業 親に残った作業
ファイル名の候補を作る正しい資料か確認する
教科別に分けるPDFを取り込む
成績を書き写す誤った資料を差し替える
過去の教材と見比べる分からない点を説明する
復習の候補を整理するやるかどうか決める
記録を更新する結果を確認する

授業教材の丸付けの件を除けば、負担は減ったと感じています。過去の教材を探し回る手間は、はっきり減りました。

ただし、時間を計っているわけではありません。「何割減った」という数字は出せません。あくまで、やっている実感としての話です。

使い方のルールも、少しずつ固まってきました。テストは、問題・解答・採点結果・成績表がそろってから登録する。授業教材は、復習と丸付けが終わったタイミングで登録する。まだ本格的に始める前ですが、その方が、まだ解いていない問題と間違えた問題を区別しやすいと考えています。

09分かったことと、まだ分からないこと

表5 いま分かったことと、まだ分からないこと
いま分かったこと まだ分からないこと
複数の教材を見比べる材料を整理できた本当の苦手かどうか
1回の結果だけで判断せずに済んだ復習に効果があったか
復習する問題をいったん絞れたその順番が正しかったか
名前付けや分類をAIが手伝った親の負担が何割減ったか
練習問題を作り、解いてもらえた身についたかどうか

特に、成績や偏差値に影響したかどうかは、まったく分かりません。判断できる材料は、いまのところ何もありません。

仕組みとして足りていない部分も見えてきました。途中で考えて採用しなかった見方を残す仕組みがありません。授業教材の空欄を、まだ解いていないのか間違えたのかで区別する仕組みも、まだ整っていません。

復習の結果をAIに戻して、最初の見立てが妥当だったかを確かめる使い方も、これから作るところです。

SUMMARYまとめ|AIは答えを出したのではなく、次に確かめることを整理した

ここまででできたのは、複数のテストを見比べて、いまの理解を改めて確認した方がよい項目を整理することでした。

実際に練習問題を解くと、多くの問題には正解できました。ただし、この結果だけでは、AIの見立てが正しかったとも、間違っていたとも言えません。テスト後の復習で理解が進んだ可能性、問題の難しさが違った可能性、一時的なミスだった可能性が残っています。

いま言えるのは、確定した苦手が見つかったことではありません。次に何を確かめればよいかが、以前より具体的になったということです。

娘は、問題をたくさん解くことを喜ぶタイプではありません。だからこそ、必要なものだけを選びたい。そのための材料は、以前より増えました。

次は、今回解けた問題を時間を空けてもう一度確認します。また、夏期講習の教材登録にも進みます。

実践ガイド

同じ環境を、家庭で作ってみたい方へ

この記事では、実際に使ってみて分かったことを書きました。

同じことをするには、教材や答案をGoogle Driveにまとめて保存し、丸付けの結果や成績表も一緒に残しておく準備が必要です。そのうえで、AIが過去と見比べられる状態にしておきます。

フォルダの作り方、教材の登録方法、ChatGPT・Claudeの設定、日々の使い方は、次の有料noteにまとめました。必要な方だけお読みください。

娘の教材を生成AIに預けた|Google DriveとChatGPTで、中学受験の学習管理環境を一から作る手順
次回予告

次回は、夏期講習の教材を登録します。通常の授業やテストとは構成の違う教材を、AIがどこまで整理できるのかを扱います。