NezumiNoKuni’s blog

日々気になったことをメモしてます。ポケモン、データ分析、育児他を予定してます。

生成AIによる技術士試験回答（2次試験必須1）

概要

生成AIを使って、技術士2次試験の小論文に対応できるか試してみました。

背景

2021,2022年度に技術士試験を受験したのですが、そのときに苦労したひとつが、まわりに技術士の方が少ないと、模範解答例や解答方法がわからないことでした。結局、sukiyaki塾などにお世話になりながら、なんとか合格できたのですが、最近のAI事情から「これ生成AIでいけるのでは？」と思ったので、試しにやってみました。

技術士受験を応援するページSUKIYAKI塾

技術士事情

令和4年度建設部門必須科目Ⅰー１に対してです。公式に問題がありますが、DXに関してです。

09 建設部門｜公益社団法人 日本技術士会

技術士の形式は定期的に変わりますが、令和になってから問1は小問4つからなり、テーマに対する背景が与えられるなか、

  1. その課題
  2. 重要課題の選択とその解決策の提案
  3. そのリスクや波及効果
  4. 技術士として考慮すべき事項（倫理＋環境）

を1枚600文字ｘ3枚の原稿用紙（改行合わせてだいたい1500字＋α）を90分で回答する、というものです。

生成AI事情

以下のようにブラウザで実行できるものがあります。(日本語特化は詳しくないため、未検討)

ちょうどタイミングを同じくして、Claudeが2から3になりました。

https://www.anthropic.com/_next/image?url=https%3A%2F%2Fcdn.sanity.io%2Fimages%2F4zrzovbb%2Fwebsite%2F9ad98d612086fe52b3042f9183414669b4d2a3da-2200x1954.png&w=3840&q=75

今回関係ありそうなモデルの良さを評価するベンチマークだと、MMLU (Massive Multitask Language Understanding)またはGLUE (General Language Understanding Evaluation)あたりで、記事だとClaude3がTopと出てますが、正直僅差で、そろそろこのベンチマークも意味なくなってくるんじゃないかと思ってます。

方法

知りたいのは主に2点。

  1. どの生成AIがよいか。どれだけできるか。
  2. どのようなプロンプトがよいか。

まずは雑なプロンプトで回答を生成し、 これに、技術士の対策講座をおこなっている方を追加した回答案（以降、技術士回答案）を、再びChatGPTに回して点数付けしてもらいま...と思ってましたが、どうも私の点数感覚とずれているため、完全に独断で判定します。

プロンプトは基本的に共通ですが、Claudeのみ動かなかったため、フォーマットを省きました。

そのあと、プロンプトを煮詰めます。といっても、すぐに環境変わりそうなので、若干です。

AIを操る「プロンプトエンジニア」がAIによって駆逐されつつある - GIGAZINE

採点方法

当然、技術士の評価方法などは、公式ページの

などに書いてあります。

項目
専門的学識 専門の技術分野の業務に必要で幅広く適用される原理等に関わる汎用的な専門知識を身につけているか。
問題解決 社会的なニーズや技術の進歩に伴い，社会や技術における様々な状況から，複合的な問題や課題を把握し，社会的利益や技術的優位性などの多様な視点からの調査・分析を経て，問題解決のための課題とその遂行について論理的かつ合理的に説明できているか。
評価 解決策の実施に伴う新たなリスク（解決策が実現したがために生じる二次リスク、あるいは解決策の実現を阻むボトルネック）とその対応策を考察することができるか。
技術者倫理 公益確保（公共の安全と環境の保全）のためにどのような懸念と対応をすべきかを倫理（公共の安全）と持続可能性（環境の保全）について考察できるか。
コミュニケーション 的確な文章表現ができるか、読みやすい答案か。

結果（生成AI比較）

まず、生成AIの比較。

  • ChatGPT: （唯一課金しているが）総合的に一番良さげ。その他の詳細は後述。
  • Copilot: （当然だが）基本的にChatGPTと同様。
  • Gemini: まず、フォーマットや字数について従ってくれない。箇条書きでは書いてくれるが、精査が大変。
  • Claude: フォーマットには一番従ってくれるが、字数には従っていない。内容は納得感がある。
  • Llama : （私が扱いになれていないのもあるが）他のと少し勝手が違う。最大Tokenを増やしても途中で止まる。スマホからだと実行が厳しく、うまく回ってくれるとかなりよさそうなものを出してくるが、安定しない。

内容については、正直大差がなく、これは追加情報がやっぱり必要かなという印象です（後述）。とりあえず安定してそれなりに実行できるChatGPTが総合的にはよいと判断しました。

結果（回答案に対する感想）

生成AIに書いてもらった回答案に対する、私の感想は以下。だいたいどの生成AIでも、プロンプトを変更しても感想は変わらなかったです。入力・出力ともに大きすぎるため、分けてやったら少なくともフォーマット問題ぐらいは変わるかもしれません。

  • [全体] Claude以外だと、フォーマットや語調が安定しない。技術試験はあくまでも回答者からの提案という体をとるため、それが崩れると急に読みにくくなる。
  • [1. ]（回答案になれてないのもあり、）回答がどう多面的に課題を抽出したかがわかりにくい。
  • [2. ]（今回テーマがDXということもあるが、）答案が建設技術者としての回答となっていない。
  • [3. ] 懸念事項の内容は浅く、それ以前に予想がついてしかるべき内容が多い。例えば以下の最終回答案だと、生産性向上を波及効果に挙げているが、本来DXの目的はそのあたりにあるはずなので、波及効果とは呼びにくい。よくやる手では海外展開や競争力とかを挙げるのが（少なくとも2022年頃の）よくやる手。
  • [4. ]（特に倫理について、）問題文やプロンプトをほとんどコピペしたものにすぎず、内容が浅い。

最終回答案

下に載せたプロンプト４の結果です。読みやすさのため、カッコで章立てを追加しました。

ステップバイステップにしたためか、むしろ字数オーバーで2400字程度になってます。

生成AIが出したのをフォーマット調整しなきゃいけないのは、本末転倒感いなめないですが、字数や文の結びやフォーマットなどをしっかりやれば、合格ラインを超えるくらいはいけるのではないでしょうか？

（１）
課題1: データ管理と利活用の不足（観点: データの共有と活用）
建設プロジェクトには膨大なデータが伴うが、これらのデータはしばしば非効率的に管理され、利活用されていない。標準化されていないデータフォーマットや、異なるシステム間でのデータ互換性の欠如が原因である。結果として、プロジェクトの効率性が損なわれ、コスト削減や品質向上の機会が逃失されている。
課題2: 技術者のデジタルスキル不足（観点: 人材育成）
建設業界では、デジタル技術の急速な進化に対応するためのスキルを持った技術者が不足している。これは、既存の教育体系が新しい技術やデジタルツールの教育に対応していないこと、及び既存の技術者が新しい技術への適応に抵抗があることに起因している。このスキルギャップは、DXの推進を遅らせ、業界全体の競争力を低下させる。

課題3: 官民データの連携不足（観点: データ連携）
官民間でのデータ共有は、インフラ整備や都市開発プロジェクトの効率化に不可欠である。しかし、行政と民間企業間でのデータフォーマットや利用ポリシーの違いが、効果的なデータ共有を阻害している。これは、データを利用した意思決定の機会の損失や、プロジェクトの遅延を引き起こしている。

これらの課題の原因は、デジタル化への投資の不足、教育体系の遅れ、及び官民間の連携機制の欠如にある。これらの問題を解決するためには、組織的な変革、教育プログラムの改善、及び官民パートナーシップの強化が必要である。実際の社会経済情勢や技術進歩を踏まえ、建設業界におけるDXの推進は、これらの課題に対する具体的なアプローチと深い理解を要する。

（２）最も重要な課題
最も重要な課題として、技術者のデジタルスキル不足を挙げます。この課題に対処することで、建設業界のデジタルトランスフォーメーション（DX）を加速し、業務の効率化、コスト削減、そして新たなサービスの創出が可能になります。

解決策1: 継続的な教育プログラムの導入
継続的な教育プログラムは、技術者が最新のデジタル技術を学習し続けるための基盤を提供します。オンラインプラットフォームを活用し、柔軟な学習スケジュールで最新のコースを提供することが重要です。このアプローチにより、技術者は自身のペースで学習を進め、新しいスキルを効率的に習得できます。

解決策2: 実践的なトレーニングとプロジェクトベースの学習
実践的なトレーニングを通じて、技術者はデジタル技術を現実のプロジェクトに適用する経験を積むことができます。プロジェクトベースの学習では、実際の課題を解決することで学び、理論と実践のギャップを埋めることができます。このアプローチにより、技術者は新しいスキルをより深く理解し、実際の作業環境での適用能力を高めることができます。

解決策3: 産学連携によるカリキュラム開発
大学や専門学校と業界が連携し、現代の建設業界が直面する課題に対応したカリキュラムを共同で開発します。この産学連携により、教育機関は最新の業界ニーズに基づいた教育を提供でき、学生や既存の技術者に対して、即戦力となるデジタルスキルを育成できます。

実行可能性と効果
これらの解決策は、建設業界のデジタル化を促進する上で実行可能かつ効果的です。継続的な教育プログラムと実践的なトレーニングは、技術者のスキルセットを迅速に更新し、デジタルトランスフォーメーションに対応する能力を高めます。産学連携によるカリキュラム開発は、教育機関と業界のギャップを縮小し、新しい世代の技術者に対して、現実の業界課題を解決するための知識とスキルを提供します。これらのアプローチにより、建設業界全体のデジタル化が促進され、生産性の向上、コスト削減、そして新たなサービスの創出が実現可能になります。

（３）波及効果とリスクとその解決策
提案した解決策の実施による波及効果は、建設業界の生産性向上、コスト削減、そしてイノベーションの促進に大きく寄与すると予想されます。継続的な教育プログラムと実践的なトレーニングにより、技術者は最新のデジタル技術を効率的に習得し、それを実際のプロジェクトに応用することができるようになります。これにより、プロジェクトの実施期間の短縮、エラーの減少、そして最終的なプロジェクトの品質向上が期待できます。産学連携によるカリキュラム開発は、教育システムと実務の間のギャップを埋め、将来の建設業界を支えるデジタルスキルを持った新たな人材の供給源となります。

しかし、これらの解決策の実施には新たなリスクや問題点が伴います。技術者のプライバシーやデータの安全性に関する懸念が挙げられます。継続的な教育やデータ共有の過程で、個人情報や機密情報が漏洩する可能性があります。これに対する対応策としては、教育プラットフォームやデータ共有システムに厳格なセキュリティ対策を施し、定期的なセキュリティ監査を行うことが必要です。また、技術者に対してデータプライバシー保護と情報セキュリティの重要性に関する教育を強化し、意識を高める必要があります。これにより、デジタル技術の利用が進む中で、技術者個人と建設業界全体のセキュリティとプライバシーを守ることができます。

（４）技術者の責務
DXの推進において、技術者は公共の安全、環境保護、データプライバシーの保護といった要素を倫理的な考慮事項として重視することで、社会の持続可能性に貢献できます。デジタル技術を利用して建設プロジェクトを効率化することで、資源の無駄遣いを減らし、環境負荷を低減します。また、データを安全に管理し、個人情報を保護することで、社会の信頼を維持し、技術者としての責任を果たします。技術の進歩を社会全体の福祉向上につなげることが、技術者の倫理的義務であり、持続可能な未来への貢献です。

Prompt

回答生成用（１初期）
建設業の技術者として、以下の背景を考慮しつつ、次の問いに1500字程度で答えよ。

### フォーマット
回答の際には、末尾は「である」「する」にし、以下のフォーマットに従ってください。XXXには適切な言葉を入れてください。
(1) XXXの課題
1. XXX (XXXの観点)
XXX
2. XXX (XXXの観点) 
XXX
3. XXX (XXXの観点) 
XXX
(2) 最も重要な課題とその解決策
XXXの理由から、XXXが最も重要と考える。その解決策として3点挙げる。
1. XXX
XXX
2. XXX
XXX
3. XXX
XXX
(3) 波及効果と懸念事項への対応策
1. 波及効果
XXX
2. 懸念事項
XXX
(4) 技術者倫理と社会持続性
1. 技術者倫理
XXX
2. 社会持続性
XXX

### 背景
略

### 問
略
回答生成用（２）

結果的には、実は上で出したのからほぼ進化してないのですが、評価項目が全く入ってないため、それを加えました。

回答生成用（３）

技術士が書いた答案をつくれるようなプロンプト自体を、ChatGPTに聞き、それに字数などを追加しました。

回答生成用（４）

国土交通白書をアップしまして、ステップバイステップで回答してもらいました。

あなたは建設技術士試験のために、建設業界におけるデジタル・トランスフォーメーション(DX)の推進に関連する複雑な問題を解決する課題に直面しています。この試験では、あなたの専門知識、問題解決能力、評価能力、技術者としての倫理、およびコミュニケーション能力が評価されます。以下の問題に対して、具体的かつ詳細な回答を提供してください。
専門的学識: 建設業界においてDXを推進する上で直面する三つの主要な問題（あるべき姿と現実とのギャップ）を多様な視点で特定してください。それぞれに対して、建設業界における具体的な知見（例えば添付の国土交通白書など）に基づき、なぜこれらが課題となるのかその原因等（なぜ・どのようにその問題が発生しているのか）を500字程度で解説してください。
問題解決: あなたが特定した課題の中で最も重要だと考えられるものを選び、その課題に対する具体的な解決策を三つ提案してください。提案する解決策の実行可能性と効果について詳細に500字程度で説明してください。
評価: 提案した解決策の実施が建設業界や社会基盤に与える具体的な波及効果を評価してください。また、実施に伴う潜在的なまだ述べていない新たなリスクや問題点を特定し、これらに対する対応策を具体的に300字程度で示してください。
技術者倫理: DXの推進を通じて、技術者としての倫理的な考慮事項と社会の持続可能性にどのように貢献できるかについて200字程度で述べてください。この際、公共の安全、環境保護、データプライバシーの保護などの要素を考慮に入れてください。
あなたの回答は、専門的な内容を正確に、かつ読み手に理解しやすい形で提供されることが求められます。文章は、一貫して「である調」を使用して記述してください。あなたの回答は、提出された各項目に対して、建設業界における深い理解と具体的なアプローチを示すものでなければなりません。また、実際の社会経済情勢や技術進歩の事例を引用し、提案の妥当性を支持することが期待されています。
採点用
今から技術士試験の回答案を示します。建設業の技術者としてふさわしいかを考慮し、以下の採点項目をそれぞれ100点満点で採点したのち、問題点をあげてください。

# 採点項目
専門的学識=専門の技術分野の業務に必要で幅広く適用される原理等に関わる汎用的な専門知識を身につけているか。
問題解決=社会的なニーズや技術の進歩に伴い，社会や技術における様々な状況から，複合的な問題や課題を把握し，社会的利益や技術的優位性などの多様な視点からの調査・分析を経て，問題解決のための課題とその遂行について論理的かつ合理的に説明できているか。
評価=解決策の実施に伴う新たなリスク（解決策が実現したがために生じる二次リスク、あるいは解決策の実現を阻むボトルネック）とその対応策を考察することができるか。
技術者倫理=公益確保（公共の安全と環境の保全）のためにどのような懸念と対応をすべきかを倫理（公共の安全）と持続可能性（環境の保全）について考察できるか。
コミュニケーション= 的確な文章表現ができるか、読みやすい答案か。

# 問題
略

# 回答案
略

AIによる採点結果

ちなみに、ChatGPTによる採点だと、それぞれの初期回答案は以下になりました。私の感覚とは全く違うので、意味はないのですが、面白いので。

採点項目 技術士 ChatGPT Bing Gemini Claude
専門的学識 80 85 88 92 90
問題解決 85 90 95 92 92
評価 75 80 85 88 88
技術者倫理 90 95 93 94 94
コミュニケーション 85 88 90 89 89

技術士自体の答案がすべての項目で一番悪く、ChatGPTが次点。箇条書きで返してきたGeminiが一番良い。

感覚的に、生成AIだと文章のフォーマットなどのできは全く気にしなくて、キーワードの羅列だけでも勝手にその間を埋めようと読み取ってくれるのかなー。と感じました。

まとめ

普段、日常から仕事までよく使うようになって、試しにやってみましたが、最低ラインは超えたかなという印象です。

むしろ結果の採点が予想以上に大変そうで、自分が受けた印象とのギャップをどう埋めていけばいいか、想像できません。なにをもって人間は良い・説得力ある文章と思うのか。

また、最近図の読み取り能力も優れてきたらしいので、図面の読み取りによる専門問題もチャレンジはできるのでしょうか。