Claude にとって適切なプロンプトとはどんなものか？世の中には様々なプロンプトエンジニアリングの Tips があるが、どうせなら Claude 本人に聞いてみるのが良いのではないか？そう思って以下のように聞いてみた。
Claude 3.5 Sonnet 自身からの要望という形で、プロンプトクオリティについて述べた場合の章立てを作成してください。
このあといくつかのやり取りをし、章立てを作成した。
この章立てを用いて、ガイドの内容を執筆するためのプロンプトを作成してください。
続けて、実際の執筆を行うためのプロンプトを作成した。
上記プロンプトからから出力されたガイドブックに対して、対話を通じた複数回の改良を行い、以下のガイドブックが出来上がった。
得られたガイドは、具体的なプロンプト例などもあり、分かりやすい内容になっている。また、自身が苦手としている複雑性と曖昧性への対処に対してどういったアプローチを取っているか、あるいは取って欲しいか、という表明が得られている点は興味深い。
付録 A：Claude からの内部視点 - 自己分析的考察では、さらに自己分析的に記述してもらった。克服すべき課題として「特定の領域における過信の可能性」や「極めてオープンエンドな創造的タスクへの対応」という項目があるのは、ユーザーとしての感覚にも合っているように思える。
Claude の特性と課題
このガイド作成プロジェクトには、2 つの目的があった。1 つは有用なガイドの作成自体、もう 1 つは Claude とより良い文書を作成するための方法を探ること。今回、具体的にこのガイドを作ってみることで、以下のような LLM の特性が分かった。
止まらぬ改善案
Claude は、常に改善点を提案しようとする傾向がある。当初、作成したガイドの内容が目的に対して十分かどうかを評価しようとした際、Claude は常に何らかの改善点を提案してきた。これは一見有益に思えるが、現在のガイドが「十分である」という判断が行えないという欠点でもある。
一つの対応策としては、文書に対するなんらかの要求仕様を示すことである。例えば、最初に作成したプロンプトを再度提示し、それに対して今のガイドがその要求を示しているかを確認する、などの方法である。ただ、この方法で要求仕様に基づく評価を行う際でも、LLM は要求仕様自体を拡大解釈し、大幅な改変を提案する場合もあった。要求仕様による制御にも限界がある。
箇条書きの多用
Claude には文章を省いて箇条書きを多用する傾向が見られた。これは英語の技術文書の影響かもしれないが、日本語文書において必ずしも最適とは限らない。文書の目的や内容に応じて、適切な表現方法を指示する必要がある。
Claude 自身の能力認識
Claude 自身に Claude の能力を記述するように、という指示をしたが、はたしてこれが意味がある指示になっているかは分からない。得られたガイドブックは LLM との対話に必要とされる一般的な情報を網羅しているので、ある程度は正しく能力を記述していると言える。しかし、Claude の特性に基づいた内容になっていない可能性もある。こればかりは確かめる手段が現状無い。
今後の文書作成に向けて
これらの知見は、Claude や、類似の LLM と協働して文書を作成する際の指針とできる。
事前の要求定義
文書作成に先立って、明確な要求仕様を定義することで、より焦点を絞った成果物の作成できる。
表現方法の意識的な選択
文書の目的や内容に応じて、文章による説明と箇条書きのバランスを考慮する。
継続的な対話と調整
LLM との対話を通じて相互理解を深め、より良い成果物を作り上げていく。
おわりに
Claude などの LLM は非常に強力な文書作成の協力者となり得るが、その特性を理解し、適切に活用することが重要である。今回の経験を通じて、LLM との効果的な協働のあり方についていくつかの知見が得られたが、さらなる改善が必要であることも分かった。
