ChatGPT に現在の API 制限の 4096 トークン以上の大量の新しい知識をベースにして回答させるには事前にそのデータを LlamaIndex (GPT Index) で適当な単位に分割して質問に対するデータをその分割された中からひっぱってきてプロンプトに組み込むということをする必要があって WordPressReader でサイト全体のデータから index 作ってみたけどそれなりに回答してくれるもののまだイマイチなとこがあって ChatGPT 以前に indexing パラメータのチューニングがけっこう重要そうだなというところまで理解。
GPT (LLM) が苦手な時事ネタとか天気とか数値計算とかを LLM に投げる手前で処理して適切なソースから情報をひっぱってきて集約するみたいなことをやってくれるのが LangChain なわけだけどどうやってクエリから適切なソースを見つけるんかな？と調べてみたらそもそもそのソースの選択を LLM でやってておもしれーってなったし問題解決のためのプロンプト生成を LLM 自身にやらせるみたいなのもあったりして LLM 使いこなせる人とそうじゃない人の差がやゔぁい。
GPT 関連プロダクトが雨後のたけのこのごとくニョキニョキ…プログラミング支援系もめっちゃ出てきてるしプロンプトエンジニアリング技もわんさかでてきて追っかけてるだけで一日終わる。
