2023.05.31
Diary
1000件のテキストを ChatGPT API で翻訳してみようと組んでみたけどレスポンスがめちゃ遅いので ChatGPT の教えにそって concurrent.futures.ProcessPoolExecutor で並列で処理するようにしてワーカー 100 プロセスとかすると当然ながらめちゃんこ速くなるんだけどなぜか 800 件ぐらいで全部応答なくなって固まるってのが解決できなくて処理結果を途中保存して中断後でもそこから再開できるようにして逃げました。
2023.06.01
Diary
GPT-3 の fine-tuning はそれなりにデータをぶっこまないといけないけどそうすると一回1時間数十ドルみたいなことになるので ChatGPT みたく細かくプロンプト変えて試すみたいなことがやりづらいのがなかなかアレですのでちょっとやり方変えたほうがいいのかもしれぬ。
2023.06.02
Diary
GPT-3 の fine-tuning より ChatGPT の in-context learning のがよいかもしれないってことで LangChain が内部でやってるみたいな vector database で similality search してそれっぽいデータをプロンプトにつっこんでってやったら割とそれっぽくなったのけど GPT-3.5 よりやっぱ 4 のがいい感じになりがちなので API 使いたい…