小規模LLMを使った自然言語ファイル検索

ユーザーは、1GB未満のLLMを使って、自然言語クエリ（「3日前のPythonスクリプト」など）からファイルシステムクエリを生成する自然言語ファイル検索エンジンを構築しています。現在はQwen 0.6Bを使っていますが、エッジケースでの精度に課題があります。4-8GBのRAMしかないPCで高速に動作（100ms以内）し、データが外部に出ないことが要件です。小規模LLMの活用、1-3BのLLMの検討、カスタムアーキテクチャの構築など、最適なアプローチについて意見を求めています。