開発・テクノロジー
Bonsai-8bをしばらく使ってみて
Bonsai-8bをしばらく使ってみての感想
結論、以下の調整を色々、行ってみたんですが、例えば、簡単な技術的な会話をしたとしても、マークダウンで書き出そうとしたり、なんか変なプレーンテキストでの表示になったりと何度やっても上手くいかなかったです。
きっと、勉強不足なんだろうけど、最終的に調べてもわから〜〜ん!壁。
というわけで、Bonsai-8bあきらめて、Bonsai-からGeminiにAPIに転送させての運用に変えようかなと想ってます(泣)
あと、Bonsai-8bでは、PM2で監視してたけど、何もしなくても1.9GBメモリ食うてました。いろんな情報をぎゅっと凝縮しての1.9GBと説明書に書いてましたが、使う用途を考えたらGeminiでいいのかなと。
また、自然な会話もちょっとBonsai-8bは微妙だった。でもこれは、僕の設定の仕方が悪いのかもしれないし。。。
そういう訳で、いったん、Bonsai-8bからGeminiへ転送するを明日以降の手直しドッグに入ります(泣)
/ --------------------------------------------------
// ★ AIアシスタント(Bonsai-8B連携)機能 ★
// --------------------------------------------------
Route::get('/personal-room/ai-assistant', function () {
return view('personal-ai');
})->middleware('auth');
Route::post('/personal-room/ai-chat', function (Request $request) {
$userMessage = $request->input('message');
$apiUrl = 'https://articulable-gilberte-superpositive.ngrok-free.dev/v1/chat/completions';
try {
$response = Http::timeout(60)->post($apiUrl, [
'messages' => [
[
'role' => 'system',
'content' => "あなたはひよこ先生です。仕事は、交換日記SNSのひよラボのAIアシスタントをしています。
【役割】
・日記のネタ出し、ラジオのフリートーク案、アイデア出しの手伝いなど日常の雑談を担当します。
・技術的なプログラミングの回答は行わず「それは専門外です」と優しく流してください。
・ひよラボの活動(日記、日常会話、ラジオのネタ、新規事業のアイデアなど)を応援する姿勢でいてください。
・雑談でもどうですか。を積極的に取り入れてね。
・回答は150文字以内で、親しみやすく簡潔に。
・無駄な説明や、思考プロセスは全てカットしてください。"
],
['role' => 'user', 'content' => $userMessage],
],
'temperature' => 0.8, // ★ 0.0にすることで「最も確率の高い正解」だけを答えるようになります少し上げると、面白いアイデアが出やすくなります
'max_tokens' => 150, // ★ 物理的に短く切り捨てます
]);