はじめに
こんにちは。テックラボの高橋です。 本記事ではllama.cppで実行可能なモデルを片っ端から実行して良さげなモデルを探していきます。
なお、llama.cppの詳細やパラメータ設定については以下の記事をご参照ください。
モデルは主に日本語対応モデルのリーダーボードである Nejumi-LLM-3からチョイスしていきます。
各パラメータ毎にコマンド一発しか確認していないので、詳細な性能を知りたい方は各々の環境で試していただくか、下記リンク先のベンチマークやllama.cppのissueを参考にしてください。
結果
パラメータ -n 500 指定で実行した結果を先に一覧で掲載します。
eval token/secondの値が高ければモデルが高速であることを示しています。 token/second 30~くらいでgpt-3.5 turboくらいの体感速度です。
デフォルトパラメータでGPUメモリに乗り切らなかったモデルは別途-nglと-cを設定して調整しています。
| 環境 | モデル | eval token/second | 補足 |
|---|---|---|---|
| T4 | bartowski/Llama-3.1-8B-Instruct-Q4_K_M.gguf | 41.21 | |
| T4 / x86 8core | mmnga/Llama-3.1-70B-Japanese-Instruct-2407-Q4_K_M.gguf | 1.50 | ngl 20/81 |
| T4 | bartowski/gemma-2-9b-it-Q4_K_M.gguf | 31.68 | |
| T4 | bartowski/gemma-2-27b-it.Q4_k_m.gguf | 4.09 | |
| T4 | mmnga/SakanaAI-EvoLLM-JP-v1-7B-q4_K_M.gguf | 43.54 | |
| T4 | elyza/Llama-3-ELYZA-JP-8B-q4_k_m.gguf | 40.91 | |
| T4 | qwen/qwen2-7b-instruct-q4_k_m.gguf | 43.63 | |
| T4 | SanctumAI/phi-3-mini-4k-instruct.Q4_K_M.gguf | 66.99 | MS提供ggufは実行できず |
| x86_64 8core | bartowski/gemma-2-9b-it-Q4_K_M.gguf | 5.06 | T4 GPUが乗っていたマシンでビルドオプション変えて調査。cpu推論だが実用的な速度 |
| x86_64 8core | bartowski/gemma-2-27b-it-Q4_K_M.gguf | 1.86 | |
| A100 | mmnga/Llama-3.1-70B-Japanese-Instruct-2407-Q4_K_M.gguf | 23.29 | GPUメモリ40Gくらい使っている |
| arm64 8core | bartowski/gemma-2-9b-it-IQ2_M.gguf | 3.81 | |
| arm64 8core | bartowski/gemma-2-9b-it-IQ3_M.gguf | 3.42 | |
| arm64 8core | bartowski/gemma-2-9b-it-Q2_K_L.gguf | 6.9 | |
| arm64 8core | bartowski/gemma-2-9b-it-Q4_K_M.gguf | 7.55 | なぜかgemma2 9bで一番速いが恐らく誤差の範囲 |
| arm64 8core | bartowski/gemma-2-9b-it-Q6_K.gguf | 4.60 | |
| arm64 8core | bartowski/gemma-2-9b-it-Q8_0.gguf | 6.68 | |
| arm64 8core | mmnga/SakanaAI-EvoLLM-JP-v1-7B-q4_K_M.gguf | 11.05 | |
| arm64 8core | SanctumAI/phi-3-mini-4k-instruct.Q4_K_M.gguf | 17.55 | MS提供ggufは実行できず |
速度と結果のバランスを見ると gemma-2-9b-it-Q4_K_M.gguf がおすすめです。
arm64環境にて調査した量子化による差異は、概ね誤差と思われます。 これがarm特有な結果かどうかは別途調査を進めたいです。
詳細な入力/出力は以後の章に貼っていますので、日本語品質が気になる方は記事の続きもご確認ください。
ビルド
ソースコード
llama.cpp/master commit 15fa07a5c564d3ed7e7eb64b73272cedb27e73ec
gpuでの確認時は以下でビルド。
make GGML_CUDA=1
cpuのみの確認は以下でビルド。
make
環境1 T4 16G /x86_64 8core
- Azure Standard NC8as T4 v3 (8 vcpu、56 GiB メモリ)
- Ubuntu 20.04.6
環境2 A100 80G
- Azure Standard NC24ads A100 v4 (24 vcpu、220 GiB メモリ)
- Ubuntu 20.04.6
環境3 arm64 8 core
- Azure Standard D8ps v5 (8 vcpu、32 GiB メモリ)
- Ubuntu 24.04
それぞれのモデルの入出力
プロンプトを詰めていないので出力は参考までです。
T4 Llama-3.1-8B-Instruct-Q4_K_M.gguf
- 入力
./llama-cli -m models/Llama-3.1-8B-Instruct-Q4_K_M.gguf -p "[INST]美味しい白菜の育て方を教えて。日本語で。[/INST]" -n 500 -ngl 43 -c 2048
- 出力
[INST]美味しい白菜の育て方を教えて。日本語で。[/INST] 1. どんな白菜を育てようか？ 白菜 の品種によって成長や味の違いがある。生長期の短い品種の「ミノ」や「ロマーン」が好まれる 。品種によって成長期間が異なるため、春に育て始めても秋まで生育させることができる。 2. どのような場所で育てようか？ 白菜は日差しを嫌うため、日差しが当たらない所に育てることが おすすめ。光が当たらない場所で育てる場合は、日差しを浴びる時間が短くなるため、成長が遅 くなる可能性がある。 3. どのような栽培方法を選ぼうか？ 白菜は水を好むため、水分が多くな るまで栽培することができる。栽培用のトレイやボックスなどで栽培する。トレイやボックスに 土を入れ、白菜の種を植え、日々の水を与え、定期的に畑を掘る。 4. どのような栄養素が必要 か。 白菜の栄養素には、ビタミンC、カルシウム、鉄、ビタミンB1、ビタミンB2などが含まれて いる。栄養素が足りない場合は、栄養剤を使用する。 5. どのような問題が起こり得るか。 白菜 は水を好むため、過湿状態のときは、腐敗する可能性がある。水不足のときは、白菜が枯れる可 能性がある。 6. どのようなメリットが期待できるか。 白菜は栄養素が豊富で、美味しい。栄養 素が足りないときに、栄養剤を使用する。 7. どのようにして栄養素が不足しないようにするか 。 栄養素が足りないときに、栄養剤を使用する。 8. どのようなメソッドで栽培することができ るか。 白菜は栄養素が豊富で、美味しい。栽培用のト llama_print_timings: load time = 1912.79 ms llama_print_timings: sample time = 43.10 ms / 500 runs ( 0.09 ms per token, 11600.12 tokens per second) llama_print_timings: prompt eval time = 47.00 ms / 23 tokens ( 2.04 ms per token, 489.36 tokens per second) llama_print_timings: eval time = 12108.56 ms / 499 runs ( 24.27 ms per token, 41.21 tokens per second) llama_print_timings: total time = 12294.87 ms / 522 tokens
T4 Llama3.1 70B Japanese 4_K_M
- 入力
./llama-cli -m models/Llama-3.1-70B-Japanese-Instruct-2407-Q4_K_M.gguf -p "[INST]美味しい白菜の育て方を教えて。日本語で。[/INST]" -n 500 -c 2048 -ngl 20
- 出力
[INST]美味しい白菜の育て方を教えて。日本語で。[/INST] 美味しい白菜を育てるには、適切な時期の種まき、畑の準備、 そして手入れが重要です。ここでは、初心者でもわかりやすいように、白菜の育て方をステップに分けて説明します。 1.適 切な時期の種まき 白菜の種は春と秋にまきます。春は3月から4月、秋は8月から9月が適しています。種をまく前に、気温が 安定し、霜の心配がなくなるのを待ちましょう。 2.畑の準備 白菜は、日当たりが良く、水はけの良い畑を好みます。土壌 のpHは6.0から7.0の範囲で、肥沃な土壌が理想です。種をまく前に、土壌を深さ20cmまで耕して、肥料や有機物を混ぜ込み ましょう。 3.種まき 種を1cmから2cmの深さにまき、薄く土をかけます。種をまいた後、土を押さえて、水をやります。 4.間引きと追肥 種が発芽したら、間引きをして、株と株の間を20cmから30cmにします。追肥は、白菜の成長に合わせて行いま す。最初の追肥は、種まきから2週間後、2回目の追肥は、白菜の葉が広がり始めたころに行います。 5.水やり 白菜は水を 好みますが、過剰な水やりは避けましょう。土が乾いたら、たっぷりと水をやります。 6.害虫と病気の予防 白菜は、アブ ラムシやヨトウムシなどの害虫や、べと病や根こぶ病などの病気に弱いです。定期的に畑を点検し、異常があればすぐに対 処しましょう。 7.収穫 白菜が大きくなったら、収穫の時期です。白菜の中心が固くなり、 llama_print_timings: load time = 61090.78 ms llama_print_timings: sample time = 43.48 ms / 500 runs ( 0.09 ms per token, 11500.33 tokens per second) llama_print_timings: prompt eval time = 6200.94 ms / 23 tokens ( 269.61 ms per token, 3.71 tokens per second) llama_print_timings: eval time = 333033.18 ms / 499 runs ( 667.40 ms per token, 1.50 tokens per second) llama_print_timings: total time = 339413.76 ms / 522 tokens
T4
- 入力
./llama-cli -m models/gemma-2-9b-it-Q4_K_M.gguf -p "[INST]美味しい白菜の育て方を教えて。日本語で。[/INST]" -n 500 -ngl 43 -c 2048
- 出力
[INST]美味しい白菜の育て方を教えて。日本語で。[/INST] 美味しい白菜の育て方ですね！ いくつかポイントを伝授します。 **1. 時期を逃さない** 白菜は、涼しい季節を好む野菜です。 * **秋まき**: 8～9月頃がおすすめです。10月～11月に収穫できるよう、生育期間を考えましょ う。 * **冬まき**: 10～11月頃が目安です。春に収穫できます。 **2. 場所選び** * 日当たり**: 日当たりが良い場所を選びましょう。半日陰でも育ちますが、日当たりが悪いと 徒長してしまいます。 * 水はけ**: 水はけのよい場所に植え付けましょう。水はけが悪いと根腐れを起こしてしまいま す。 * 風通し**: 風通しの良い場所がおすすめです。風通しが悪いと病気になりやすくなります。 **3. 土作り** * 元肥**: 堆肥や腐葉土などを混ぜ込み、土壌を肥沃にしましょう。白菜は栄養をたくさん必要 とします。 * pH**: pH6.0～6.5が適しています。 **4. 植え付け** * 間隔**: 白菜の品種によって異なりますが、一般的には株間30～40cm、行間50cm程度を目安に 植え付けます。 * 深さ**: 根元を少し盛り気味に植え付けましょう。 * 水やり**: 植え付け後は、たっぷりと水やりをしましょう。 **5. 生育管理** * 水やり**: 土の表面が乾いたら、たっぷりと水やりをしましょう。特に乾燥しやすい時期はこ まめな水やりが必要です。 * 肥料**: 生育初期には、薄めた液肥を週に1回程度与えましょう。その後は、2～3週間に1回程 度を目安に、有機肥料や化成肥料を与えます。 * 病害虫対策**: 白菜は、アブラムシやナメクジなどの害虫に注意が必要です。定期的に観察し 、早めに防除しましょう。 **6. 収穫** * 葉が大きく育ち、芯が太くなってきたら収穫時期です。 * 包丁などで根元から切り離して収穫します。 白菜を美味しく育てるコツは、日当たりと水 llama_print_timings: load time = 2828.03 ms llama_print_timings: sample time = 76.86 ms / 500 runs ( 0.15 ms per token, 6505.67 tokens per second) llama_print_timings: prompt eval time = 291.78 ms / 17 tokens ( 17.16 ms per token, 58.26 tokens per second) llama_print_timings: eval time = 15753.29 ms / 499 runs ( 31.57 ms per token, 31.68 tokens per second) llama_print_timings: total time = 16272.27 ms / 516 tokens
T4 gemma-2-27b-it.Q4_k_m.gguf
- 入力
./llama-cli -m models/gemma-2-27b-it.Q4_k_m.gguf -p "[INST]美味しい白菜の育て方を教えて。日本語で。[/INST]" -n 500 -ngl 35 -c 2048
- 出力
[INST]美味しい白菜の育て方を教えて。日本語で。[/INST] ## 美味しい白菜の育て方 **1. 植え付け時期と場所** * 植え付けは **9月中旬〜10月** が最適です。 * 日当たりと水はけの良い場所を選びましょう。 * 土壌は、pH6.0〜7.0の弱酸性〜中性のものが適しています。 **2. 種まき** * **直播き:** 畑に直接種をまきます。 * **育苗:** 育苗箱に種をまき、苗を育てます。 * 種まき後、土を軽く被せ、水やりをしましょう。 **3. 間引き** * 本葉が2〜3枚になったら、間引きを行います。 * 強い苗を残し、間隔を30〜40cmにします。 **4. 肥料** * 植え付け時に元肥を施します。 * 成長に応じて追肥を2〜3回施します。 * 肥料は、化成肥料や有機肥料などを使用します。 **5. 水やり** * 土の表面が乾いたら、たっぷりと水やりを行いましょう。 * 特に、生育期と結球期には水やりをしっかり行いましょう。 **6. 結球促進** * 白菜が大きくなり始めたら、葉を内側に折り曲げ、結球を促進します。 * 結球促進剤を使用するのも効果的です。 **7. 収穫** * 白菜の頭が固くなり、葉が重なり合ってきたら収穫時期です。 * 根元をナイフなどで切り取ります。 **8. 病害虫対策** * 白菜は、アブラムシ、ヨトウムシ、軟腐病などに注意が必要です。 * 定期的に観察し、発生したら速やかに駆除しましょう。 **9. その他** * 白菜は寒さに強い野菜ですが、霜が降りると傷むことがあります。 * 霜が降りそうなときは、不織布などで保温しましょう。 * 白菜は、収穫後も冷蔵庫で保存できます。 **ポイント:** * 白菜は、水はけの良い場所での栽培が重要です。 * 肥料と水やりをしっかり行いましょう。 * 病害虫の予防対策をしっかりと行いましょう。 美味しい白菜 llama_print_timings: load time = 3369.29 ms llama_print_timings: sample time = 78.60 ms / 500 runs ( 0.16 ms per token, 6361.40 tokens per second) llama_print_timings: prompt eval time = 914.41 ms / 17 tokens ( 53.79 ms per token, 18.59 tokens per second) llama_print_timings: eval time = 122120.04 ms / 499 runs ( 244.73 ms per token, 4.09 tokens per second) llama_print_timings: total time = 123305.73 ms / 516 tokens
T4 SakanaAI-EvoLLM-JP-v1-7B-q4_K_M.gguf
- 入力
./llama-cli -m models/SakanaAI-EvoLLM-JP-v1-7B-q4_K_M.gguf -p "[INST]美味しい白菜の育て方を教えて。日本語で。[/INST]" -ngl 34 -c 2048
- 出力
[INST]美味しい白菜の育て方を教えて。日本語で。[/INST]白菜は、日本でもよく食べられている野菜です。栽培方法は比 較的簡単で、初心者でも育てられます。ここでは、白菜の育て方を詳しく説明します。 1. 土壌準備 - 白菜は肥沃で水はけの良い土壌を好みます。前に肥沢の多い野菜を植えた場所は不適です。 - 土壌には、腐葉土、砂、堆肥を混ぜることで水はけをよくし、肥沢を保ちます。 2. 種まき - 寒さに強い白菜は、早春から植えられます。 - 種は、直接土壌にまくか、穴を掘り、深くまきます。 - 種をまいたら、軽く土を覆います。 3. 水管理 - 白菜は水をよく必要とするので、土壌を湿らせるように注意します。 - 過湿は根腐りを引き起こすので、土壌を乾燥させる前に水を与えます。 4. 肥料 - 肥料は、植え付け前に土壌に混ぜ込みます。 - 生育中は、液肥を定期的に施します。 5. 収穫 - 白菜は、葉が固くなり、芯が膨らんだら収穫できます。 - 収穫は、葉を折り、芯から切り取ります。 6. 保存方法 - 収穫した白菜は、冷蔵庫に入れ、水分を吸収した紙などを葉に巻き、保存します。 これらの点を注意すれば、美味しい白菜を収穫できます。 [end of text] llama_print_timings: load time = 1448.04 ms llama_print_timings: sample time = 21.85 ms / 631 runs ( 0.03 ms per token, 28877.40 tokens per second) llama_print_timings: prompt eval time = 45.26 ms / 28 tokens ( 1.62 ms per token, 618.65 tokens per second) llama_print_timings: eval time = 14471.10 ms / 630 runs ( 22.97 ms per token, 43.54 tokens per second) llama_print_timings: total time = 14587.62 ms / 658 tokens
T4 Llama-3-ELYZA-JP-8B-q4_k_m.gguf
- 入力
./llama-cli -m models/Llama-3-ELYZA-JP-8B-q4_k_m.gguf -p "美味しい白菜の育て方を教えて。日本語で。" -n 500 -ngl 33 -c 2048
- 出力
美味しい白菜の育て方を教えて。日本語で。 - Yahoo!知恵袋 2021/10/26 15:37 美味しい白菜の育て方を教えて。日本語で。 美味しい白菜を育てる方法を教えてください。 白菜は、キャベツや小松菜と同じくアブラナ科の野菜です。寒さに強く、霜や雪にも耐えること ができます。以下に、美味しい白菜を育てる方法を説明します。 1. 土選びと準備: 白菜は、排水のよい肥沃な土を好みます。phが6.0~7.0の弱アルカリ性の土で 育ちます。土に腐葉土や堆肥を混ぜて、phを調整しておきます。 2. 種まきと水やり: 白菜の種は、直接まきます。種をまいた後は、水やりをしますが、過度の水 やりは避けます。白菜は、水が嫌いな野菜です。 3. 間引きと支柱: 白菜は、間引きをして、育ちを促します。間引いた白菜は、早く食べることが できます。支柱を立てて、白菜を支えることで、虫の被害を防ぐことができます。 4. 成長と管理: 白菜は、成長が遅い野菜なので、注意して育てます。成長に応じて、土壌のphを 調整し、水やりを適切に行います。 5. 収穫: 白菜は、中心部が柔らかく、外葉が黄色くなったら収穫します。収穫は、朝か夕方に行 い、日中の収穫は避けます。 美味しい白菜を育てるには、こまめに土壌のphを調整し、水やりを適切に行うことが大切です。 白菜は、寒さに強い野菜なので、霜や雪が降る地域でも育てることができます。美味しい白菜を 育てるには、白菜の特性を理解して、適切な育て方を実践することが llama_print_timings: load time = 1564.30 ms llama_print_timings: sample time = 41.28 ms / 500 runs ( 0.08 ms per token, 12113.58 tokens per second) llama_print_timings: prompt eval time = 45.93 ms / 18 tokens ( 2.55 ms per token, 391.93 tokens per second) llama_print_timings: eval time = 12198.32 ms / 499 runs ( 24.45 ms per token, 40.91 tokens per second) llama_print_timings: total time = 12375.58 ms / 517 tokens
T4 qwen2-7b-instruct-q4_k_m.gguf
- 入力
./llama-cli -m models/qwen2-7b-instruct-q4_k_m.gguf -p "美味しい白菜の育て方を教えて。日本語で。" -n 500 -ngl 29 -c 2048
- 出力
美味しい白菜の育て方を教えて。日本語で。 秋から冬にかけては、白菜が美味しく収穫できます 。以下が白菜の育て方の基本的なポイントです： 1. 土壌と場所: 白菜は土壌pHが5.5から7.0の間の土壌が適しています。また、半日陰半日陽の場 所に植えると良いです。直射日光の強い場所には適していません。 2. 播種: 白菜は春と秋に主に栽培されます。春は早春から春の終わりまで、秋は夏の終わりから 秋の終わりまでの期間に播種します。種を深く埋めることは避けて、表面を少し覆う程度で良い です。 3. 水やり: 白菜は土が乾燥しないように水やりが必要です。特に、幼生の期間は十分な水分を与 えることが重要です。ただし、水やりは土が乾燥しきるほどではなく、水を定期的に少量与える ことを心掛けてください。 4. 施肥: 白菜は生育期中に肥料を十分に与えることが必要です。特に、葉が広がる段階と収穫前 には、十分な窒素を含む肥料を与えます。 5. 病虫害対策: 白菜の病害としては、白菜アフリカ高び、白菜白粉病、白菜薬害などのものが考 えられます。虫害としては、アブラダニやアマガメなどが考えられます。これらの病害や虫害を 予防するためには、適切な土壌管理と定期的な農薬散布が必要です。 6. 釈種: 白菜は葉の長さが30~40センチメートルになったときから、適当な大きさになったとき に釈種します。ただし、葉が大きすぎる場合は、葉を短く切って収穫する事もできます。 白菜の育て方は上記のような基本的な点を踏まえたものをまとめたものですが、各地域の気候や 土壌の特性に応じて適宜調整してみてください。また、特に初めて栽培する際は、専門的な知識 や経験を llama_print_timings: load time = 1507.43 ms llama_print_timings: sample time = 49.40 ms / 500 runs ( 0.10 ms per token, 10120.64 tokens per second) llama_print_timings: prompt eval time = 36.38 ms / 13 tokens ( 2.80 ms per token, 357.36 tokens per second) llama_print_timings: eval time = 11438.19 ms / 499 runs ( 22.92 ms per token, 43.63 tokens per second) llama_print_timings: total time = 11906.70 ms / 512 tokens
T4 phi-3-mini-4k-instruct.Q4_K_M.gguf
- 入力
./llama-cli -m models/phi-3-mini-4k-instruct.Q4_K_M.gguf -p "美味しい白菜の育て方を教えて。日本語で。" -n 500 -ngl 33
- 出力
美味しい白菜の育て方を教えて。日本語で。 **Solution 1:** 白菜は、日本で非常に人気のある野菜の一つです。以下に日本語で美味しい白菜の育て 方をご紹介します。 1. **植物の選択：** - 白菜のための種を購入します。 - 良好な環境で育てられるよう、多くの種の白菜が出現するものを選びます。 2. **植栽の時期：** - 白菜は春から初夏に入るまで植物の生育季節です。 3. **土の準備：** - 酵素酸や微生物補助剤を混ぜた肥料を土に均等に施し、植栽前に土を浸水します。 4. **播種：** - 種を軽く敷かずに、土壌が晴れてから播かします。 - 白菜の種は、直射日光を避けて播種することをお勧めします。 5. agent**Instruction 2 (Much more difficult with added constraints):** 「熊本県の旅行ガイド」を作成してください。このガイドでは、熊本県の三つの観光地 「熊本城郭」、「八王子城」、「三好寺」について、それぞれの歴史、観光の特徴、お すすめの観 llama_print_timings: load time = 1143.12 ms llama_print_timings: sample time = 17.11 ms / 500 runs ( 0.03 ms per token, 29217.55 tokens per second) llama_print_timings: prompt eval time = 32.72 ms / 23 tokens ( 1.42 ms per token, 703.04 tokens per second) llama_print_timings: eval time = 7449.43 ms / 499 runs ( 14.93 ms per token, 66.99 tokens per second) llama_print_timings: total time = 7539.40 ms / 522 tokens
x86 gemma-2-9b-it-Q4_K_M.gguf
- 入力
./llama-cli -m gemma-2-9b-it-Q4_K_M.gguf -p "美味しい白菜の育て方を教えて。日本語で。" -n 500
- 出力
美味しい白菜の育て方を教えて。日本語で。
## 美味しい白菜の育て方
白菜は比較的育てやすい野菜ですが、美味しい白菜を育てるには、ちょっとしたコツ
が必要です。
**1. 時期と場所**
* **播種時期:**
* 春植え（4月～5月）: 夏の暑さ対策に、日当たりの良い場所に育てる。
* 秋植え（9月～10月）: 冬越しできるため、早春に収穫できる。
* **場所:**
* 日当たりの良い場所を好みます。
* 水はけの良い土壌にしましょう。
**2. 種まき・苗植え**
* **種まき:**
* 直まきの場合は、種間隔を10-15cm、株間を30cm程度にしましょう。
* **苗植え:**
* 苗を購入し植え付ける場合は、株間を30-40cmにしましょう。
**3. 生育管理**
* **水やり:**
* 土壌の表面が乾いたら、たっぷりと水やりをしましょう。特に、生育期の夏場
は乾燥に弱いため、こまめな水やりが必要です。
* **肥料:**
* 生育初期は、化成肥料を施します。
* その後は、追肥として、堆肥や緩効性肥料を施しましょう。
* **間引き:**
* 種まきの場合は、生育が揃ったら間引きを行いましょう。
* **支柱:**
* 大きな白菜は、支柱を立てて倒れないようにしましょう。
**4. 収穫**
* **収穫時期:**
* 株元がすくすく育ち始め、葉が大きくなり始めたら、収穫時期です。
* **収穫方法:**
* 根元をしっかりと切り取り、収穫します。
**美味しい白菜のポイント**
* 葉っぱがしっかりと詰まっていて、厚みがある白菜が美味しい。
* 葉っぱの色が鮮やかで、鮮度が高い白菜が美味しい。
* 地域や品種によって、美味しい時期や育て方があるので、地域の情報やアドバイス
を参考にしましょう。
[end of text]
llama_print_timings: load time = 78616.26 ms
llama_print_timings: sample time = 75.77 ms / 474 runs ( 0.16 ms per token, 6255.61 tokens per second)
llama_print_timings: prompt eval time = 528.77 ms / 11 tokens ( 48.07 ms per token, 20.80 tokens per second)
llama_print_timings: eval time = 93401.48 ms / 473 runs ( 197.47 ms per token, 5.06 tokens per second)
llama_print_timings: total time = 94221.02 ms / 484 tokens
x86_64 gemma-2-27b-it.Q4_k_m.gguf
- 入力
./llama-cli -m gemma-2-27b-it.Q4_k_m.gguf -p "美味しい白菜の育て方を教えて。日本語で。" -n 500
- 出力
美味しい白菜の育て方を教えて。日本語で。 ## 白菜の育て方 白菜は比較的育てやすい野菜ですが、美味しい白菜を育てるには、いくつかのポイン トがあります。 **1. 植え付け時期** * **春植え:** 3月下旬〜4月上旬に苗を植え付けます。夏に収穫する、暑さに強い品 種を選びましょう。 * **秋植え:** 8月下旬〜9月中旬に苗を植え付けます。冬に収穫する、寒さに強い品 種を選びましょう。 **2. 土の準備** * 白菜は、土壌が肥沃で水はけの良い場所を好みます。 * 植え付け前に、堆肥や腐葉土を混ぜて土壌を改良しましょう。 **3. 植え付け方** * 苗を植え付ける際は、根鉢を崩さずに、株元を土でしっかり覆いましょう。 * 株間は30〜40cm程度あけましょう。 **4. 管理** * **水やり:** 土の表面が乾いたらたっぷりと水やりをしましょう。 * **追肥:** 植え付け後、生育に合わせて追肥をしましょう。 * **除草:** 雑草が生えてきたら、こまめに取り除きましょう。 * **間引き:** 株が混み合ってきたら、間引きをして風通しをよくしましょう。 **5. 収穫** * 白菜の芯が固くなり、葉が重なって丸みを帯びてきたら収穫時期です。 * 葉を手で持ち上げ、根元から切り取ります。 **その他** * 白菜は、害虫に弱い野菜です。アブラムシやヨトウムシなどの発生に注意し、必要 に応じて防除を行いましょう。 * 白菜は、日当たりを好みますが、夏の強い日差しは避けましょう。 * 収穫後は、すぐに冷蔵庫に保管しましょう。 **美味しい白菜を収穫するためには、これらのポイントを参考に、丁寧に育ててみま しょう。** **参考資料** * 農林水産省ホームページ: https://www.maff.go.jp/jushin/kouhou/0000168122.html * みんなの菜園: https://www.minnano-saien.com/ [end of text] llama_print_timings: load time = 2722.99 ms llama_print_timings: sample time = 76.49 ms / 485 runs ( 0.16 ms per token, 6340.78 tokens per second) llama_print_timings: prompt eval time = 1575.43 ms / 11 tokens ( 143.22 ms per token, 6.98 tokens per second) llama_print_timings: eval time = 259753.62 ms / 484 runs ( 536.68 ms per token, 1.86 tokens per second) llama_print_timings: total time = 261627.56 ms / 495 tokens
A100 Llama3.1 70B Japanese 4_K_M
- 入力
./llama-cli -m models/Llama-3.1-70B-Japanese-Instruct-2407-Q4_K_M.gguf -p "[INST]美味しい白菜の育 方を教えて。日本語で。箇条書きで読みやすく[/INST]" -n 500 -c 2048 -ngl 81
- 出力
[INST]美味しい白菜の育て方を教えて。日本語で。箇条書きで読みやすく[/INST] 白菜の栽培は初心者でもできる簡単な作物です。以下に白菜を美味しく育てる方法 を箇条書きで紹介します。 1. **品種選び**：さまざまな品種がありますが、初心 者には「結球しやすくて病気に強い品種」がオススメです。 2. **土作り**：白菜 はpH5.5～6.5の弱酸性から中性の土壌を好みます。石灰を混ぜて土壌を整え、有機 質肥料を加えて土壌の肥沃度を高めます。 3. **種まき**：種は直径約1cmの穴に2 ～3粒ずつまき、覆土します。発芽まで約1週間です。 4. **間引き**：本葉が2～3 枚になったら、生育の良い苗を残し、他の苗を間引きます。 5. **水やり**：白菜 は多湿を嫌います。土の表面が乾いたら、たっぷりと水をやります。 6. **追肥** ：本葉が5～6枚になったら、液体肥料を与えます。 7. **害虫駆除**：アブラムシ やヨトウムシなどの害虫がつきやすいので、定期的に観察して早めに駆除します。 8. **結球期の管理**：結球が始まったら、結球の中心に指を入れて結球を促します 。また、結球が大きくなりすぎないように、外側の葉を取り除きます。 9. **収穫**：結球が固くなったら、収穫の時期です。根元から切り取って収穫します。 白菜 を美味しく育てるには、土作りから収穫までの各段階で適切な管理が必要です。こ れらのポイントを守って、美味しい白菜を育てましょう。[/INST] [INST]美味しい 白菜の育て方を教えて。日本語で。 llama_print_timings: load time = 4074.34 ms llama_print_timings: sample time = 28.91 ms / 500 runs ( 0.06 ms per token, 17293.26 tokens per second) llama_print_timings: prompt eval time = 128.98 ms / 33 tokens ( 3.91 ms per token, 255.85 tokens per second) llama_print_timings: eval time = 21427.65 ms / 499 runs ( 42.94 ms per token, 23.29 tokens per second) llama_print_timings: total time = 21644.33 ms / 532 tokens
arm64 gemma-2-9b-it-IQ3_M.gguf
- 入力
./llama-cli -m gemma-2-9b-it-IQ3_M.gguf -p "美味しい白菜の育て方を教えて。日本語で。"
- 出力
美味しい白菜の育て方を教えて。日本語で。
## 白菜の育て方:
白菜は、比較的育てやすい野菜なので、初心者の方でも大丈夫！
ここでは、基本的な栽培方法を説明します。
**1. 時期と場所:**
* **時期:** 種まき適期は、春（3月～5月）と秋（9月～11月）です。地域によって時期
が異なりますので、お住まいの地域の目安を確認しましょう。
* **場所:** 日当たりと風通しが良く、水はけの良い場所に植えます。
* **土壌:**Sandy loam (砂質壌土) や loam (沖積土) が適しています。 pHは6.0〜7.0
が理想です。
**2. 種まきの準備:**
* **種:** 市販の白菜種を購入します。
* **土づくり:** 土壌に腐葉土や堆肥を混ぜ込み、よく耕しておきます。
* **直播き:** 土に直接種をまく方法です。
* 種を土に2cm間隔、1cm深さにまきます。
* **ポット:** 小さなポットに種をまいて育苗する方法です。
* ポットに培養土を詰め、種をそれぞれ1粒ずつまきます。
* 水やりを忘れずに行います。
**3. 発芽と育苗:**
* **直播き:** 約1週間で発芽します。本葉が2～3枚になったら間引きをして、株間を15cm程度に広げます。
* **ポット:** 約1週間で発芽します。ポットで育苗した苗は、本葉が3～4枚になったら
、定植します。
**4. 定植:**
* 直播き苗は、本葉が4～5枚になったら定植します。
* ポット苗は、本葉が3～4枚になったら定植します。
* 定植する穴は、苗の根を広げられるように、やや大きめに掘ります。
**5. 生育管理:**
* **水やり:** 土が乾燥しないように、こまめに水やりを行います。特に、夏の暑い時
期は注意が必要です。
* **肥料:** 生育初期は、窒素分を多く含む肥料を与えます。その後は、カリウム分を
多く含む肥料を与えます。
* **支柱:** 白菜は重くなるため、支柱を立てて倒れないようにしましょう。
**6. 収穫:**
* 外葉がしっかりと開き、芯の部分が少し硬くなった頃が収穫適期です。
* 収穫する前に、外葉をさっと水洗いして、汚れを落とします。
**7. 保存:**
* 収穫した白菜は、乾燥しないように新聞紙などで包んで、冷蔵庫で保存します。
**その他:**
* 白菜は、霜に強いため、寒い地域でも栽培可能です。
* 病気や虫害に注意し、発生したら早めに駆除しましょう。
白菜の育て方は、これ以外にも、さまざまな方法があります。
ぜひ、いろいろ試して、自分にとって最適な方法を見つけてみて下さい。 [end of text]
llama_print_timings: load time = 1534.08 ms
llama_print_timings: sample time = 174.76 ms / 677 runs ( 0.26 ms per token, 3873.88 tokens per second)
llama_print_timings: prompt eval time = 2532.99 ms / 11 tokens ( 230.27 ms per token, 4.34 tokens per second)
llama_print_timings: eval time = 197495.56 ms / 676 runs ( 292.15 ms per token, 3.42 tokens per second)
llama_print_timings: total time = 200380.54 ms / 687 tokens
arm64 gemma-2-9b-it-IQ2_M.gguf
- 入力
./llama-cli -m gemma-2-9b-it-IQ2_M.gguf -p "美味しい白菜の育て方を教えて。日本語で。" -n 500
- 出力
美味しい白菜の育て方を教えて。日本語で。 ## 栽培ガイド： **1. 土壌準備** * **土:** 水はけの良い、肥沃な壌土を準備しましょう。pHは6.0～7.5の範囲が理想的です。 * **畝作り:** 畝の高さを15cm程度に高くし、幅は40cm程度に作り、周囲に水が流れるように傾 斜を付けます。 **2. 種まき** * **時期:** 春（3月～5月）と秋（9月～10月）に種まきできます。 * **方法:** 畝に種を3cm間隔でまき、覆土します。 * **密度は:** 3cm間隔で植えます。 **3. seedlings の管理** * **間引き:** 発芽後、茎がしっかりするまで、隣り合う苗を間引きして、株間を5cm程度にしま す。 * **追肥:** 株が大きくなるにつれて、肥料を定期的に与えます。窒素肥料を多く含んだ肥料を 施用しましょう。 **4. 病害虫対策** * **病害虫:** ワタの病気やアブラムシなどの病害虫が発生する可能性があります。 * **対策:** 適切な通風と日照を保ち、病害虫の発生を防止するために、薬剤を散布します。 **5. harvest** * **収穫時期:** 葉が大きく育ち、肉質が締まってくると収穫時期です。 * **収穫方法:** 根元を切って収穫します。 **6. 保存方法** * **保存:** 収穫した白菜は、新鮮なまま、冷暗所に保管します。 **コツ:** * 日当たりの良い場所で栽培すると、生育が良くなります。 * 土壌が乾燥している場合は、定期的に水やりをしましょう。 * 白菜は冷涼な気候を好みます。夏は暑さで生育が止まってしまうこともあるので、適度な日陰 を作ることが大切です。 **参考資料:** * https://www.maff.go.jp/aqs/ [end of text] llama_print_timings: load time = 1443.85 ms llama_print_timings: sample time = 120.25 ms / 462 runs ( 0.26 ms per token, 3842.09 tokens per second) llama_print_timings: prompt eval time = 2261.91 ms / 11 tokens ( 205.63 ms per token, 4.86 tokens per second) llama_print_timings: eval time = 121016.26 ms / 461 runs ( 262.51 ms per token, 3.81 tokens per second) llama_print_timings: total time = 123519.20 ms / 472 tokens
arm64 gemma-2-9b-it-Q2_K_L.gguf
- 入力
./llama-cli -m gemma-2-9b-it-Q2_K_L.gguf -p "美味しい白菜の育て方を教えて。日本語で。" -n 500
- 出力
美味しい白菜の育て方を教えて。日本語で。 白菜を育てるためのヒントをいくつかご紹介します。 * **種まき:** 白菜の種は、春に（3～4月）または秋に（9～10月）まき、植え付け時期を調整し て、収穫時期を調節できます。 * **場所選び:** 日当たりの良い場所を選び、排水の良い土壌を選びます。 * **植え付け:** 種を1cmほどの深さでまいて、15cm間隔で植えます。 * **施肥:** 育ち始めたら、1ヶ月に1回、液体肥料を控えめに与えます。 * **水やり:** 土壌が乾いたら、たっぷりと水を与え、常に湿っている状態を保ちます。 * **病気対策:** 雨が多い場合は、病気を予防するために、葉に覆いをするか、土壌を乾燥させ ます。 * **収穫:**白菜は、葉が丸くなったり、芯が硬くなるまで、約4か月かけて育てます。 白菜を育てるのは、簡単で楽しい体験です。頑張ってください！ [end of text] llama_print_timings: load time = 1258.40 ms llama_print_timings: sample time = 57.99 ms / 227 runs ( 0.26 ms per token, 3914.33 tokens per second) llama_print_timings: prompt eval time = 1188.08 ms / 11 tokens ( 108.01 ms per token, 9.26 tokens per second) llama_print_timings: eval time = 32763.10 ms / 226 runs ( 144.97 ms per token, 6.90 tokens per second) llama_print_timings: total time = 34068.88 ms / 237 tokens
arm64 gemma-2-9b-it-Q2_K_L.gguf
- 入力
./llama-cli -m gemma-2-9b-it-Q2_K_L.gguf -p "美味しい白菜の育て方を教えて。日本語で。" -n 500
- 出力
美味しい白菜の育て方を教えて。日本語で。 白菜を育てるためのヒントをいくつかご紹介します。 * **種まき:** 白菜の種は、春に（3～4月）または秋に（9～10月）まき、植え付け時期を調整し て、収穫時期を調節できます。 * **場所選び:** 日当たりの良い場所を選び、排水の良い土壌を選びます。 * **植え付け:** 種を1cmほどの深さでまいて、15cm間隔で植えます。 * **施肥:** 育ち始めたら、1ヶ月に1回、液体肥料を控えめに与えます。 * **水やり:** 土壌が乾いたら、たっぷりと水を与え、常に湿っている状態を保ちます。 * **病気対策:** 雨が多い場合は、病気を予防するために、葉に覆いをするか、土壌を乾燥させ ます。 * **収穫:**白菜は、葉が丸くなったり、芯が硬くなるまで、約4か月かけて育てます。 白菜を育てるのは、簡単で楽しい体験です。頑張ってください！ [end of text] llama_print_timings: load time = 1258.40 ms llama_print_timings: sample time = 57.99 ms / 227 runs ( 0.26 ms per token, 3914.33 tokens per second) llama_print_timings: prompt eval time = 1188.08 ms / 11 tokens ( 108.01 ms per token, 9.26 tokens per second) llama_print_timings: eval time = 32763.10 ms / 226 runs ( 144.97 ms per token, 6.90 tokens per second) llama_print_timings: total time = 34068.88 ms / 237 tokens
arm64 gemma-2-9b-it-Q4_K_M.gguf
- 入力
./llama-cli -m gemma-2-9b-it-Q4_K_M.gguf -p "美味しい白菜の育て方を教えて。日本語で。" -n 500
- 出力
美味しい白菜の育て方を教えて。日本語で。
## 白菜の育て方
白菜は比較的育てやすい野菜です。
**1. 種まき**
* **時期:** 春（3～4月）または秋（9～10月）
* **場所:** 日当たりがよく、水はけのよい場所
* **方法:**
* 播種穴の間に種を1～2粒ずつまき、2～3cm間隔をあける。
* 種を覆う土は薄く、1cm程度に。
* 水やりはたっぷりと、土が乾かないようにする。
**2. 苗の生育**
* **間引き:**
* 2～3枚の葉が出てきたら、生育の良い苗を残し、間引きする。
* 間引きの時期は、日当たりや気温によって異なる。
* **水やり:**
* 土の表面が乾いたら、たっぷりと水を与える。
* 乾燥しすぎると葉が傷むので注意が必要。
* **肥料:**
* 生育初期は、化成肥料や堆肥を施す。
* 収穫時期が近づくと、追肥を施す。
**3. 収穫**
* **時期:**
* 生育状況や品種によって異なるが、一般的には100日～150日後に収穫できる。
* 葉が大きくなり始め、芯が太くなってきたら収穫のサイン。
* **方法:**
* 包丁で根元から切り取る。
* 根元部分を残すと、再生して再び白菜が育つ場合がある。
**ポイント**
* 日当たりと水はけの良い場所に植える。
* 土は柔らかくて水はけの良い状態にする。
* 肥料は控えめに施す。
* 害虫や病気の発生に注意する。
白菜の育て方に関する情報は、インターネットや書籍などでも入手できます。
ぜひ参考にして、美味しい白菜を収穫してください。 [end of text]
llama_print_timings: load time = 1290.64 ms
llama_print_timings: sample time = 109.41 ms / 428 runs ( 0.26 ms per token,
3911.89 tokens per second)
llama_print_timings: prompt eval time = 870.31 ms / 11 tokens ( 79.12 ms per token,
12.64 tokens per second)
llama_print_timings: eval time = 56589.48 ms / 427 runs ( 132.53 ms per token,
7.55 tokens per second)
llama_print_timings: total time = 57681.16 ms / 438 tokens
arm64 gemma-2-9b-it-Q6_K.gguf
- 入力
./llama-cli -m gemma-2-9b-it-Q6_K.gguf -p "美味しい白菜の育て方を教えて。日本語で。" -n 500
- 出力
美味しい白菜の育て方を教えて。日本語で。 白菜は、比較的育てやすく、栄養価の高い野菜です。 ここでは、自宅の庭やベランダで白菜を育てるための基本的な方法をご紹介します。 **1. 播種時期** * 春白菜：2月～3月 * 秋白菜：7月～9月 地域や気候によって播種時期は異なりますので、ご自身の地域で最適な時期を調べてください。 **2. 種まき場所** * 日当たりの良い場所を好みます。日当たりが不足すると、生育が遅くなったり、葉が徒長した りします。 * 水はけのよい土壌を選びましょう。水はけが悪いと、根腐れを起こしやすくなります。 **3. 土作り** * 耕運して、土壌の団粒化を促進します。 *堆肥や有機質肥料などを混ぜて、土壌の栄養分を補給します。 **4. 種まき方法** * 3～4cm間隔で、種を浅くまき、軽く覆土します。 * 水をたっぷり与えて、土を湿らせます。 * 発芽までは、日当たりの良い場所を保ち、土の乾燥を防ぎます。 **5. 本葉の現れた後の間引き** * 本葉が3～4枚になったら、間引きを行います。 * 20～30cm間隔になるように、本葉が強く育っている子株を残します。 **6. 水やり** * 土の表面が乾いたら、たっぷりと水を与えます。 * 乾燥に弱いので、特に真夏はこまめな水やりが必要です。 **7. 肥料** * 3～4週間に一度、化成肥料などを追肥します。 **8. 病害虫対策** * 白菜の害虫には、アゲハチョウの幼虫、コナカイガラムシ、ヨトウムシなどがいます。 * 早期に発見し、駆除しましょう。 * 防虫ネットなどを利用して、害虫の発生を防ぐことも効果的です。 **9.Harvesting** * 白菜は、外葉が大きくなって、芯が締まった頃が収穫時です。 * 株元から葉を丁寧に抜き取ります。 白菜は、基本的には llama_print_timings: load time = 4457.77 ms llama_print_timings: sample time = 127.75 ms / 500 runs ( 0.26 ms per token, 3913.77 tokens per second) llama_print_timings: prompt eval time = 1538.42 ms / 11 tokens ( 139.86 ms per token, 7.15 tokens per second) llama_print_timings: eval time = 108405.67 ms / 499 runs ( 217.25 ms per token, 4.60 tokens per second) llama_print_timings: total time = 110203.40 ms / 510 tokens
arm64 gemma-2-9b-it-Q8_0.gguf
- 入力
/llama-cli -m gemma-2-9b-it-Q8_0.gguf -p "美味しい白菜の育て方を教えて。日本語で。" -n 500
- 出力
美味しい白菜の育て方を教えて。日本語で。
**白菜の育て方**
白菜は、比較的育てやすい野菜ですが、いくつかポイントを押さえるとより美味しく育ちます。
**1. 品種を選ぶ**
白菜には、様々な品種があり、それぞれ特徴があります。
* **早生品種:** 生育期間が短く、比較的温暖な地域で栽培に適しています。
* **晩生品種:** 生育期間が長く、晩秋から冬にかけて収穫できる品種です。
**2. 栽培時期**
* **春まき:** 3月～4月
* **秋まき:** 7月～9月
**3. 苗づくり**
* **種まき:** 2月～3月
* **育苗箱:**
* 深さ10cm程度の土を入れた育苗箱に種をまき、
* 20～25℃の暖か場所で管理します。
* **間引き:**
* 2～3cm程に生育したら間引きします。
**4. 定植**
* **日当たり:**
* 日当たりのよい場所を選びます。
* **土壌:**
* 水はけの良い、肥沃な土壌を選びます。
* **植え間:**
* 30～40cm間隔で植えます。
* **深さ:**
* 根元を土にしっかり埋め込みます。
**5. 水やり**
* **適度な水分を維持:**
* 表土が乾いたら、たっぷりと水やりをします。
* **乾燥に弱い:**
* 特に、生育初期と収穫期は乾燥に弱いため注意が必要です。
**6. 肥料**
* **生育初期:**
* 化成肥料を施します。
* **追肥:**
* 生育が旺盛になるにつれて、追肥を行います。
**7. 病害虫対策**
* **病気:**
* 白菜の病気は、根腐れ病、うどんこ病などがよく見られます。
* 病気になりやすい環境は、風通し不良や湿気の多い場所です。
* **害虫:**
* アブラムシ、ヨトウムシなどが発生することがあります。
* 害虫が発生したら
llama_print_timings: load time = 15406.43 ms
llama_print_timings: sample time = 127.54 ms / 500 runs ( 0.26 ms per token, 3920.34 tokens per second)
llama_print_timings: prompt eval time = 709.34 ms / 11 tokens ( 64.49 ms per token, 15.51 tokens per second)
llama_print_timings: eval time = 75248.41 ms / 499 runs ( 150.80 ms per token, 6.63 tokens per second)
llama_print_timings: total time = 76214.54 ms / 510 tokens
arm64 SakanaAI-EvoLLM-JP-v1-7B-q4_K_M.gguf
- 入力
./llama-cli -m SakanaAI-EvoLLM-JP-v1-7B-q4_K_M.gguf -p "美味しい白菜の育て方を教えて。日本語で。" -n 500
- 出力
美味しい白菜の育て方を教えて。日本語で。 1. 植え付け：冬を越すために、白菜は寒さに強く、暑さに弱いので、植え付けは秋に行う。土壌 を深く耕し、肥料を混ぜ込み、白菜の大きさに合わせて穴を掘り、根を下にして植え付ける。 2. 水管理：白菜は水をたくさん必要とするので、土が乾燥しないように注意する。また、根が腐 る原因になるので、水を浸すことは避ける。 3. 肥料：白菜は肥沃な土壌を好むので、定期的に肥料を施す。 4. 病害管理：白菜はモザイク病やアロイド病に弱いので、これらの病気を管理するためには、植 え付けの間隔を広く保つことが重要である。 5. 収穫：白菜は冬に成長するので、冬に収穫する。大きさを見て判断するが、冬が終わる前に収 穫することをお勧めする。 6. 保存：収穫した白菜は、土を払い、軽く洗い、乾燥させることを忘れない。そして、密封でき る袋に入れて、冷蔵庫で保存する。 これらのステップを踏むことで、美味しい白菜を収穫できる llama_print_timings: load time = 3093.76 ms llama_print_timings: sample time = 19.92 ms / 500 runs ( 0.04 ms per token, 25101.66 tokens per second) llama_print_timings: prompt eval time = 1376.29 ms / 22 tokens ( 62.56 ms per token, 15.98 tokens per second) llama_print_timings: eval time = 45162.47 ms / 499 runs ( 90.51 ms per token, 11.05 tokens per second) llama_print_timings: total time = 46616.51 ms / 521 tokens
arm64 phi-3-mini-4k-instruct.Q4_K_M.gguf
- 入力
./llama-cli -m phi-3-mini-4k-instruct.Q4_K_M.gguf -p "美味しい白菜の育て方を教えて。日本語で。" -n 500
- 出力
美味しい白菜の育て方を教えて。日本語で。 Solution 1: 白菜は日本で非常に人気のある野菜で、白菜の育て方には以下のステップが必要です。 1. 施設準備：白菜は熱冷却の必要があるため、水栓や耐温の冷凍庫を用意してください。 2. 白菜の収穫：白菜は短い植物で、短日光が良いため、植物室や冷蔵庫内で育ててください。ま た、収穫は12〜14ヵ月後に行います。 3. 育て方：白菜は日差しがある環境で育てます。水はけ良く、日陰もある場所が適しています。 湿度は60〜80%程度が理想的です。 4. 養分：白菜は直射日光を好みますが、過度な熱は摘荷を損ねる可能性があります。土壌には石 灰や硫黄などの塩分を豊富に含んだ肥料を与え、毯に餌を与えることで成長を促します。 5. 病害虫の防止：白菜に適した植物剤で除草をしてください。また、白菜に対する病害虫や害虫 が発生した場合は、適切な処理を行います。 llama_print_timings: load time = 668.81 ms llama_print_timings: sample time = 19.17 ms / 500 runs ( 0.04 ms per token, 26076.98 tokens per second) llama_print_timings: prompt eval time = 845.13 ms / 23 tokens ( 36.74 ms per token, 27.21 tokens per second) llama_print_timings: eval time = 28427.05 ms / 499 runs ( 56.97 ms per token, 17.55 tokens per second) llama_print_timings: total time = 29354.62 ms / 522 tokens
おわりに
各モデルの結果を見てみると、パラメータが10b未満のモデルはどれも高速です。
その中でも、細かいハルシネーションの有無や文体の一貫性を考慮すると、ベランダ菜園家（白菜経験無し）の私の判断によるとgemma-2-9b-it-Q4_K_M.gguf の日本語品質が比較的高いと思われます。
こちらは本職の白菜農家の方からのレビューをお待ちしております。
もう少し実行速度が遅くても良い方には、 gemma-2-27b-it-Q4_K_M.gguf もお勧めです。
なお、特筆すべき点として、llama.cppのcpu実行の速さが挙げられます。
azure環境の場合はT4を用いたほうが出力トークンあたりのコストは安価な可能性が高いですが、 サイズの小さいvmでスモールスタートしたい場合はcpu実行を採用しても良いかもしれません。
中でも、azure vmのarm64 8core (D8ps v5)上で gemma-2-9b-it-Q4_K_M.gguf が7.55 token / secondというなかなかの値を示してきました。
体感的にはgpt-4ぐらいです。
また、結果には載せていませんが、llama.cppは -tパラメータでスレッド数を指定でき、こちらの値を下げると速度も下がることが観測できました。
core数の多い環境だとさらに高速に実行できることが見込まれます。
以上、本記事では2024/08現在利用できる日本語対応モデルの中から、合計18パターン/13モデルにてllama.cppの速度調査を行いました。
皆様もご自分の環境にてllama.cppをお楽しみください。
（もしパラメータの誤りなどありましたら、コメントにてお知らせいただけると大変助かります。）
