CCCMKホールディングス TECH LABの Tech Blog

TECH LABのエンジニアが技術情報を発信しています

ブログタイトル

Hugging Face

Fine-TuningしたHugging FaceのLLMをllama.cppでGGUFファイルに変換する手順についてまとめてみます。

こんにちは、CCCMKホールディングスTECH LAB三浦です。 先日花火を久しぶりに見ました。遠くから眺めるだけだったのですが、色々な色や形の花火が見られました。花火の形も時代とともに変わっていくのだなぁとしみじみしました。 さて、以前オープンソースの…

GGUFファイルで保存されたLLMをOllamaで読み込んで使う方法を調べてみました。

こんにちは、CCCMKホールディングスTECH LAB三浦です。 7月中旬に入り、この頃は夏らしい日が増えてきました。特にセミの鳴き声が聞こえると、「夏だなぁ」と感じます。毎年夏になると、何か一つでも思い出に残ることをしたいなぁという気持ちになり、今年は…

langchain_huggingfaceを使ってHugging Faceで公開されているLLMを使ったRAGの実装とRagasによる性能評価を試してみました。

こんにちは、CCCMKホールディングスTECH LAB三浦です。 最近AIと英語で会話が出来る英会話アプリを使ってみました。最初は人と直接話す感覚と違い、少し違和感を感じたのですが、慣れてくると気にならなくなり、なんでも気兼ねなく話すことが出来るメリット…

Retrieval Augmented Generation(RAG)アーキテクチャをHuggingFaceのモデルで作ってみよう! ~Training編

前回の続きです。今回は赤枠の部分に取り組みます。 こんにちは、CCCMKホールディングス TECH LABの三浦です。 朝早くに外に出ると、なんとなく前に比べたら涼しくなったかも、という気がしました。一時期本当に暑い日が続き、だいぶ身体も堪えたので、涼し…

Retrieval Augmented Generation(RAG)アーキテクチャをHuggingFaceのモデルで作ってみよう! ~Retrieval編

こんにちは、CCCMKホールディングス TECH LABの三浦です。 駅で電車の路線図を眺めていたら、どこかふらっと電車に乗って、今まで行ったことがない駅に行ってみたくなりました。今度休みが取れたら、チャレンジしてみようと思います。 Large Language Models…

Hugging FaceのDatasetsとTransformersで作ったテキスト分類モデルをSHAPで可視化してみました。

こんにちは、CCCMKホールディングス技術開発の三浦です。2月も終わり、明日から3月になります。つい先日、お正月を過ごしていた気がするのですが、あっという間にそれから2か月も経ってしまいました。時間が早く過ぎていくことは決して悪いことではないと思…