CCCMKホールディングス TECH LABの Tech Blog

TECH LABのエンジニアが技術情報を発信しています

ブログタイトル

LLM

GraphRAGを使ったKnowledge-Graphの構築にチャレンジ!

はじめに GraphRAG GraphRAGのKnowledge Graph構築フロー Phase1. Documentの分割 Phase2. Graph情報の生成 Phase3. Graph情報の強化 Community Graph Embedding Phase4. Community情報の要約 Phase5. Documentの処理 Phase6. Graphの可視化 Knowledge Graph…

LLMアプリケーション開発フレームワーク"Haystack"を試してみる。

こんにちは、CCCMKホールディングスTECH LABの三浦です。 最近は手書きのメッセージを送ることが少なくなりましたが、1年に2回、今でも手書きのメッセージを書くのが年末年始の年賀状と敬老の日です。先日久しぶりに手紙を書いたのですが、「頭で書きたい」…

LLMが物事を判断する時どのように事前知識を利用しているのかを可視化する手法に関する論文を読みました。

こんにちは、CCCMKホールディングスTECH LABの三浦です。 この前初めて訪れた街を朝早起きしてジョギングしたのですが、普段見られない景色や雰囲気を感じられてとても楽しかったです。いつか色々なところを旅して朝走ることを趣味に出来たらいいな、と思い…

Agentに関する論文"A Survey on Large Language Model based Autonomous Agents"を読んでAgentシステムの構成についてまとめてみました。

こんにちは、CCCMKホールディングス TECH LAB三浦です。 8月ももうすぐ終わりですね。日中はまだまだ暑いですが、夜に洗濯物を取り込んでいたら虫の鳴き声が聞こえてきて、夏の終わりだなぁとしみじみとしてしまいました。 "Autonomous Agent(自律型エージェ…

llama.cpp各種モデル18パターンの速度比較(Llama 3.1/Gemma 2/Phi-3…, GPU/x86_64/arm64)※おすすめモデル有り

はじめに こんにちは。テックラボの高橋です。 本記事ではllama.cppで実行可能なモデルを片っ端から実行して良さげなモデルを探していきます。 なお、llama.cppの詳細やパラメータ設定については以下の記事をご参照ください。 techblog.cccmkhd.co.jp モデル…

GGUFファイルで保存されたLLMをOllamaで読み込んで使う方法を調べてみました。

こんにちは、CCCMKホールディングスTECH LAB三浦です。 7月中旬に入り、この頃は夏らしい日が増えてきました。特にセミの鳴き声が聞こえると、「夏だなぁ」と感じます。毎年夏になると、何か一つでも思い出に残ることをしたいなぁという気持ちになり、今年は…

DSPy入門!RAG Pipelineの最適化を試してみました。

こんにちは、CCCMKホールディングス TECH LAB三浦です。 ここのところ本当に暑い日が続いています。暑いと自分が思っている以上に体に負担がかかっているんだな、と感じます。外に出る時はなるべく日差しを避けて歩くようにしないと、と意識するようになりま…

Jetson AGX ORINとOllamaでLLMが試せる環境を作ってみた話。

こんにちは、CCCMKホールディングス TECH LAB三浦です。 海外で開催されているカンファレンスの内容が最近は動画でも配信されていて、時間がある時に視聴したりしています。紹介されている最新の技術トピックはもちろんですが、プレゼンのスライドの内容や見…

Knowledge-Graph, Ontologyについて調べてみました。

こんにちは、CCCMKホールディングスTECH LAB三浦です。 最近Retrieval-Augmented Generation(RAG)に関する情報を見ていると、ドキュメントデータの格納場所としてVectorDBではなくKnowledge-Graphを使う手法を目にすることが多くなりました。Knowledge-Graph…

LLMアプリケーションの開発に便利なPhoenixをご紹介します!

こんにちは、CCCMKホールディングス TECH LABの三浦です。 小さなころに体験したことの中で、なぜか今でもはっきり思い出せることがいくつかあります。自分にとってはその一つが"パンナ・コッタ"というお菓子を初めて食べた時の記憶です。"パンナ・コッタ"と…

RAGのパイプラインを評価するフレームワーク"RAGAS"でテストデータの作成から評価までを行ってみました。

こんにちは、CCCMKホールディングスTECH LAB三浦です。 先日は母の日でした。母の日って海外が発祥のイベントなんですよね。世界ではどんな風に母の日をお祝いしているのか、一度調べてみたいな、と思いました。 Large Language Model(LLM)が学習していない…

LLMによるロールプレイングを実現する「CAMEL: Communicative Agents for “Mind” Exploration of Large Language Model Society」の論文を読みました。

こんにちは、CCCMKホールディングスTECH LAB三浦です。 ゴールデンウィークは昼間夏みたいに暑い日があり、何も知らずに外に出て日差しの強さにびっくりしました。でもあと2か月くらいで本格的な夏がやってくるんですよね。時間が過ぎるのは早いな、としみじ…

LangGraphを使ってマルチエージェントによる会話システムを実装してみました。

こんにちは、CCCMKホールディングス TECH LABの三浦です。 「継続は力なり」という言葉がありますが、私もその通りだと思います。毎日少しずつでいいから続けることが大切なのですが、大切だと分かっていてもなかなか続かないことも多いです・・・。何か一つ…

LangGraphを使ってAgentアプリケーションを作ってみました。

LangGraphを使ってAgentアプリケーションを作ってみました。 こんにちは、CCCMKホールディングス TECH LABの三浦です。 4月になりました。近所の桜の木がようやく開花し、春っぽくなってきたなぁと感じています。桜が咲く頃は何日か雨が続く日があって、いつ…

Chainlitを使ってチャットアプリを作ってみました!

Chainlitを使ってチャットアプリを作ってみました! こんにちは、CCCMKホールディングス TECH LABの三浦です。 先日久しぶりに飛行機に乗りました。当たり前のことなのですが、飛行機を使うと数100キロ離れていてもあっという間に移動することが出来ます。朝…

Multi-Agent Conversation Framework "AutoGen"を使ってみました。

Multi-Agent Conversation Framework "AutoGen"を使ってみました。 こんにちは、CCCMKホールディングス TECH LABの三浦です。 日曜日は天気が良くて、近所をのんびり散歩してみました。春は外を歩くのが気持ちがいいです。散歩していると見慣れた近所にもま…

RAGの改善?Fine Tuning?LLMのFine Tuningの使いどころについて調べてみました。

LLM

RAGの改善?Fine Tuning?LLMのFine Tuningの使いどころについて調べてみました。 こんにちは、CCCMKホールディングスTECH LABの三浦です。 なんだか急に暖かくなり、少し戸惑っています。このまま春の陽気になるのかな、と油断するとまた寒い日が来そうな気…

LLMsのチューニング手法"Prompt Tuning"について論文を読んで調べてみました!

LLM

こんにちは、CCCMKホールディングスTECH LABの三浦です。 9月になりました。まだまだ暑い日が続いていますが、9月になると私は"夏は終わったんだな"という気持ちになります。少し寂しい気もしますが、とにかく早く涼しくなってほしいな・・・と思う今日この…

Streamlitでユーザー認証機能を搭載したChatアプリを作ってみました。

ユーザー認証機能付きのChatアプリを作ります! こんにちは、CCCMKホールディングスTECH LAB三浦です。 先日ゆりかもめに乗ってお台場に出かけました。モノレールのゆりかもめから見える景色は開放感があって好きです。今度は一日くらいゆっくり時間を取って…

Retrieval Augmented Generation(RAG)アーキテクチャをHuggingFaceのモデルで作ってみよう! ~Training編

前回の続きです。今回は赤枠の部分に取り組みます。 こんにちは、CCCMKホールディングス TECH LABの三浦です。 朝早くに外に出ると、なんとなく前に比べたら涼しくなったかも、という気がしました。一時期本当に暑い日が続き、だいぶ身体も堪えたので、涼し…

Retrieval Augmented Generation(RAG)アーキテクチャをHuggingFaceのモデルで作ってみよう! ~Retrieval編

こんにちは、CCCMKホールディングス TECH LABの三浦です。 駅で電車の路線図を眺めていたら、どこかふらっと電車に乗って、今まで行ったことがない駅に行ってみたくなりました。今度休みが取れたら、チャレンジしてみようと思います。 Large Language Models…

DeepSpeedのZeRO-Inferenceを使ってV100-16GBの環境で30BのLLMを動かしてみました。

LLM

こんにちは、CCCMKホールディングス TECH LABの三浦です。 この頃はとても暑い日が続いています。年を取るにつれ、だんだん暑いのが苦手になってきたように思います。日差しが強い中外を歩くと、明らかに身体にダメージを受けているような気がします。出来る…

LLMをカスタマイズする方法としてLoRAについて調べてみました。

LLM

こんにちは、CCCMKホールディングス株式会社TECH LAB三浦です。 まだ6月ですが、夏みたいに暑い日がちょこちょこと訪れるようになりました。この時期になると、うちの冷凍庫の中でアイスが占める割合が増えてきます。「3個まとめて買うとお得!」なんていうP…

LangChainを使ってGenerative Agentを試してみる!

LLM

こんにちは、CCCMKホールディングス TECH LABの三浦です。 雨の日が多くなってきました。洗濯物がなかなか乾かなくて困ってしまいます。あっという間に洗濯物が乾くソリューションが何かないかな・・・と考えてしまいます。 前回も触れたのですが、最近こち…

embedding database "Chroma"とLLMを使って記憶に基づいた回答をAgentにさせてみました。

LLM

こんにちは、CCCMKホールディングス TECH LABの三浦です。 私はとても忘れっぽいのですが、何故か何十年経っても覚えていること、思い出せることがあります。すぐ忘れてしまうことと、ずっと覚えていることの違いってなんだろう、と考えてみるのですがよくわ…

LangChainのprompt周りの機能を手を動かしながら理解してみる!

こんにちは、CCCMKホールディングス TECH LABの三浦です。 80年を秒数に表すと、80x365x24x60x60で、約25億になります。2.5billion(2.5b)ですね。大規模言語モデル(LLM)のパラメータ数がよくbillion単位で表現されているので、ちょっと不思議な感覚になりま…

MLflow 2.3で搭載されたLLMの管理機能を試してみました!

こんにちは、CCCMKホールディングス TECH LABの三浦です。 5月はずっと好きなアーティストのアルバムがリリースされたり、楽しみにしていたゲームが発売されたり、うれしいことがたくさんありました。心に栄養を取ってる感じがしました。 先日Databricksのウ…

LLMと様々なデータを繋ぐ"LlamaIndex"の基本的な使い方を調べて使ってみました。

こんにちは、CCCMKホールディングスTECH LABの三浦です。 この前近所で買い物をしていた時にふと空を見上げたら、飛行機が飛んでいるのを見つけました。その後数分くらいでまた次の飛行機が通り過ぎていき、すぐに次の飛行機が通り過ぎていく・・・。飛行機…

LLMに行動と思考のプロセスを与える"ReAct: Reasoning and Acting"について調べてみました。

LLM

こんにちは、CCCMKホールディングスTECH LABの三浦です。 LLMのフレームワークLangChainの使い方を調べていると、"Agent"というとても面白い機能があることを知りました。これはLLMに状況に応じて適切なTool(例えばインターネットで検索したり、Pythonのプロ…

LLMと会話するChat風アプリをLLMの力を借りて作ってみた話。

LLM

こんにちは、CCCMKホールディングスTECH LABの三浦です。 最近目の疲れが気になってきたので、夜寝る前に目の周りをマッサージしたり温めたりしてケアするようにし始めました。あと、寝る15分前はスマートフォンやタブレットを見ないようにする習慣も付ける…