CCCMKホールディングス TECH LABの Tech Blog

TECH LABのエンジニアが技術情報を発信しています

ブログタイトル

トップ > RAG

RAG

RAGの検索精度を上げる"HyDE"の論文を読んでDifyで試してみました。

AI RAG Dify

こんにちは、CCCMKホールディングスAIエンジニアの三浦です。 最近DifyというAIアプリケーション開発プラットフォームについて調べていました。社内の有志のメンバーでDifyについて発表しあう会があり、そこに向けて自分も発表の準備をしていたからです。 テ…

#AI #Dify #RAG

Microsoft GraphRAGの仕組みとPrompt Tuning, Knowledge Graphの可視化までの手順をまとめてみました。

AI RAG GraphRAG

GraphRAGの動作の仕組み Entity/Relationshipの抽出 Knowledge Graphの構築 Communityの生成とReportの生成 Community Reportを使った情報の検索 GraphRAGでKnowledge Graphを生成してみる Knowledge Graphを生成時に使用するPromptのTuning Knowledge Graph…

#AI #RAG #GraphRAG

CCC社内で運用中のチャットボットのご紹介

AI チャットボット RAG LLM Azure AI Search

CCCでは全社で利用される単機能のAIチャットボットと、 その他各種ドキュメント参照機能のついたRAG(Retrieval-Augmented Generation)機能を持った チャットボットを絶賛運用中です。

#AI #チャットボット #RAG #LLM #Azure AI Search

"DeepRAG: Thinking to Retrieval Step by Step for Large Language Models"という論文を読みました。

AI 生成AI LLM RAG

こんにちは、CCCMKホールディングスTECH LABの三浦です。 最近日本の歴史の漫画を読んでいました。子どもの頃は近代～現代の内容は難しい、と感じていたのですが、大人になってから改めて見ると学ぶことがとても多く、考えさせられることがたくさんあるんだ…

#AI #生成AI #LLM #RAG

RAGの手法"RAPTOR"のドキュメントの木構造化を試してみました。

AI 生成AI RAG

こんにちは、CCCMKホールディングス TECH LABの三浦です。 歳を重ねていくと、なんとなく一年の中でのこの時期は特に体調を崩しやすいな、ということが分かってきます。私にとっては今の時期がちょうどその時期で、今年もやっぱり風邪を引いてしまいました。…

#AI #生成AI #RAG

様々な形式のドキュメントからテキスト情報を取得する"Docling"を使ってみる。

AI RAG

こんにちは、CCCMKホールディングス TECH LABの三浦です。 先日チームのメンバーに教えてもらい、試してみたいな・・・と思っていたライブラリを今回試すことが出来ました。"Docling"というライブラリで、PDFなどのファイルから、内容をマークダウンかjsonの…

#AI #Docling #RAG

LangGraphでMap-reduce型のテキスト参照処理を作ってみました。

AI LangGraph LLM RAG

はじめに 参照するドキュメント Graphの構造 実装 ライブラリのインストール GraphのState ルーティング機能の実装 Nodeの実装 並列処理の実行部分 Graphの構築 実行する 課題 まとめ こんにちは、CCCMKホールディングスTECH LABの三浦です。 最近寒いですね…

#AI #LLM #LangGraph #RAG #生成AI

Azure DatabricksでRAG AgentのModel Servingへのデプロイ・モニタリングまでを実装してみる！

AI Azure Databricks LLM RAG

テストからPoCへ RAG Agentの概要 PlaygroundからExportする Vector Indexにクエリ実行するFunctionが動かない・・・ agent Notebookの変更箇所 追加パッケージのインストール configの記述と出力 LLMとToolの定義 driverの変更箇所 追加パッケージのインス…

#Databricks #LLM #Agent #RAG #Azure

Azure DatabricksのVector Searchを使ってRAG Agentを構築してみる。

Databricks AI Agent RAG

DatabricksのModel Servingが楽しい・・・ Vector Search Vector Searchを使ってベクトルデータベースを構築 ブログ⇒テキスト抽出⇒Delta Tableへの格納 Delta Table⇒テキスト分割(chunking)⇒Delta Tableへの格納 埋め込みモデルのModel Serving Endpointの作…

#生成AI #RAG #Databricks #Vector Search

GraphRAGを使ったKnowledge-Graphの構築にチャレンジ！

AI LLM RAG 生成AI

はじめに GraphRAG GraphRAGのKnowledge Graph構築フロー Phase1. Documentの分割 Phase2. Graph情報の生成 Phase3. Graph情報の強化 Community Graph Embedding Phase4. Community情報の要約 Phase5. Documentの処理 Phase6. Graphの可視化 Knowledge Graph…

#AI #生成AI #LLM #RAG

“Retrieval-augmented in-context learning”を実現する、DSP(Demonstrate-Search-Predict)の論文を読んでまとめてみました。

AI RAG

こんにちは、CCCMKホールディングスTECH LAB三浦です。 最近ふとしたきっかけで読んでみたコミックがとても面白くて、良い出会いをしたなぁとしみじみと感じています。コミックだけでなく、映画とか音楽もこれまで知らなかったけど触れてみたらとてもお気に…

#生成AI #in-context learning #Retrieval-Augmented Generation

langchain_huggingfaceを使ってHugging Faceで公開されているLLMを使ったRAGの実装とRagasによる性能評価を試してみました。

AI LangChain Hugging Face RAG

こんにちは、CCCMKホールディングスTECH LAB三浦です。 最近AIと英語で会話が出来る英会話アプリを使ってみました。最初は人と直接話す感覚と違い、少し違和感を感じたのですが、慣れてくると気にならなくなり、なんでも気兼ねなく話すことが出来るメリット…

#生成AI #Hugging Face #LangChain #Retrieval-Augmented Generation

RAGを活用してプロンプトエンジニアリングガイドBotを作ってみました

AI RAG Azure AI Search LangChain Chat GPT プロンプトエンジニアリング

こんにちは、テックラボの矢澤です。 先日、近所のレイトショーで映画を観ました。 思い返すと、映画を一本まるまる通して観たのは久しぶりの経験です。 映画に限らず音楽や本についても、YouTubeや技術雑誌などを短時間で見ることが増え、アルバム全体を通…

#RAG #Azure AI Search #LangChain #Chat GPT #プロンプトエンジニアリング

LLMアプリケーションの開発に便利なPhoenixをご紹介します！

AI LLM RAG

こんにちは、CCCMKホールディングス TECH LABの三浦です。 小さなころに体験したことの中で、なぜか今でもはっきり思い出せることがいくつかあります。自分にとってはその一つが"パンナ・コッタ"というお菓子を初めて食べた時の記憶です。"パンナ・コッタ"と…

#LLM #RAG #Phoenix #LangChain #生成AI

RAGのパイプラインを評価するフレームワーク"RAGAS"でテストデータの作成から評価までを行ってみました。

AI LLM RAG

こんにちは、CCCMKホールディングスTECH LAB三浦です。 先日は母の日でした。母の日って海外が発祥のイベントなんですよね。世界ではどんな風に母の日をお祝いしているのか、一度調べてみたいな、と思いました。 Large Language Model(LLM)が学習していない…

#LLM #RAG

Retrieval-Augmented Generation周辺のテクニックについて調べたのでまとめてみます。

RAG

Retrieval-Augmented Generation周辺のテクニックについて調べたのでまとめてみます。 こんにちは、CCCMKホールディングスTECH LABの三浦です。 今週のお題「急に休みになったら」。はてなブログの今週のお題ですが、私は急に休みになったら電車に乗って行っ…

#RAG