CCCMKホールディングス TECH LABの Tech Blog

TECH LABのエンジニアが技術情報を発信しています

ブログタイトル

Agentに関する論文"A Survey on Large Language Model based Autonomous Agents"を読んでAgentシステムの構成についてまとめてみました。

こんにちは、CCCMKホールディングス TECH LAB三浦です。 8月ももうすぐ終わりですね。日中はまだまだ暑いですが、夜に洗濯物を取り込んでいたら虫の鳴き声が聞こえてきて、夏の終わりだなぁとしみじみとしてしまいました。 "Autonomous Agent(自律型エージェ…

OllamaとLangGraphでローカルLLMによるAgentを作って動かしてみました。

こんにちは、CCCMKホールディングス TECH LABの三浦です。 相変わらず厳しい暑さが続いていますが、朝夕は少しだけ涼しくなってきたように感じます。日中の気温もはやく落ち着くといいなぁと心待ちにしています。 さて、最近はオープンソースのLLMの活用に興…

データサイエンスエキスパートに合格しました

データサイエンスグループの木下です。 この度、データサイエンスエキスパートという資格に合格いたしました。 この資格の説明と、勉強の仕方などに関して、記事を書いていこうと思います。 データサイエンスエキスパートとは 統計検定の試験の一つです。 デ…

LLMの学習用データをMulti-Agentを活用して生成する"AgentInstruct"というテクニックについて調べてみました。

こんにちは、CCCMKホールディングス TECH LABの三浦です。 最近オープンソースのLLMのFine-Tuningにとても可能性を感じていて、色々なことに活用していきたいな、と考えています。ところがFine-Tuning用の学習用データが十分に集まらないことが多く、データ…

llama.cpp各種モデル18パターンの速度比較(Llama 3.1/Gemma 2/Phi-3…, GPU/x86_64/arm64)※おすすめモデル有り

はじめに こんにちは。テックラボの高橋です。 本記事ではllama.cppで実行可能なモデルを片っ端から実行して良さげなモデルを探していきます。 なお、llama.cppの詳細やパラメータ設定については以下の記事をご参照ください。 techblog.cccmkhd.co.jp モデル…

Fine-TuningしたHugging FaceのLLMをllama.cppでGGUFファイルに変換する手順についてまとめてみます。

こんにちは、CCCMKホールディングスTECH LAB三浦です。 先日花火を久しぶりに見ました。遠くから眺めるだけだったのですが、色々な色や形の花火が見られました。花火の形も時代とともに変わっていくのだなぁとしみじみしました。 さて、以前オープンソースの…

DatabricksでLlama3.1 70BのマルチGPU推論を行う

はじめに こんにちは。テックラボの高橋です。 本記事ではDatabricks上でLlama3.1のマルチGPU推論ができるかどうか試していきます。 8Bのモデルだと16G 1枚で実行できてしまうので、あえて70Bのモデルに挑戦してみます。 ※モデル毎の速度比較については下記…

コンテンツに対する反応を生成するLarge Content And Behavior Models(LCBMs)というモデルについて調べてみました。

こんにちは、CCCMKホールディングスTECH LAB三浦です。 「これがなかった時ってどうやって生活していたんだろう」と思うことがあります。先日初めて行った場所でスマートフォンを使って地図を見たり交通機関の時間を調べたりしていたのですが、スマートフォ…

GGUFファイルで保存されたLLMをOllamaで読み込んで使う方法を調べてみました。

こんにちは、CCCMKホールディングスTECH LAB三浦です。 7月中旬に入り、この頃は夏らしい日が増えてきました。特にセミの鳴き声が聞こえると、「夏だなぁ」と感じます。毎年夏になると、何か一つでも思い出に残ることをしたいなぁという気持ちになり、今年は…

“Retrieval-augmented in-context learning”を実現する、DSP(Demonstrate-Search-Predict)の論文を読んでまとめてみました。

こんにちは、CCCMKホールディングスTECH LAB三浦です。 最近ふとしたきっかけで読んでみたコミックがとても面白くて、良い出会いをしたなぁとしみじみと感じています。コミックだけでなく、映画とか音楽もこれまで知らなかったけど触れてみたらとてもお気に…

DSPy入門!RAG Pipelineの最適化を試してみました。

こんにちは、CCCMKホールディングス TECH LAB三浦です。 ここのところ本当に暑い日が続いています。暑いと自分が思っている以上に体に負担がかかっているんだな、と感じます。外に出る時はなるべく日差しを避けて歩くようにしないと、と意識するようになりま…

GPT-4 vision-previewを使ってグラフ画像を整理する方法を考えてみた話。

こんにちは、CCCMKホールディングスTECH LAB三浦です。 最近とても湿気が多いです。家の中もジメジメしてきたのですが、この前風が通り抜けるスポットを家の中に見つけました。そこにいるとひんやりした風が通り抜けて気持ちがいいので、ずっとそこにいます…

Jetson AGX ORINとOllamaでLLMが試せる環境を作ってみた話。

こんにちは、CCCMKホールディングス TECH LAB三浦です。 海外で開催されているカンファレンスの内容が最近は動画でも配信されていて、時間がある時に視聴したりしています。紹介されている最新の技術トピックはもちろんですが、プレゼンのスライドの内容や見…

langchain_huggingfaceを使ってHugging Faceで公開されているLLMを使ったRAGの実装とRagasによる性能評価を試してみました。

こんにちは、CCCMKホールディングスTECH LAB三浦です。 最近AIと英語で会話が出来る英会話アプリを使ってみました。最初は人と直接話す感覚と違い、少し違和感を感じたのですが、慣れてくると気にならなくなり、なんでも気兼ねなく話すことが出来るメリット…