CCCMKホールディングス TECH LABの Tech Blog

TECH LABのエンジニアが技術情報を発信しています

ブログタイトル

2024-01-01から1年間の記事一覧

LLMが物事を判断する時どのように事前知識を利用しているのかを可視化する手法に関する論文を読みました。

こんにちは、CCCMKホールディングスTECH LABの三浦です。 この前初めて訪れた街を朝早起きしてジョギングしたのですが、普段見られない景色や雰囲気を感じられてとても楽しかったです。いつか色々なところを旅して朝走ることを趣味に出来たらいいな、と思い…

Deep Learningモデルの学習で"Out-Of-Memory"が出てしまう理由をDeepSpeedの論文を読んで調べてみました。

こんにちは、CCCMKホールディングス TECH LABの三浦です。 9月になりました。夏から秋に変わる時期で気候もコロコロ変わるので、体調管理をちゃんとしないと・・・と思います。 さて、LLMに限らずDeep LearningモデルをGPUを使って学習していると、「なんで…

Agentに関する論文"A Survey on Large Language Model based Autonomous Agents"を読んでAgentシステムの構成についてまとめてみました。

こんにちは、CCCMKホールディングス TECH LAB三浦です。 8月ももうすぐ終わりですね。日中はまだまだ暑いですが、夜に洗濯物を取り込んでいたら虫の鳴き声が聞こえてきて、夏の終わりだなぁとしみじみとしてしまいました。 "Autonomous Agent(自律型エージェ…

OllamaとLangGraphでローカルLLMによるAgentを作って動かしてみました。

こんにちは、CCCMKホールディングス TECH LABの三浦です。 相変わらず厳しい暑さが続いていますが、朝夕は少しだけ涼しくなってきたように感じます。日中の気温もはやく落ち着くといいなぁと心待ちにしています。 さて、最近はオープンソースのLLMの活用に興…

データサイエンスエキスパートに合格しました

データサイエンスグループの木下です。 この度、データサイエンスエキスパートという資格に合格いたしました。 この資格の説明と、勉強の仕方などに関して、記事を書いていこうと思います。 データサイエンスエキスパートとは 統計検定の試験の一つです。 デ…

LLMの学習用データをMulti-Agentを活用して生成する"AgentInstruct"というテクニックについて調べてみました。

こんにちは、CCCMKホールディングス TECH LABの三浦です。 最近オープンソースのLLMのFine-Tuningにとても可能性を感じていて、色々なことに活用していきたいな、と考えています。ところがFine-Tuning用の学習用データが十分に集まらないことが多く、データ…

llama.cpp各種モデル18パターンの速度比較(Llama 3.1/Gemma 2/Phi-3…, GPU/x86_64/arm64)※おすすめモデル有り

はじめに こんにちは。テックラボの高橋です。 本記事ではllama.cppで実行可能なモデルを片っ端から実行して良さげなモデルを探していきます。 なお、llama.cppの詳細やパラメータ設定については以下の記事をご参照ください。 techblog.cccmkhd.co.jp モデル…

Fine-TuningしたHugging FaceのLLMをllama.cppでGGUFファイルに変換する手順についてまとめてみます。

こんにちは、CCCMKホールディングスTECH LAB三浦です。 先日花火を久しぶりに見ました。遠くから眺めるだけだったのですが、色々な色や形の花火が見られました。花火の形も時代とともに変わっていくのだなぁとしみじみしました。 さて、以前オープンソースの…

DatabricksでLlama3.1 70BのマルチGPU推論を行う

はじめに こんにちは。テックラボの高橋です。 本記事ではDatabricks上でLlama3.1のマルチGPU推論ができるかどうか試していきます。 8Bのモデルだと16G 1枚で実行できてしまうので、あえて70Bのモデルに挑戦してみます。 ※モデル毎の速度比較については下記…

コンテンツに対する反応を生成するLarge Content And Behavior Models(LCBMs)というモデルについて調べてみました。

こんにちは、CCCMKホールディングスTECH LAB三浦です。 「これがなかった時ってどうやって生活していたんだろう」と思うことがあります。先日初めて行った場所でスマートフォンを使って地図を見たり交通機関の時間を調べたりしていたのですが、スマートフォ…

GGUFファイルで保存されたLLMをOllamaで読み込んで使う方法を調べてみました。

こんにちは、CCCMKホールディングスTECH LAB三浦です。 7月中旬に入り、この頃は夏らしい日が増えてきました。特にセミの鳴き声が聞こえると、「夏だなぁ」と感じます。毎年夏になると、何か一つでも思い出に残ることをしたいなぁという気持ちになり、今年は…

“Retrieval-augmented in-context learning”を実現する、DSP(Demonstrate-Search-Predict)の論文を読んでまとめてみました。

こんにちは、CCCMKホールディングスTECH LAB三浦です。 最近ふとしたきっかけで読んでみたコミックがとても面白くて、良い出会いをしたなぁとしみじみと感じています。コミックだけでなく、映画とか音楽もこれまで知らなかったけど触れてみたらとてもお気に…

DSPy入門!RAG Pipelineの最適化を試してみました。

こんにちは、CCCMKホールディングス TECH LAB三浦です。 ここのところ本当に暑い日が続いています。暑いと自分が思っている以上に体に負担がかかっているんだな、と感じます。外に出る時はなるべく日差しを避けて歩くようにしないと、と意識するようになりま…

GPT-4 vision-previewを使ってグラフ画像を整理する方法を考えてみた話。

こんにちは、CCCMKホールディングスTECH LAB三浦です。 最近とても湿気が多いです。家の中もジメジメしてきたのですが、この前風が通り抜けるスポットを家の中に見つけました。そこにいるとひんやりした風が通り抜けて気持ちがいいので、ずっとそこにいます…

Jetson AGX ORINとOllamaでLLMが試せる環境を作ってみた話。

こんにちは、CCCMKホールディングス TECH LAB三浦です。 海外で開催されているカンファレンスの内容が最近は動画でも配信されていて、時間がある時に視聴したりしています。紹介されている最新の技術トピックはもちろんですが、プレゼンのスライドの内容や見…

langchain_huggingfaceを使ってHugging Faceで公開されているLLMを使ったRAGの実装とRagasによる性能評価を試してみました。

こんにちは、CCCMKホールディングスTECH LAB三浦です。 最近AIと英語で会話が出来る英会話アプリを使ってみました。最初は人と直接話す感覚と違い、少し違和感を感じたのですが、慣れてくると気にならなくなり、なんでも気兼ねなく話すことが出来るメリット…

Knowledge-Graph, Ontologyについて調べてみました。

こんにちは、CCCMKホールディングスTECH LAB三浦です。 最近Retrieval-Augmented Generation(RAG)に関する情報を見ていると、ドキュメントデータの格納場所としてVectorDBではなくKnowledge-Graphを使う手法を目にすることが多くなりました。Knowledge-Graph…

RAGを活用してプロンプトエンジニアリングガイドBotを作ってみました

こんにちは、テックラボの矢澤です。 先日、近所のレイトショーで映画を観ました。 思い返すと、映画を一本まるまる通して観たのは久しぶりの経験です。 映画に限らず音楽や本についても、YouTubeや技術雑誌などを短時間で見ることが増え、アルバム全体を通…

Azure AI Studioが一般公開(GA)されたので早速色々使ってみました!

こんにちは、CCCMKホールディングス TECH LABの三浦です。 いつの間にかこの会社に勤めて10年が経っていました。10年前はニューラルネットワークやディープラーニングが少しずつ浸透してきたころで、従来の機械学習とは何が違うのか、といったことを調べてい…

画像生成技術の動向を掴むため最新の画像生成AIの論文を読んでみました。

こんにちは、CCCMKホールディングス TECH LABの三浦です。 自転車を買いました。これで遠いところまで買い物に行ったり、行きたい場所にたくさん行ける、とワクワクしています。 最近生成AIの中でもテキストを生成するAI, LLM周りにずっとかかわってきました…

LLMアプリケーションの開発に便利なPhoenixをご紹介します!

こんにちは、CCCMKホールディングス TECH LABの三浦です。 小さなころに体験したことの中で、なぜか今でもはっきり思い出せることがいくつかあります。自分にとってはその一つが"パンナ・コッタ"というお菓子を初めて食べた時の記憶です。"パンナ・コッタ"と…

RAGのパイプラインを評価するフレームワーク"RAGAS"でテストデータの作成から評価までを行ってみました。

こんにちは、CCCMKホールディングスTECH LAB三浦です。 先日は母の日でした。母の日って海外が発祥のイベントなんですよね。世界ではどんな風に母の日をお祝いしているのか、一度調べてみたいな、と思いました。 Large Language Model(LLM)が学習していない…

LLMによるロールプレイングを実現する「CAMEL: Communicative Agents for “Mind” Exploration of Large Language Model Society」の論文を読みました。

こんにちは、CCCMKホールディングスTECH LAB三浦です。 ゴールデンウィークは昼間夏みたいに暑い日があり、何も知らずに外に出て日差しの強さにびっくりしました。でもあと2か月くらいで本格的な夏がやってくるんですよね。時間が過ぎるのは早いな、としみじ…

Bot FrameworkのPython SDKを使ってAzure OpenAI Serviceを利用したBotアプリを作ってみました。

こんにちは、CCCMKホールディングス TECH LABの三浦です。 この前いつも乗り換えをするだけの駅で降りて駅の周りを歩いてみました。のんびり出来そうな公園や、色々なものが売っている商店街などがあって、こんないいところがあったんだと、なんだか得をした…

LangGraphを使ってマルチエージェントによる会話システムを実装してみました。

こんにちは、CCCMKホールディングス TECH LABの三浦です。 「継続は力なり」という言葉がありますが、私もその通りだと思います。毎日少しずつでいいから続けることが大切なのですが、大切だと分かっていてもなかなか続かないことも多いです・・・。何か一つ…

LangGraphで作ったAgentアプリケーションをChainlitで利用できるようにしました。

こんにちは、CCCMKホールディングスTECH LABの三浦です。 いつの間にか桜が散って、街の中で緑が目立つようになってきました。外に出るのが心地よい時期なので、ベランダでのんびり出来るようにしようとこの前の休みにベランダの掃除をしました。半日くらい…

Azure OpenAI ServiceのChatGPTにBing SearchやPDF検索機能をLangGraphで接続しました。

こんにちは、CCCMKホールディングス TECH LABの三浦です。 最近とあるゲームの自宅専用のサーバーを立てる、ということにチャレンジしてみました。作業は想像よりも複雑ではなくて調べながら進めて上手く稼働させることが出来ました。難しそうだな、と思って…

LangGraphを使ってAgentアプリケーションを作ってみました。

LangGraphを使ってAgentアプリケーションを作ってみました。 こんにちは、CCCMKホールディングス TECH LABの三浦です。 4月になりました。近所の桜の木がようやく開花し、春っぽくなってきたなぁと感じています。桜が咲く頃は何日か雨が続く日があって、いつ…

Chainlitを使ってチャットアプリを作ってみました!

Chainlitを使ってチャットアプリを作ってみました! こんにちは、CCCMKホールディングス TECH LABの三浦です。 先日久しぶりに飛行機に乗りました。当たり前のことなのですが、飛行機を使うと数100キロ離れていてもあっという間に移動することが出来ます。朝…

Multi-Agent Conversationの様々なAgent構成について調べてまとめました。

Multi-Agent Conversationの様々なAgent構成について調べてまとめました。 こんにちは、CCCMKホールディングス TECH LABの三浦です。 卒園式や卒業式のシーズンです。この時期になると自分が大学を卒業して新社会人になった時のことを思い出したりします。当…