CCCMKホールディングス TECH Labの Tech Blog

TECH Labスタッフによる格闘記録やマーケティング界隈についての記事など

LLM

RAGの改善?Fine Tuning?LLMのFine Tuningの使いどころについて調べてみました。

LLM

RAGの改善?Fine Tuning?LLMのFine Tuningの使いどころについて調べてみました。 こんにちは、CCCMKホールディングスTECH LABの三浦です。 なんだか急に暖かくなり、少し戸惑っています。このまま春の陽気になるのかな、と油断するとまた寒い日が来そうな気…

LLMsのチューニング手法"Prompt Tuning"について論文を読んで調べてみました!

LLM

こんにちは、CCCMKホールディングスTECH LABの三浦です。 9月になりました。まだまだ暑い日が続いていますが、9月になると私は"夏は終わったんだな"という気持ちになります。少し寂しい気もしますが、とにかく早く涼しくなってほしいな・・・と思う今日この…

Streamlitでユーザー認証機能を搭載したChatアプリを作ってみました。

ユーザー認証機能付きのChatアプリを作ります! こんにちは、CCCMKホールディングスTECH LAB三浦です。 先日ゆりかもめに乗ってお台場に出かけました。モノレールのゆりかもめから見える景色は開放感があって好きです。今度は一日くらいゆっくり時間を取って…

Retrieval Augmented Generation(RAG)アーキテクチャをHuggingFaceのモデルで作ってみよう! ~Training編

前回の続きです。今回は赤枠の部分に取り組みます。 こんにちは、CCCMKホールディングス TECH LABの三浦です。 朝早くに外に出ると、なんとなく前に比べたら涼しくなったかも、という気がしました。一時期本当に暑い日が続き、だいぶ身体も堪えたので、涼し…

Retrieval Augmented Generation(RAG)アーキテクチャをHuggingFaceのモデルで作ってみよう! ~Retrieval編

こんにちは、CCCMKホールディングス TECH LABの三浦です。 駅で電車の路線図を眺めていたら、どこかふらっと電車に乗って、今まで行ったことがない駅に行ってみたくなりました。今度休みが取れたら、チャレンジしてみようと思います。 Large Language Models…

DeepSpeedのZeRO-Inferenceを使ってV100-16GBの環境で30BのLLMを動かしてみました。

LLM

こんにちは、CCCMKホールディングス TECH LABの三浦です。 この頃はとても暑い日が続いています。年を取るにつれ、だんだん暑いのが苦手になってきたように思います。日差しが強い中外を歩くと、明らかに身体にダメージを受けているような気がします。出来る…

LLMをカスタマイズする方法としてLoRAについて調べてみました。

LLM

こんにちは、CCCMKホールディングス株式会社TECH LAB三浦です。 まだ6月ですが、夏みたいに暑い日がちょこちょこと訪れるようになりました。この時期になると、うちの冷凍庫の中でアイスが占める割合が増えてきます。「3個まとめて買うとお得!」なんていうP…

LangChainを使ってGenerative Agentを試してみる!

LLM

こんにちは、CCCMKホールディングス TECH LABの三浦です。 雨の日が多くなってきました。洗濯物がなかなか乾かなくて困ってしまいます。あっという間に洗濯物が乾くソリューションが何かないかな・・・と考えてしまいます。 前回も触れたのですが、最近こち…

embedding database "Chroma"とLLMを使って記憶に基づいた回答をAgentにさせてみました。

LLM

こんにちは、CCCMKホールディングス TECH LABの三浦です。 私はとても忘れっぽいのですが、何故か何十年経っても覚えていること、思い出せることがあります。すぐ忘れてしまうことと、ずっと覚えていることの違いってなんだろう、と考えてみるのですがよくわ…

LangChainのprompt周りの機能を手を動かしながら理解してみる!

こんにちは、CCCMKホールディングス TECH LABの三浦です。 80年を秒数に表すと、80x365x24x60x60で、約25億になります。2.5billion(2.5b)ですね。大規模言語モデル(LLM)のパラメータ数がよくbillion単位で表現されているので、ちょっと不思議な感覚になりま…

MLflow 2.3で搭載されたLLMの管理機能を試してみました!

こんにちは、CCCMKホールディングス TECH LABの三浦です。 5月はずっと好きなアーティストのアルバムがリリースされたり、楽しみにしていたゲームが発売されたり、うれしいことがたくさんありました。心に栄養を取ってる感じがしました。 先日Databricksのウ…

LLMと様々なデータを繋ぐ"LlamaIndex"の基本的な使い方を調べて使ってみました。

こんにちは、CCCMKホールディングスTECH LABの三浦です。 この前近所で買い物をしていた時にふと空を見上げたら、飛行機が飛んでいるのを見つけました。その後数分くらいでまた次の飛行機が通り過ぎていき、すぐに次の飛行機が通り過ぎていく・・・。飛行機…

LLMに行動と思考のプロセスを与える"ReAct: Reasoning and Acting"について調べてみました。

LLM

こんにちは、CCCMKホールディングスTECH LABの三浦です。 LLMのフレームワークLangChainの使い方を調べていると、"Agent"というとても面白い機能があることを知りました。これはLLMに状況に応じて適切なTool(例えばインターネットで検索したり、Pythonのプロ…

LLMと会話するChat風アプリをLLMの力を借りて作ってみた話。

LLM

こんにちは、CCCMKホールディングスTECH LABの三浦です。 最近目の疲れが気になってきたので、夜寝る前に目の周りをマッサージしたり温めたりしてケアするようにし始めました。あと、寝る15分前はスマートフォンやタブレットを見ないようにする習慣も付ける…

Large Language Model(LLM)をもっと活用したい!"LangChain"を使ってみました。

LLM

こんにちは、CCCMKホールディングス TECH LABの三浦です。 "シャドーイング"という英語の学習方法があり、最近試してみています。これは英語の音声を聞きながら、それを追いかけるように発音する、という方法で、ヒアリングやスピーキング力の改善に効果があ…