CCCMKホールディングス TECH Labの Tech Blog

TECH Labスタッフによる格闘記録やマーケティング界隈についての記事など

ブログタイトル

LLMをカスタマイズする方法としてLoRAについて調べてみました。

LLM

こんにちは、CCCMKホールディングス株式会社TECH LAB三浦です。 まだ6月ですが、夏みたいに暑い日がちょこちょこと訪れるようになりました。この時期になると、うちの冷凍庫の中でアイスが占める割合が増えてきます。「3個まとめて買うとお得!」なんていうP…

LangChainを使ってGenerative Agentを試してみる!

LLM

こんにちは、CCCMKホールディングス TECH LABの三浦です。 雨の日が多くなってきました。洗濯物がなかなか乾かなくて困ってしまいます。あっという間に洗濯物が乾くソリューションが何かないかな・・・と考えてしまいます。 前回も触れたのですが、最近こち…

embedding database "Chroma"とLLMを使って記憶に基づいた回答をAgentにさせてみました。

LLM

こんにちは、CCCMKホールディングス TECH LABの三浦です。 私はとても忘れっぽいのですが、何故か何十年経っても覚えていること、思い出せることがあります。すぐ忘れてしまうことと、ずっと覚えていることの違いってなんだろう、と考えてみるのですがよくわ…

LangChainのprompt周りの機能を手を動かしながら理解してみる!

こんにちは、CCCMKホールディングス TECH LABの三浦です。 80年を秒数に表すと、80x365x24x60x60で、約25億になります。2.5billion(2.5b)ですね。大規模言語モデル(LLM)のパラメータ数がよくbillion単位で表現されているので、ちょっと不思議な感覚になりま…

MLflow 2.3で搭載されたLLMの管理機能を試してみました!

こんにちは、CCCMKホールディングス TECH LABの三浦です。 5月はずっと好きなアーティストのアルバムがリリースされたり、楽しみにしていたゲームが発売されたり、うれしいことがたくさんありました。心に栄養を取ってる感じがしました。 先日Databricksのウ…

LLMと様々なデータを繋ぐ"LlamaIndex"の基本的な使い方を調べて使ってみました。

こんにちは、CCCMKホールディングスTECH LABの三浦です。 この前近所で買い物をしていた時にふと空を見上げたら、飛行機が飛んでいるのを見つけました。その後数分くらいでまた次の飛行機が通り過ぎていき、すぐに次の飛行機が通り過ぎていく・・・。飛行機…

Vision Transformer(ViT)のモデルSwin Transformerについて調べてみました。

こんにちは、CCCMKホールディングス TECH LAB三浦です。 ふと気が付くと近所に小型のスポーツジムがたくさんできていました。スポーツジムというと、プールがあって、サウナがあって・・・と、とても大規模な施設の印象があったのですが、小型のスポーツジム…

LLMに行動と思考のプロセスを与える"ReAct: Reasoning and Acting"について調べてみました。

LLM

こんにちは、CCCMKホールディングスTECH LABの三浦です。 LLMのフレームワークLangChainの使い方を調べていると、"Agent"というとても面白い機能があることを知りました。これはLLMに状況に応じて適切なTool(例えばインターネットで検索したり、Pythonのプロ…

LLMと会話するChat風アプリをLLMの力を借りて作ってみた話。

LLM

こんにちは、CCCMKホールディングスTECH LABの三浦です。 最近目の疲れが気になってきたので、夜寝る前に目の周りをマッサージしたり温めたりしてケアするようにし始めました。あと、寝る15分前はスマートフォンやタブレットを見ないようにする習慣も付ける…

Large Language Model(LLM)をもっと活用したい!"LangChain"を使ってみました。

LLM

こんにちは、CCCMKホールディングス TECH LABの三浦です。 "シャドーイング"という英語の学習方法があり、最近試してみています。これは英語の音声を聞きながら、それを追いかけるように発音する、という方法で、ヒアリングやスピーキング力の改善に効果があ…

最近読んだ論文"Guiding Large Language Models via Directional Stimulus Prompting"についてまとめてみます。

こんにちは、CCCMKホールディングス TECH LABの三浦です。最近は暖かくなってきました。寒い冬に比べると雨が降る日が多くなりましたが、晴れた日は外を歩くととても気持ちがいいです。あっという間に雨の季節が来て外を歩くと汗びっしょりになる夏になって…

Prompt Engineeringのテクニック"Self-Consistency"と"Knowledge Promptning"について調べてみました。

こんにちは、CCCMKホールディングス技術開発の三浦です。この前重いものを運んだのですが、その時にどうも腰を痛めてしまったようで、休日は痛くて安静にしていました。最近自分の身体との付き合い方をちゃんと考えないと、と思うことが増えてきました。あま…

私の知らない"Prompt Engineering"の世界!"Prompt Engineering Guide"を読んで色々試してみました!

こんにちは、CCCMKホールディングス技術開発の三浦です。 せっかく桜が咲いたのに、週末は雨ばかりでした。洗濯物もたまってしまい、ちょっと困ってしまいました。季節が変わる頃は雨が降りやすいと聞いたことがあります。過ごしやすい季節が来ることが楽し…

Azure OpenAI入門!PythonのプログラムからAPIでAzure OpenAIを利用する方法などを調べてみました。

こんにちは、CCCMKホールディングス技術開発の三浦です。久しぶりに自然の中でキャンプをしました。今は結構どこでもスマートフォンに電波が届き、通信機能が使えるので火のおこしかたを調べたり出来て本当に便利だなぁと思いました。でもどれだけ技術が進歩…

DatabricksとHyperoptによる機械学習モデルのチューニング!

こんにちは、CCCMKホールディングス技術開発の三浦です。 休日に外を歩いてみたら思っていた以上に暖かくて少し汗ばむくらいでした。歩くのにちょうどいい暖かさだったので、目的地まで少し遠回りをしてみました。近所にあるのに歩いたことがない道があった…

LDAにおけるモデル精度と平坦性について

こんにちは、CCCMKHDテックラボの佐藤(智)です。 久しぶりの投稿です! LDA の論文「Rethinking Collapsed Variational Bayes Inference for LDA *1 」を読んで、Collapsed variational Bayes Inference for LDA とその近似について考えてみましたので、 備…

BERTのFine-Tuningを安定させる方法を試してみました!

こんにちは、CCCMKホールディングス技術開発の三浦です。 冬になるといつも手にしもやけが出来るのですが、気候が温かくなってそのしもやけが良くなってくると、もうすぐ春なんだなぁと感じます。 さて事前学習済みのBERTを別のタスク用のデータセットで再学…

Hugging FaceのDatasetsとTransformersで作ったテキスト分類モデルをSHAPで可視化してみました。

こんにちは、CCCMKホールディングス技術開発の三浦です。2月も終わり、明日から3月になります。つい先日、お正月を過ごしていた気がするのですが、あっという間にそれから2か月も経ってしまいました。時間が早く過ぎていくことは決して悪いことではないと思…

XAIのためのフレームワークSHAPを使って画像分類モデルの推計根拠を可視化してみました。

XAI

こんにちは、CCCMKホールディングス技術開発の三浦です。 朝早い時間に外を歩くと、この時期は本当に暖かい日と寒い日が交互にやってくるんだな、と感じます。ここ最近は暖かいと感じる日が少し増えてきたように思うので、もうすぐ春なんだなぁとしみじみし…

A-FrameとFlaskでVR空間でデータを可視化する方法について調べてみました!

VR

こんにちは、CCCMKホールディングス技術開発の三浦です。 野菜不足が気になっていたので、スムージーを作る習慣を始めました。料理でいろんな野菜を取ろうとすると結構大変ですが、スムージーだと簡単に取ることが出来ます。今度はこの野菜を使ってみようか…

Spark UIを使ってSparkがどんな風に処理を行っているのか見てみました!

こんにちは、CCCMKホールディングス技術開発の三浦です。 2月に入り立春が過ぎたので、冬が終わり春がやってくる頃です。相変わらず寒いのですが、外に出るとなんとなく空気の肌触りが丸くなったかな?と感じることが増えてきました。季節は4つあってそれぞ…

Parquet+Petastormを使って画像分類モデルをSparkで学習させてみました!

こんにちは、CCCMKホールディングス技術開発の三浦です。 最近寒い日が続いています。寒いと温かい飲み物が欲しくなりますが、近ごろは緑茶を飲むようになりました。お湯を入れたらすぐに飲むことが出来る粉末タイプのものもあって、気軽に楽しむことが出来…

Azure DatabricksでMLflow Recipesを使ってみました!

こんにちは、CCCMKホールディングス技術開発の三浦です。最近あるオンラインゲームをはじめました。離れて暮らしている親戚も同じゲームをやっていて、時々一緒に遊んでいます。これまであまりオンラインゲームに触れてこなかったのですが、こんなに簡単に、…

Azure Machine Learning(Azure ML)のPipelineを使ってバッチ推論処理を実装してみました。

こんにちは、CCCMKホールディングス技術開発の三浦です。 久しぶりに家の机の周りの片づけをしました。片づけをしていてここのところ頭を悩ませるのが、たくさんの電源コードの上手な扱い方についてです。パソコンをはじめ、スマートフォン、タブレットなど…

Azure Blob Storageに保存した画像一覧を表示するアプリをStreamlitで作ってみました。

こんにちは、CCCMKホールディングス技術開発の三浦です。 1月の三連休が終わりました。だんだん周りから年末年始の雰囲気が消えて、元の生活に戻っていく感じがします。長期休みでもなるべく生活のペースを崩さないように意識しているつもりなのですが、それ…

今年はウサギ年なので自分が描いたウサギのスケッチをQuick, Draw!のデータセットで学習させたTransformerモデルに認識させてみました。

あけましておめでとうございます!CCCMKホールディングス技術開発の三浦です。 年末年始の休暇は色々とあって、気が付いたらあっという間に仕事始めを迎えていました。毎年1月から3月までの期間はすごいスピードで過ぎていく印象があります。きっと今年も気…

GPT-3の論文を読んでいます!

こんにちは、技術開発の三浦です。クリスマスが終わって、いよいよ2022年も終わりが近づいてきました。この記事が今年最後の投稿になりますので、最初にちょっと今年の振り返りをしたいと思います。 今年、私にとって大きなインパクトになったのが自然言語モ…

分散学習をすると本当に処理時間が速くなるのか、LT用に確かめてみました。

こんにちは、技術開発の三浦です。 最近とても寒い日が続いています。毎年この時期になると手にあかぎれができてしまうので、今年はちょっと外に出る場合も手袋をするように心がけるようにしました。今のところあかぎれはできていないのですが、だんだんでき…

Transformerのモデル、"T5"について調べてみました!

こんにちは、技術開発の三浦です。 いよいよ2022年も終わりが近づいてきました。年末は仕事だけでなく、プライベートでも色々と考えないといけないことがあります。大掃除や年末年始のスケジュールを決める、それから年賀状のデザインづくりなど・・・。特に…

Pythonのライブラリ"Streamlit"を使ったWebアプリの作成!

こんにちは、技術開発の三浦です。 だいぶ寒くなってきて、いよいよ年末らしくなってきました。色々気になることは年内中に片づけておきたい。そういう気持ちになる人はこの時期多いのではないでしょうか。自分もこの時期は毎年忙しくなりがちで、加えて今年…