CCCMKホールディングス TECH LABの Tech Blog

TECH LABのエンジニアが技術情報を発信しています

ブログタイトル

Databricks

Databricksの"Foundation Model API"と"AI Functions"が面白かったのでまとめてみます!

はじめに Foundation Model API 提供されたLLMの利用 それ以外のLLMを使いたい場合 AI Functions Foundation Model APIを利用するAI Functions Model Servingで提供されるLLMを利用したAI Functions まとめ こんにちは、CCCMKホールディングスTECH LABの三浦…

DatabricksでMLflow Tracingを使ってLLM Agentの内部処理を確認してみました。

こんにちは、CCCMKホールディングス TECH LABの三浦です。 なんだか急に気温が下がり、秋めいてきました。秋は美味しいものが多く、外を歩くのも気持ちがいいので一年で一番好きな時期です。 LLM AgentはLarge Language Model(LLM)にWeb APIやデータベース検…

DatabricksでLlama3.1 70BのマルチGPU推論を行う

はじめに こんにちは。テックラボの高橋です。 本記事ではDatabricks上でLlama3.1のマルチGPU推論ができるかどうか試していきます。 8Bのモデルだと16G 1枚で実行できてしまうので、あえて70Bのモデルに挑戦してみます。 ※モデル毎の速度比較については下記…

DatabricksのDelta Live Tablesを使ってみました!

こんにちは、CCCMKホールディングス三浦です。 12月に入り、寒い日が増えてきました。毎年冬になるとしもやけで手が荒れてしまうので、今年はとにかく気が付いたらハンドクリームを塗ることを意識しています。今年こそ、痛い思いをせずに冬を越したいです。 …

LLMに独自のデータを参照させて回答させるRAGをAzure Databricksで実装してみました。

こんにちは、CCCMKホールディングス TECH LABの三浦です。 この前の土日に大学の頃のサークルのメンバーとオンラインで10数年ぶりに会話をしました。その次の日は学生の頃から好きなアーティストのライブに行きました。 なんだかこの土日は学生の頃のことを…

Databricks SQLのdashboard機能を使ってモデルの可視化を試してみました!

こんにちは、CCCMKホールディングスTECH LABの三浦です。 先日自宅の部屋の整理をしました。整理をしていると、以前は必要で手に入れたはずなのに、今ではもう必要なくなっているものもいくつかありました。自分を取り巻く環境もそうですし、自分自身の考え…

DatabricksのUnity Catalog環境でのモデル開発を試してみました

こんにちは、CCCMKホールディングス TECH LABの三浦です。 学校はもうすぐ夏休みみたいですね。自分が子どもだった頃、頑張って7月中に夏休みの宿題を終わらせようとしたことがありました。でも自分にとってはそれがすごくキツくて、結局続かなかったことを…

サンフランシスコで開催されたDatabricksのイベントDATA+AI SUMMITに参加してきました!

こんにちは、CCCMKホールディングスTECH LABの三浦です。 7月になり、2023年も気が付けばこれで半分ですね。今年はChatGPTをはじめとする生成AIが本当にいろんなところで話題の中心になっていると思います。今年の末にはさらにどんなアップデートがあるのか…

DatabricksとHyperoptによる機械学習モデルのチューニング!

こんにちは、CCCMKホールディングス技術開発の三浦です。 休日に外を歩いてみたら思っていた以上に暖かくて少し汗ばむくらいでした。歩くのにちょうどいい暖かさだったので、目的地まで少し遠回りをしてみました。近所にあるのに歩いたことがない道があった…

Azure Databricksで学習したモデルをMLflowを使って別のサーバ(VM)にデプロイして動かしてみました!

こんにちは、技術開発の三浦です。 あっという間に11月になり、今年も残り2か月になりました。今年はこのブログを継続的に書くことを自分の目標にしていたのですが、なんとか1週間に1記事のペースで書き続けられました。以前は人前で発表することが得意では…

Azure Databricksでモデル学習環境を整備しています!~Notebookの管理・学習のトラッキング・モデルの登録など~PyTorch-Lightning+HorovodRunnerの分散処理も試しました!

こんにちは、技術開発の三浦です。大分寒くなってきました。温かい飲み物が恋しい時期ですが、この頃抹茶を飲むのがマイブームです。本格的にお茶を点てる道具は持っていないので、ココアの様にお湯に溶かして飲んでいるのですが、コーヒーとはまた違う感じ…

Azure DatabricksのSparkで深層学習モデルの分散学習をしました。

こんにちは、技術開発の三浦です。 この前の休日はとても暑くて、ベランダに打ち水をしてみてもたった30分で乾いてしまうような、それくらいの暑さでした。何か夏らしいことを、ということで、かき氷機を出してかき氷を作ってみました。冷たくて美味しくて大…

MLflow on Azure Databricksで実験の記録を付けるようにしました。

こんにちは、技術開発の三浦です。 大分暑くなってきました。年々暑さに弱くなっている気がします・・・。外に出る前は、日焼け止めをしっかり塗ったり、水分補給をしたり、帽子をかぶるなど、暑さ対策を心掛けるようになりました。 今回は最近取り組んだ、…