Databricks
こんにちは、CCCMKホールディングスAIエンジニアの三浦です。 もう11月です。寒くなってきて体調を崩しやすくなってきているので、体調管理には気を付けないと・・・と思っています！ "MCP"というワードを頻繁に聞くようになりました。私も以前調べたことが…
こんにちは、CCCMKホールディングスAIエンジニアの三浦です。 最近急に寒くなってきました。長袖の服を出さなきゃ・・・と思いつつ、バタバタしていてまだ出すことが出来ていません。。。 10/20にdatabricksのユーザー会"JEDAI Meetup! AI Readyへの道のり"…
こんにちは、CCCMKホールディングスAIエンジニアの三浦です。 だんだん過ごしやすくなってきて、なんだかどこかに行きたいな、という気持ちになることが増えてきました。自分が知らない場所に行ったり知らない人に出会ったりすることは、自分にとってとても…
こんにちは、CCCMKホールディングスAIエンジニアの三浦です。 OpenAIがリリースしたオープンウェイトの言語モデルgpt-ossをカスタマイズ、つまりFine-Tuningするにはどうするんだろう？と最近調べていました。色々情報が見つかり、トライしてみた中で一番わ…
こんにちは、CCCMKホールディングス三浦です。 最近は色々な画像生成モデルが出てきています。その中にはHugging Faceで公開されているものもあります。そういったモデルを試すことが出来る環境が欲しいな、と考えていました。 このブログでも何度か紹介して…
こんにちは、CCCMKホールディングスAIエンジニアの三浦です。 ファイルを読み込み、その内容について回答が出来るLLM Agentを作ることが時々あるのですが、毎度ファイル読み込み処理を作るのが面倒だな、と感じることがありました。PDFやPPTXファイルからテ…
こんにちは、CCCMKホールディングスAIエンジニアの三浦です。 日中はとても暑いのですが、朝早い時間に外に出るとほんの少し涼しさを感じることがあります。8月も後半に入ったんだなぁと改めて思いました。 以前databricksのModel Servingを使ってRAG Agent…
こんにちは、CCCMKホールディングスAIエンジニアの三浦です。 先日、今年6月に開催されたdatabricksのDATA+AI Summit2025を振り返るdatabricksのユーザー会に参加し、LT枠で登壇させていただきました。 jedai.connpass.com 大分前からLLMアプリケーション開…
こんにちは、CCCMKホールディングスAIエンジニアの三浦です。 生成AI周りの機能がアップデートされたMLflowに、ベータ版の機能で"Prompt Registry"が搭載されていました。この機能はプロンプトエンジニアリングの効率化を目的とした機能で、生成AIアプリに搭…
こんにちは、CCCMKホールディングスAIエンジニアの三浦です。 先日参加したdatabricksのDATA+AI Summitというイベントでは様々なdatabricksの新しい機能が発表されました。 techblog.cccmkhd.co.jp その中で個人的にとても気になったのが"Agent Bricks"とい…
こんにちは、CCCMKホールディングスAIエンジニアの三浦です。 先週一週間、アメリカのサンフランシスコに出張してきました！目的はdatabricksのData+AI Summitというイベントに参加をするためです。 今回の記事では現地の様子をいくつかご紹介をした後に、2…
こんにちは、CCCMKホールディングスAIエンジニアの三浦です。 今週、アメリカサンフランシスコで開催されるDatabricksのイベントに現地参加します。どんなアップデートが聞けるかとても楽しみです。 現地は気温が東京に比べて低めなので、風邪を引かないよう…
はじめに Genie アプリケーションの処理の全体図 アプリケーション構築手順 Genieの作成 PATのシークレットへの登録 NotebookからGenieにアクセスする LangGraphのGraphをスクリプトに書き出す Graphの登録 Model Servingへのデプロイ Model Serving Endpoin…
はじめに やりたいこと 使用したデータ 利用したLLM データの準備 データセットのダウンロード Tableへの書き込み COMMENTの付与 アプリの構築 LLMとアプリのState rooting normal_chat create_sql execute_sql answer ビルド 動作確認 まとめ はじめに こん…
こんにちは。テックラボの岸部です。 本日は技術ブログというよりも、お仕事紹介ということで、最近社内にリリースした、特徴量を運用・公開する仕組みである「Feature Store」を紹介したいと思います。 Feature Storeのロゴ はじめに いきなりですが、みな…
こんにちは、CCCMKホールディングスTECH LABの三浦です。 だいぶ気温が下がって、空気が乾燥してきたように感じます。すぐに手がしもやけになってしまうので、外に出る時は手袋をするようにしないと・・・と思います。 はじめに 先日Databricksの年次のイベ…
テストからPoCへ RAG Agentの概要 PlaygroundからExportする Vector Indexにクエリ実行するFunctionが動かない・・・ agent Notebookの変更箇所 追加パッケージのインストール configの記述と出力 LLMとToolの定義 driverの変更箇所 追加パッケージのインス…
DatabricksのModel Servingが楽しい・・・ Vector Search Vector Searchを使ってベクトルデータベースを構築 ブログ⇒テキスト抽出⇒Delta Tableへの格納 Delta Table⇒テキスト分割(chunking)⇒Delta Tableへの格納 埋め込みモデルのModel Serving Endpointの作…
はじめに Foundation Model API 提供されたLLMの利用 それ以外のLLMを使いたい場合 AI Functions Foundation Model APIを利用するAI Functions Model Servingで提供されるLLMを利用したAI Functions まとめ こんにちは、CCCMKホールディングスTECH LABの三浦…
こんにちは、CCCMKホールディングス TECH LABの三浦です。 なんだか急に気温が下がり、秋めいてきました。秋は美味しいものが多く、外を歩くのも気持ちがいいので一年で一番好きな時期です。 LLM AgentはLarge Language Model(LLM)にWeb APIやデータベース検…
はじめに こんにちは。テックラボの高橋です。 本記事ではDatabricks上でLlama3.1のマルチGPU推論ができるかどうか試していきます。 8Bのモデルだと16G 1枚で実行できてしまうので、あえて70Bのモデルに挑戦してみます。 ※モデル毎の速度比較については下記…
こんにちは、CCCMKホールディングス三浦です。 12月に入り、寒い日が増えてきました。毎年冬になるとしもやけで手が荒れてしまうので、今年はとにかく気が付いたらハンドクリームを塗ることを意識しています。今年こそ、痛い思いをせずに冬を越したいです。 …
こんにちは、CCCMKホールディングス TECH LABの三浦です。 この前の土日に大学の頃のサークルのメンバーとオンラインで10数年ぶりに会話をしました。その次の日は学生の頃から好きなアーティストのライブに行きました。 なんだかこの土日は学生の頃のことを…
こんにちは、CCCMKホールディングスTECH LABの三浦です。 先日自宅の部屋の整理をしました。整理をしていると、以前は必要で手に入れたはずなのに、今ではもう必要なくなっているものもいくつかありました。自分を取り巻く環境もそうですし、自分自身の考え…
こんにちは、CCCMKホールディングス TECH LABの三浦です。 学校はもうすぐ夏休みみたいですね。自分が子どもだった頃、頑張って7月中に夏休みの宿題を終わらせようとしたことがありました。でも自分にとってはそれがすごくキツくて、結局続かなかったことを…
こんにちは、CCCMKホールディングスTECH LABの三浦です。 7月になり、2023年も気が付けばこれで半分ですね。今年はChatGPTをはじめとする生成AIが本当にいろんなところで話題の中心になっていると思います。今年の末にはさらにどんなアップデートがあるのか…
こんにちは、CCCMKホールディングス技術開発の三浦です。 休日に外を歩いてみたら思っていた以上に暖かくて少し汗ばむくらいでした。歩くのにちょうどいい暖かさだったので、目的地まで少し遠回りをしてみました。近所にあるのに歩いたことがない道があった…
こんにちは、技術開発の三浦です。 あっという間に11月になり、今年も残り2か月になりました。今年はこのブログを継続的に書くことを自分の目標にしていたのですが、なんとか1週間に1記事のペースで書き続けられました。以前は人前で発表することが得意では…
こんにちは、技術開発の三浦です。大分寒くなってきました。温かい飲み物が恋しい時期ですが、この頃抹茶を飲むのがマイブームです。本格的にお茶を点てる道具は持っていないので、ココアの様にお湯に溶かして飲んでいるのですが、コーヒーとはまた違う感じ…
こんにちは、技術開発の三浦です。 この前の休日はとても暑くて、ベランダに打ち水をしてみてもたった30分で乾いてしまうような、それくらいの暑さでした。何か夏らしいことを、ということで、かき氷機を出してかき氷を作ってみました。冷たくて美味しくて大…
