AI
こんにちは、AIエンジニアリンググループの矢澤です。 最近テストの採点や添削指導について考える機会がありました。 選択式の問題や数学の定理のような答えが一つに決まっている問題はともかく、自由記述形式の問題などでは正確な採点が難しいこともあるの…
こんにちは、CCCMKホールディングス TECH LABの三浦です。 成人式の休日も終わり、そろそろ2025年も本格スタート、という気持ちになってきました。今年は"整理整頓"をもっとうまく出来るようになりたいな・・・と考えています。身の回りもそうですが、自分の…
こんにちは、CCCMKホールディングス TECH LABの三浦です。 あけましておめでとうございます。2025年がはじまりました。今年もまた、色々なことを試していきたいなと思います！ 昨年末にNeurIPS 2024に参加してから、LLMの"Post Training"というアプローチに…
こんにちは。AIエンジニアリンググループの矢澤です。 先日カナダのバンクーバーで開催されたNeurIPS 2024に、聴講者として参加しました。 非常に有意義な経験だったので、簡単にレポートしたいと思います （本来はリアルな声を届けるため、イベント開催中に…
こんにちは、CCCMKホールディングスTECH LABの三浦です。 今年ももう終わりですね。この時期は「今年こんなことあったなぁ」と振り返りつつ、「来年こんなことが出来るようになりたいなぁ」と考える時期だと思います。今年、AI領域ではLLMの活用として"Agent…
こんにちは、CCCMKホールディングスTECH LABの三浦です。 今日はクリスマスイブですね。クリスマスが過ぎるとあっという間にお正月で、毎年この時期には独特な雰囲気があるなぁと感じています。 参考資料 LLMの評価 汎用的言語性能 ドメイン特化性能 安全性…
こんにちは、CCCMKホールディングスTECH LABの三浦です。今回はカナダのバンクーバーから、機械学習・AIに関する国際カンファレンスである"NeurIPS 2024"に現地参加したレポートをお送りしたいと思います！ NeurIPSとは 最初に会場で受け付け カンファレンス…
こんにちは、CCCMKホールディングスTECH LABの三浦です。 今年もあと1か月ですね。振り返ってみると色々とあった1年ですが、個人的には夏の厳しい暑さが印象に残っています。残りわずかですが、2024年の最後まで頑張ろうと思います。 学習中のトークンごとの…
こんにちは。テックラボの高橋です。 今回はAzure AI Searchでベクトル検索とキーワードのフィルターの組み合わせを、日本語データに対して適用する方法を検証します。 テキスト クエリのフィルター - Azure AI Search | Microsoft Learn ドキュメントによる…
こんにちは、CCCMKホールディングス TECH LABの三浦です。 先日チームのメンバーに教えてもらい、試してみたいな・・・と思っていたライブラリを今回試すことが出来ました。"Docling"というライブラリで、PDFなどのファイルから、内容をマークダウンかjsonの…
こんにちは、CCCMKホールディングスTECH LABの三浦です。 あっという間に11月も終わりですね！クリスマスまであと1か月なので、ブログのサムネイルもクリスマス仕様になりました！ はじめに Chainlitのデータ永続化の仕組み 今回試した構成 プロジェクトの構…
こんにちは、CCCMKホールディングスTECH LABの三浦です。 だいぶ気温が下がって、空気が乾燥してきたように感じます。すぐに手がしもやけになってしまうので、外に出る時は手袋をするようにしないと・・・と思います。 はじめに 先日Databricksの年次のイベ…
はじめに 参照するドキュメント Graphの構造 実装 ライブラリのインストール GraphのState ルーティング機能の実装 Nodeの実装 並列処理の実行部分 Graphの構築 実行する 課題 まとめ こんにちは、CCCMKホールディングスTECH LABの三浦です。 最近寒いですね…
Big Five personality traits LIWC-22 論文における問題設定 実験の設定 LLM personaの構築 ストーリーライティング 評価のステップ BFIテスト LIWC-22による分析 ストーリーの評価 ストーリーからの人格特性の推計 結果 RQ1: LLM personaがBFIテストで自身…
テストからPoCへ RAG Agentの概要 PlaygroundからExportする Vector Indexにクエリ実行するFunctionが動かない・・・ agent Notebookの変更箇所 追加パッケージのインストール configの記述と出力 LLMとToolの定義 driverの変更箇所 追加パッケージのインス…
DatabricksのModel Servingが楽しい・・・ Vector Search Vector Searchを使ってベクトルデータベースを構築 ブログ⇒テキスト抽出⇒Delta Tableへの格納 Delta Table⇒テキスト分割(chunking)⇒Delta Tableへの格納 埋め込みモデルのModel Serving Endpointの作…
はじめに 今回作ったグラフ 描画に使うデータ 作業の流れ 実際のコード ライブラリのインストール NetworkXによるNodeの配置 EdgeとTextの描画設定 Nodeの描画設定 Graphの描画 まとめ こんにちは、CCCMKホールディングス TECH LAB三浦です。 秋の晴れの日は…
こんにちは。テックラボの矢澤です。 最近は英語を話す機会があまり無く、たまに外国人の方に路上で道を聞かれたりした際、簡単な内容でもとっさに出てこなくて困ることがあります。 英語の文法や難解な技術用語などを覚えることも大切ですが、基本的な単語…
はじめに GraphRAG GraphRAGのKnowledge Graph構築フロー Phase1. Documentの分割 Phase2. Graph情報の生成 Phase3. Graph情報の強化 Community Graph Embedding Phase4. Community情報の要約 Phase5. Documentの処理 Phase6. Graphの可視化 Knowledge Graph…
はじめに Foundation Model API 提供されたLLMの利用 それ以外のLLMを使いたい場合 AI Functions Foundation Model APIを利用するAI Functions Model Servingで提供されるLLMを利用したAI Functions まとめ こんにちは、CCCMKホールディングスTECH LABの三浦…
こんにちは、CCCMKホールディングス TECH LABの三浦です。 なんだか急に気温が下がり、秋めいてきました。秋は美味しいものが多く、外を歩くのも気持ちがいいので一年で一番好きな時期です。 LLM AgentはLarge Language Model(LLM)にWeb APIやデータベース検…
こんにちは。AIエンジニアリンググループの矢澤です。 先日、実家の近所でかき氷を食べました。 お店でちゃんとしたかき氷を食べたのはおそらく初めてで、屋台で食べるかき氷も美味しいですが、食感などが全然違って新鮮な経験でした。 かき氷だけでなく、大…
こんにちは、CCCMKホールディングスTECH LABの三浦です。 最近は手書きのメッセージを送ることが少なくなりましたが、1年に2回、今でも手書きのメッセージを書くのが年末年始の年賀状と敬老の日です。先日久しぶりに手紙を書いたのですが、「頭で書きたい」…
こんにちは、CCCMKホールディングスTECH LABの三浦です。 この前初めて訪れた街を朝早起きしてジョギングしたのですが、普段見られない景色や雰囲気を感じられてとても楽しかったです。いつか色々なところを旅して朝走ることを趣味に出来たらいいな、と思い…
こんにちは、CCCMKホールディングス TECH LABの三浦です。 9月になりました。夏から秋に変わる時期で気候もコロコロ変わるので、体調管理をちゃんとしないと・・・と思います。 さて、LLMに限らずDeep LearningモデルをGPUを使って学習していると、「なんで…
こんにちは、CCCMKホールディングス TECH LAB三浦です。 8月ももうすぐ終わりですね。日中はまだまだ暑いですが、夜に洗濯物を取り込んでいたら虫の鳴き声が聞こえてきて、夏の終わりだなぁとしみじみとしてしまいました。 "Autonomous Agent(自律型エージェ…
こんにちは、CCCMKホールディングス TECH LABの三浦です。 相変わらず厳しい暑さが続いていますが、朝夕は少しだけ涼しくなってきたように感じます。日中の気温もはやく落ち着くといいなぁと心待ちにしています。 さて、最近はオープンソースのLLMの活用に興…
こんにちは、CCCMKホールディングス TECH LABの三浦です。 最近オープンソースのLLMのFine-Tuningにとても可能性を感じていて、色々なことに活用していきたいな、と考えています。ところがFine-Tuning用の学習用データが十分に集まらないことが多く、データ…
こんにちは、CCCMKホールディングスTECH LAB三浦です。 先日花火を久しぶりに見ました。遠くから眺めるだけだったのですが、色々な色や形の花火が見られました。花火の形も時代とともに変わっていくのだなぁとしみじみしました。 さて、以前オープンソースの…
はじめに こんにちは。テックラボの高橋です。 本記事ではDatabricks上でLlama3.1のマルチGPU推論ができるかどうか試していきます。 8Bのモデルだと16G 1枚で実行できてしまうので、あえて70Bのモデルに挑戦してみます。 ※モデル毎の速度比較については下記…
