CCCMKホールディングス TECH LABの Tech Blog

TECH LABのエンジニアが技術情報を発信しています

ブログタイトル

インフラストラクチャ

Azure Load Testingによるチャットボットの負荷テストを試してみました

こんにちは、AIエンジニアリンググループの矢澤です。 世間はGWでしたが、毎年この時期は交通機関や観光地が混むイメージがあるので、私はほぼ自宅で過ごしました。 ただ、イベントへの参加は新たなインスピレーションなど業務に繋がる可能性もあるので、別…

NVIDIA A100でのtorch.compileの効果を検証

こんにちは。テックラボの高橋です。 pytorchにtorch.compileという機能があることをご存知でしょうか? torch 2.0から導入されたこの機能を利用することで、推論処理や学習処理を高速化できるとのことです。 今回はNVIDIA A100を用いて、torch.compileがど…

Azure App Service(Container Linux環境)のPythonアプリにDatadogを仕込む

テックラボの高橋です。今回は小ネタです。 Azure App ServiceのContainer Linux環境ではDockerコンテナを動かすことができます。 最近、オブザーバビリティツールであるDatadogをこの環境に組み込む機会がありました。 Datadogのドキュメントによると、以下…

さくらのクラウド検定を受検しました

こんにちは。AIエンジニアリンググループの矢澤です。 例年より暑い日々が続いていましたが、夕方や夜はだんだん涼しくなり秋を感じるようになってきました。 秋の代表的な花であるコスモスを秋桜と書くようになったのは、日本の有名な歌謡曲が元になってい…

llama.cpp各種モデル18パターンの速度比較(Llama 3.1/Gemma 2/Phi-3…, GPU/x86_64/arm64)※おすすめモデル有り

はじめに こんにちは。テックラボの高橋です。 本記事ではllama.cppで実行可能なモデルを片っ端から実行して良さげなモデルを探していきます。 なお、llama.cppの詳細やパラメータ設定については以下の記事をご参照ください。 techblog.cccmkhd.co.jp モデル…

Azure Synapse(旧Azure Datawarehouse)を触ってみた

こんにちは。技術開発ユニットの高橋です。 皆さんは、Azure Synapseをご存知でしょうか。Azure Synapse(旧Azure Datawarehouse)はMicrosoft Azureのデータウェアハウス製品で、大量のデータを気軽に格納・抽出することができます。 以下の記事にあるよう…