はじめに こんにちは。テックラボの高橋です。 本記事ではDatabricks上でLlama3.1のマルチGPU推論ができるかどうか試していきます。 8Bのモデルだと16G 1枚で実行できてしまうので、あえて70Bのモデルに挑戦してみます。 ※モデル毎の速度比較については下記…
こんにちは、CCCMKホールディングスTECH LAB三浦です。 「これがなかった時ってどうやって生活していたんだろう」と思うことがあります。先日初めて行った場所でスマートフォンを使って地図を見たり交通機関の時間を調べたりしていたのですが、スマートフォ…
こんにちは、CCCMKホールディングスTECH LAB三浦です。 7月中旬に入り、この頃は夏らしい日が増えてきました。特にセミの鳴き声が聞こえると、「夏だなぁ」と感じます。毎年夏になると、何か一つでも思い出に残ることをしたいなぁという気持ちになり、今年は…
こんにちは、CCCMKホールディングスTECH LAB三浦です。 最近ふとしたきっかけで読んでみたコミックがとても面白くて、良い出会いをしたなぁとしみじみと感じています。コミックだけでなく、映画とか音楽もこれまで知らなかったけど触れてみたらとてもお気に…
こんにちは、CCCMKホールディングス TECH LAB三浦です。 ここのところ本当に暑い日が続いています。暑いと自分が思っている以上に体に負担がかかっているんだな、と感じます。外に出る時はなるべく日差しを避けて歩くようにしないと、と意識するようになりま…
こんにちは、CCCMKホールディングスTECH LAB三浦です。 最近とても湿気が多いです。家の中もジメジメしてきたのですが、この前風が通り抜けるスポットを家の中に見つけました。そこにいるとひんやりした風が通り抜けて気持ちがいいので、ずっとそこにいます…
こんにちは、CCCMKホールディングス TECH LAB三浦です。 海外で開催されているカンファレンスの内容が最近は動画でも配信されていて、時間がある時に視聴したりしています。紹介されている最新の技術トピックはもちろんですが、プレゼンのスライドの内容や見…
こんにちは、CCCMKホールディングスTECH LAB三浦です。 最近AIと英語で会話が出来る英会話アプリを使ってみました。最初は人と直接話す感覚と違い、少し違和感を感じたのですが、慣れてくると気にならなくなり、なんでも気兼ねなく話すことが出来るメリット…
こんにちは、CCCMKホールディングスTECH LAB三浦です。 最近Retrieval-Augmented Generation(RAG)に関する情報を見ていると、ドキュメントデータの格納場所としてVectorDBではなくKnowledge-Graphを使う手法を目にすることが多くなりました。Knowledge-Graph…
こんにちは、テックラボの矢澤です。 先日、近所のレイトショーで映画を観ました。 思い返すと、映画を一本まるまる通して観たのは久しぶりの経験です。 映画に限らず音楽や本についても、YouTubeや技術雑誌などを短時間で見ることが増え、アルバム全体を通…
こんにちは、CCCMKホールディングス TECH LABの三浦です。 いつの間にかこの会社に勤めて10年が経っていました。10年前はニューラルネットワークやディープラーニングが少しずつ浸透してきたころで、従来の機械学習とは何が違うのか、といったことを調べてい…
こんにちは、CCCMKホールディングス TECH LABの三浦です。 自転車を買いました。これで遠いところまで買い物に行ったり、行きたい場所にたくさん行ける、とワクワクしています。 最近生成AIの中でもテキストを生成するAI, LLM周りにずっとかかわってきました…
こんにちは、CCCMKホールディングス TECH LABの三浦です。 小さなころに体験したことの中で、なぜか今でもはっきり思い出せることがいくつかあります。自分にとってはその一つが"パンナ・コッタ"というお菓子を初めて食べた時の記憶です。"パンナ・コッタ"と…
こんにちは、CCCMKホールディングスTECH LAB三浦です。 先日は母の日でした。母の日って海外が発祥のイベントなんですよね。世界ではどんな風に母の日をお祝いしているのか、一度調べてみたいな、と思いました。 Large Language Model(LLM)が学習していない…
