Databricks

Databricks Japan主催のコミュニティ貢献認定プログラムで、 最高位「Master」を含む2名が初選出されました。 プレスリリースにも掲載されておりますので、 詳しくはこちらをご覧ください。 prtimes.jp ※プレスリリースでは旧社名「CCCMKホールディングス（CCCMKHD）」を使用していますが、本ブログでは4月1日付で社名変更後の「Vポイントマーケティング株式会社」と表記します。

こんにちは、VポイントマーケティングAIエンジニアの三浦です。 いつの間にか近所の並木道の桜が満開になっていました。朝早くの、少し肌寒い時間に見に行くのが好きです。 AIを使った開発で最近必ずと言っていいほどAgent Skillsを活用しています。Agent SkillsはAIにやってほしいワークフローをまとめたもので、Agent Skillsとして定義しておけば必要な時にいちいち指示を出すことなくAIがそのワークフローを定められた手順に従って実行してくれるようになります。 Github CopilotでAgent Skillsを導入する方法は以前こちらの記事でまとめています。 techbl…

自己紹介 はじめに system.query.history とは 導入の背景 技術選定の理由 設計上の意思決定 Step 1：クエリ履歴の収集・蓄積 コード全体 ポイント解説 UTC → JST 変換が必要な理由 mergeSchema=true を指定する理由 運用：Databricks Jobs による自動化 なぜ 22:30 に実行するか Cron 式 Job 設定のポイント Step 2：SELECT クエリのテーブル参照状況を解析・記録 出力テーブルの構成 コード全体 ポイント解説 sqlglot による SQL 解析 mapInPandas で分散処理 temp テーブル・CTE…

こんにちは。クラウド事業部の遠見です。 本記事は、Datadogの「Data Observability」を実際に検証したエンジニアが、内容をできる限り客観的に共有することを目的に作成しました。 近年、インフラの可観測性（Observability）と同じように、データの健全性を可観測にする「Data Observability」が注目されています。 今回は、Azure Databricksを使って、Datadogの「Data Observability」を試してみました。 セットアップからカタログ同期、そして意図的にデータを汚染させる「破壊検証」の結果までをレポートします。 はじめに：Dat…

Databricksのアカデミーサイトについて調べてみた いくつかわかったことがあるのでメモしておく。 わかったこと カスタマー向け、Partner向け、従業員向けで3つの選択肢がある Go Learnというアプリかブラウザを使ってアクセスする いずれかの選択肢でログインするとサイン・アウトしたとしてもほかの選択肢でログインできない（後述） カスタマー向け、Partner向け、従業員向けで3つの選択肢がある Databricks Training Login: Data Engineering & AI Learning でどのロールでログインするかが選択できます。 www.databrick…

はじめに こんにちは。開発本部 開発1部 デリッシュリサーチチームの江﨑です。 本記事では、これまでHive Metastore上のDeltaテーブルで管理していたデリッシュリサーチ用データ（約40テーブル）をUnity Catalogへ移行したプロジェクトの全体像を、インフラ整備からAthena連携・Databricks Managed MCP活用まで紹介します。 はじめに 背景：なぜ Unity Catalog に移行したか 課題 1：テーブルスキーマが「コードを読まないと分からない」 課題 2：データリネージを Mermaid で管理していた Unity Catalog とは マネージド…

こんにちは、テックラボの井上です。 テックラボでは内製で社内向けのモデリング＆スコアリングツールを開発しています。 学習・推論エンジンにDatabricks/Notebookを使って開発・運用しています。 幸いなことにこれまでエラーは滅多に起きないのでエラー通知機能を実装していなかったのですが、 機能追加によりエラーが起きる状況も出てきたためエラー通知機能を実装しました。 実装方法として以下の2案を検討しました。 案1）Databricksのジョブ機能の活用 案2）IPythonのエラーハンドリング機能の活用 それぞれの案について説明をします。 案1）Databricksのジョブ機能の活用 以…