Fine-Grained Erasure in Text-to-Image Diffusion-based Foundation Models (CVPR2025)CVPR2025は全部見たかなと思っていたのですが, 抜けがあったのを見つけたので今回はその論文について扱います. 書籍情報図表は以下の論文からの引用です.Kartik Thakral, Tamar Glaser, Tal Hassner, Mayank Vatsa, and Richa Singh. Fine-grained erasure in text-to-image diffusion-based f...

不動産の価格は、立地、築年数、面積など様々な要因によって決まります。これらの要因と実際の取引価格のデータがあれば、機械学習を使って将来の取引価格を予測するモデルを構築できる可能性があります。よく紹介されるモデルとしてscikit-learnを使ったボストンの住宅価格の回帰予測モデルの例が紹介されていますが、身近な例として日本のある地域の不動産の価格の予測モデルの作成を検討してみました。この記事では、国土交通省が提供する「不動産取引価格情報」を利用し、Pythonと人気の機械学習ライブラリScikit-learnを使って、不動産価格予測モデルを作成・評価するプロセスを紹介します。皆さんの...

📝 概要この記事では、PyTorchの最新分散学習機能であるFSDP2（Fully Sharded Data Parallel 2）を使って、限られたGPUメモリで大規模言語モデル（LLM）をファインチューニングする方法を詳しく解説します。7BパラメータのLlamaモデルを4台のGPUで効率的に学習させる実装例を通して、ZeRO-3アルゴリズムの理論と実践の両方をカバーします 🤖 🔍 なぜFSDP2が必要なのか？ GPUメモリの課題 💾大規模言語モデルの学習では、GPUメモリが以下の要素で消費されます：モデルパラメータ（例：7Bモデル = bf16で約14GB）...

はじめに時系列予測モデルの精度改善に勤しんでいるAIエンジニアです。モデルの良し悪しを判断するための評価指標選びって大事ですよね。代表的な指標もありますが、使ってみると直感と合わない結果になっていたり、かといって複数の指標を使うとAという指標では改善したけどBという指標では悪化してしまった、、、となったりして、で、どっちが良いの？となります。アプリやビジネスによっても重視すべき項目が変わるので最終的には要件ごとに選ばなければならないのですが、今回は回帰モデルの代表的な評価指標に対して主観を交えつつ書き連ねていこうと思います。 評価指標と主観コメント RMS...

結論正則化パラメータ(Prophetのprior_scale系のパラメータなど)はlogスケールでチューニングしよう！ はじめにProphetはFacebookが公開しているオープンソースの時系列予測ライブラリであり、シンプルな設計と軽量さ、また実用的な精度を兼ね備えたツールとして広く使われています。https://facebook.github.io/prophet/そんな便利なProphetですが、こちらの記事で示されているように、ハイパーパラメータチューニングを行うことでデフォルトよりも大きく性能改善することが多く、Prophetを活用する場合はハイパーパラメータチ...

近年のニューラルネットワークの発展には目覚ましいものがあり、様々な分野において大きな成果を上げています。ChatGPTなどのごく自然に会話できるAIや、本物と見分けのつかない動画の生成など、ニューラルネットワークは、かつては不可能だった複雑なデータ処理を実現できるようになりました。このまま発展を続ければ、もっとすごいことができるようになると思われますが、一方で既存のニューラルネットワーク技術には弱点もあり、それが今後の発展を妨げる可能性があります。 従来のニューラルネットワークの弱点 弱点１ 計算負荷が大きい近年のニューラルネットワークの発展はアルゴリズムの進歩によるものもあ...

📝 概要最近のマルチモーダル推論モデルの発展において、カリキュラム学習の実装方法が成功と失敗を分ける重要な要因となっている。本記事では、Skywork-R1V3とGLM-4.1V-Thinkingという2つの先進的なVision-Language Model（VLM）におけるカリキュラム学習の実装を比較し、なぜ一方が失敗し、もう一方が成功したのかを技術的に解析する。 🏗️ 2つのアプローチの根本的違い 🔴 Skywork-R1V3：逐次カリキュラム学習（失敗） 実装方法Skywork-R1V3は従来的な段階的カリキュラム学習を採用：# 擬似コード：Skyworkのア...

はじめに突然ですが、みなさんはテーブルデータの分類や回帰タスクを解くとき、どのようなモデルを使っていますか？とりあえずCPUベースですぐに動かせて、それなりの精度が出せる、LightGBMなどの勾配ブースティング決定木（GBDT）モデルでまずは試してみるという方が多いのではないでしょうか。実際、Kaggleなどの機械学習コンペティションにおいても、テーブルデータに対してはGBDTを試す、というのがここ十年近くの王道となっていたと思います。一方で、ニューラルネット（NN）ベースのモデルとしては、決定木的な挙動とNNモデルを組み合わせたTabNetなどのモデルが有名でしたが、計算...

はじめに「あらまねっと（AraMaNet）」とは自分が開発した新型のニューラルネットワーク構造です。はじめはもっと効率的に情報を処理できるニューラルネットワークを作れないかなと、趣味の範囲で試行錯誤していたのですが、開発を続けるうちに従来のニューラルネットワークの持つ複数の弱点をまとめて解決できる可能性のある有用な特性を持つことが明らかになり、ArXivへの論文投稿と特許の出願を行いました。とはいえ、まだまだ生まれたばかりの技術なので、十分な有用性の検証ができていません。今はより多くの方にこの技術を試してもらって、有用性の検証や応用先を模索するフェーズです。そのため、まずは...

本ページはあらまネットの技術紹介目次です。・第０回：はじめに・第１回：従来のニューラルネットワークの弱点・第２回：あらまネットを着想するまで・第３回：あらまネットの原理・第４回：あらまネットの推論アルゴリズム・第５回：あらまネットの学習アルゴリズム・第６回：あらまネットの特性１（途中出力）・第７回：あらまネットの特性２（低ビット演算）・第８回：あらまネットの特性３（ネットワーク構造の）・第９回：あらまネットの特性４（可逆的伝播）・第１０回：あらまネットの応用例１（異常検出）・第１１回：あらまネットの応用例２（クラスタリング）・第１２回：あらまネットの応用例３（デ...

0. 環境python : 3.13.5mlflow : 3.1.1 1. MLflowとは？後で書きます 2. サンプルコード（RandomForest）!以下のプログラムでは、warningsを使用して、UserWarningを消していますmlflow.models.infer_signatureで登録したデータ（input, output）に、int型等の整数型が含まれている場合、以下の長ったらしいUserWarningが表示されますクラス分類のタスクであれば、int型を用いることもあるため、参考までにSklearnのRandomFor...

📝 概要Skywork R1V3は、MMMMUベンチマークで76.0%という最先端の結果を達成し、マルチモーダル推論における大きな飛躍を示しました。しかし、この研究で最も興味深いのは、視覚言語モデル（VLM）訓練における従来の常識に挑戦する3つの洞察です。この記事では、以下の3つの革新的な発見について詳しく解説します：🔍 重要トークンエントロピー - 真の推論と模倣的推論を区別する新しい指標🔗 コネクターモジュールの決定的役割 - 強化学習における必須コンポーネント📚 カリキュラム学習の意外な失敗 - 分布シフトが引き起こす予想外の結果 1. 🔍 重要トークン...

はじめにレプリカ法は、統計物理学や機械学習の分野で広く用いられる（大雑把な）解析手法の1つ。スピングラス系やニューラルネットワークの理論解析において、系の熱力学的性質や学習性能の「理論予測」でよく使われる。統計物理学や情報統計力学では、\begin{align} P_\beta(\bm{x}; \bm{J}) &= \frac{1}{Z_\beta(\bm{J})} \exp\!\left\{ -\beta H(\bm{x}; \bm{J}) \right\}\end{align}というGibbs-Boltzmann分布で振る舞いが記述される系を...

先端技術開発グループ（WAND）の小島です。先月（6月）に幕張メッセで開催されたAWS Summitに、WANDの全員で参加してきましたので、そのレポートをお届けします。 Expoエリアが面白いAWS Summitでは基調講演やセッション、スポンサーブースなど多彩なコンテンツが提供されていました。私の記事では、Expoエリア内の「AWS Builder's Fair」に絞って、詳細にレポートします。「Expoエリア」とは、メインセッション会場の隣で開催されているエリアで、最新技術の共有、実機デモ、ハンズオン、LT（ライトニングトーク）などが行われています。メインセッションは後日...

はじめに 筆者のモチベーション本記事のキーワードは、普遍近似定理（Universal Approximation Theorem）二重降下（Double Descent）過剰パラメータ化（Over-parameterized）多層化の利点（Benefits of Depth）といった感じで、これらのトピックを解説した素晴らしい和文資料は既にたくさん存在します。https://qiita.com/mochimochidog/items/ca04bf3df7071041561ahttps://ibis.t.u-tokyo.ac.jp/suzuki/lecture/...

今回はMLエンジニアとして普段活動している私ですが、非MLエンジニアの方に自分のやっていることやプロジェクトの各フェーズにおいてどんなことを注意・意識して伝えるようにしているかまとめてみます。 大前提としていること大前提として、MLという領域は慣れてない人からするととても難しい領域に感じられがちです。理由としては例えば以下があるかなと思います。数学や統計学など高度な知識が必要そう難しい英語とかばっかり出てきそうそれぞれ正解だと思います。MLエンジニアである私ですら普段から感じていますし、他のMLエンジニアの方も多かれ少なかれ難しいと感じることでしょう。本職がそう感じて...

⚡ 【プログラミング初心者向け】Streamlit で作るモンスタータイプ予測AI機械学習に興味があるけれど、何から始めればいいかわからない...そんな方に朗報です！今回は、Python の Streamlit と機械学習ライブラリを使って、モンスターの身長・体重・能力値からタイプを予測するAIアプリを作成します。データ処理、機械学習モデルの構築、予測機能まで含む本格的なAIアプリを、初心者でも理解できるように詳しく解説していきます。 🌟 この記事を読めば...機械学習とデータ処理の使い方を楽しく学べます 🎯この記事では、単なる予測アプリを作るだけでなく、機械学習の基本...

はじめにこんにちは、たきこみと申します。普段は事業会社で機械学習モデルの開発やデータ基盤構築などの仕事をやっています。データ基盤としてSnowflakeを採用しているのですが、SnowflakeはAIデータ基盤を謳っているということもあり、AI/ML系の機能拡充が留まることを知りません。そろそろSnowflake単体でMLOps的な環境が作れるようになってきた気がしているので、MLOpsとSnowflakeの機能配置について考えをまとめておきたいと思い、この記事の執筆に至っています。 MLOps概略まずは僕が実現したいと考えるMLOpsのサイクルを紹介します。MLO...

はじめにAWS認定試験（AIF/MLA/MLS）において、Amazon SageMakerに関する理解は極めて重要な要素となります。SageMakerは数多くの「SageMaker ○○」という形式のサービス群で構成されており、各サービスの機能やユースケースを正確に理解することが試験攻略の鍵となります。この記事では、これらのサービスを体系的に分類し、整理して解説していきます。 Amazon SageMakerについてAmazon SageMakerは、AWSが提供する機械学習（ML）向けのフルマネージドプラットフォームです。データの準備段階から、モデルの訓練、最適化、デプ...

ランダムフォレストとは？ランダムフォレストは、機械学習の分野で非常に強力なアルゴリズムの一つです。特に「分類」や「回帰」といったタスクで高い性能を発揮し、その使いやすさと柔軟性から多くのプロジェクトで採用されています。この記事では、ランダムフォレストの仕組みを、その根幹となる**決定木（Decision Tree）とアンサンブル学習（Ensemble Learning）**という2つの重要な概念から、初心者の方にも分かりやすく解説していきます。 ランダムフォレストの基礎を理解する：決定木とは？ランダムフォレストを理解するためには、まず「決定木」について知ることが不可欠です...