はじめにhttps://ai.meta.com/dinov3/遅ればせながら、DINOv3 について読んで動かしてみた記事です。解説というほどではないですが、DINOシリーズの改善点や使い方のメモを残しています。Meta AI DINOv3 よりhttps://arxiv.org/abs/2508.10104前半は論文についての内容で、後半は実装についての内容です。CV領域が専門ではないので間違っていたいらお許しください><!引用が記載されていないものについては、DINOv3からの引用になります。 おさらい!「おさらい」は読む前の事前知識や導...

JAX は、GPU/TPU での高速計算や自動微分が魅力的な Google 製の数値計算ライブラリです。また、関数型プログラミングのスタイルを採用しており、副作用のない純粋関数を基本としているという点も特徴的です。JAX は特に深層学習の分野で活用されており、Haiku や Flax といった深層学習ライブラリが JAX を基盤として構築され、利用されてきました。これらのライブラリは、init-apply 式の API を採用しており、モデルとそのパラメータを明確に分離する「関数型」の考え方に基づいています。このおかげで JAX の自動微分や JIT コンパイルといった強力な機能を最大...

誤差逆伝播チートシート誤差逆伝播（Backpropagation）は、計算グラフにチェインルールを適用することで各パラメータの勾配を求める仕組みである。ここでは、ニューラルネットワークで頻出するパターンを計算グラフと数式で整理する。 基本原則：チェインルール\frac{dL}{da} = \frac{dL}{dy} \cdot \frac{dy}{da}誤差は中間変数を経由して伝わる。すべての逆伝播はこの形に帰着する。 足し算（加算ノード）y = a + b逆伝播:\frac{dL}{da} = \frac{dL}{dy}, \quad \frac...

Webエンジニアとして7年、これまで機械学習とは無縁でしたが、手札を増やすべくディープラーニングの勉強を始めました！「機械学習で使う数学をいまさら勉強する」シリーズでは、「ロジスティック回帰モデル」および「ニューラルネットワーク」の理解を目標にします。 本シリーズで目指す目標本記事は微分に続き、第2回として「ベクトル・行列」をまとめます。公開済み : 【微分】機械学習で使う数学をいまさら勉強する⭐️ 本記事：【ベクトル・行列】機械学習で使う数学をいまさら勉強する未公開：【指数関数・対数関数】機械学習で使う数学をいまさら勉強する未公開：【多変数関数の微分】機械学習で使う数...

はじめにこんにちは！現在大学4年生の とうふ と申します。Zennへの投稿は今回で7回目になります。この記事では、先日2025年8月末に受験した E資格(2025#2) の体験記【準備・学習編】として、記録を残していこうと思います。AIに関して実務ほぼ未経験の学生である私が、どのように学習計画を立てたかどの教材をどう使ったかモチベーションをどう維持したかといった具体的な工夫についてお話ししていきます。今回この記事を書こうと思ったのには、2つの理由があります。E資格の、特に「学生目線」の受験体験記がまだ少ないこと私自身が受験前の情報収集で、もっと具体的な情報...

Webエンジニアとして7年、これまで機械学習とは無縁でしたが、手札を増やすべくディープラーニングの勉強を始めました！高校以来10年以上ぶりの数学で、眠くなりながら学んでおります（笑）ここでは、その学習過程を記録していきます。数学の知識はゆとり教育の高校生レベルですので、温かい目でお気づきの点があればコメントくださいませ。 🤖 機械学習になぜ数学の知識が必要なのか？はじめに、機械学習モデルとはなにか？の定義を確認します。機械学習の定義機械学習モデルとは入力データに対して出力データを返す関数のような振る舞いをもつ機械学習モデルの振る舞いは、学習により規定される次...

はじめに先日E資格を受験しました。ここでは、E資格の受験に至るまでを振り返って記事にしたいと思います。私はソフトウェアエンジニア6年目です。学生時代からゲーム制作をしたりなどしてプログラミングやソフト開発を色々やってきました。ですが近年のAIブームによって、これまでのソフト開発の形が変わりそうだし、なにかスキルを身に着けたいなと思い、2024年9月あたりから深層学習技術を勉強し始めました。 G検定合格勉強すると言ってもなにか目標がないとモチベーションを上げにくいなと思い、最初の目標としてG検定に目をつけました。何年も前に応用情報技術者試験に合格して以来、資格試験と...

Critical Learning Period in Deep Networks (2019)Critical Learning Period in Deep Networks (2019) 発表場所Published as Conference Paper at ICLR 2019 DOI（なければURL）https://arxiv.org/abs/1711.08856 概要ANNにおける臨界期についての研究臨界期（critical period ）:動物の脳の発達期にみられる指数的な表現学習の進行が起きる期間初期感覚入力がその後の回復...

この記事では、重みパラメータの初期値やデータの整形をするBatch Normalizationの働きを解説しています。 はじめにこれまでの記事では、ニューラルネットワークの学習の内部構造について解説してきました。1つ前の記事に飛ぶには下のブックマークをクリックしてください。https://zenn.dev/logeeeeee/articles/e89c1cc09008ed今記事では、ニューラルネットワークという処理体系の内容ではなく、そこに入れる入力値の決め方についての工夫の仕方を取り扱っています。処理される前にパラメータなどを整形することは一見、ニューラルネットワークの学習を...

この記事では、損失関数を用いて勾配降下法を実践するにあたり鍵となるパラメータの更新について説明しています。SGD,Momentum,Adagradなどのモデルとの比較もしています。 はじめにE.勾配消失問題 の記事では、「損失関数」と「活性化関数」を調節することで勾配消失問題が回避できることについて解説しました。また、重みの初期化、正規化、学習率の値の調整をすることでも勾配消失を起こしづらくすることができることを説明しました。https://zenn.dev/logeeeeee/articles/6d8784473faaf2損失関数の形をいじる方は「構造的に」学習が進みづらくす...

この記事では、実際に勾配降下法を用いて最小値を求めようとするときに陥りうる問題である 勾配消失問題 とその解決方法について説明します。 はじめにこの記事の内容は、C.誤差逆伝播法、D.損失関数と勾配降下法に引き続いて、損失関数を用いて最小値を求めるアルゴリズムについて扱っています。一つ前の記事へは下のブックマークから飛ぶことができます。https://zenn.dev/logeeeeee/articles/b972b5bb03c173勾配降下法が陥り得る問題である勾配消失問題を解消する形でこのアルゴリズムの修正をします。 勾配降下法で起こり得る事態D.損失関数と勾配降下法...

この記事では、ニューラルネットワークの性能を評価する指標となる「損失関数」及び「活性化関数」を用いた最小値の求め方「勾配降下法」について解説します。 はじめに前の記事（C.誤差逆伝播法）では勾配の求め方についての説明をしました。https://zenn.dev/logeeeeee/articles/a5aa7a7a0b6c5fこの記事では誤差逆伝播法で求められた勾配値の扱い方を解説します。この記事は、損失関数を用いて最小値を算出する一連の計算過程を解説した記事の中で、C.誤差逆伝播法に続く二番目の記事になります。 損失関数損失関数は、そのモデルの認識精度の悪さを表す指...

この記事では、 勾配降下法 を実行するにあたり必要となる勾配を算出する方法 誤差逆伝播法 を解説しています。 はじめに1つ前の記事ではミニバッチ学習などの訓練データの分割方法について解説しました。https://zenn.dev/logeeeeee/articles/ca5c607197d183深層学習において、効率的に関数の最小値を求めるためには「勾配降下法」を使うことになりますが、そのためには関数の勾配を求める必要があります。関数の勾配とは、簡単にいうと微分の対象を、一変数関数から多変数関数に変えたものとなります。一般的に使われる f(x) = 5x + 6 や f(x,y...

この記事では、ニューラルネットワークの学習において、一度の学習に使われるデータ量に関する内容を取り扱っています。 はじめに1つ前の記事（A.訓練データ、検証データ、テストデータと過学習）では、データを幾つかに分けた上で学習を実行すべき理由を説明しました。下のurlから一つ前の記事に飛べます。https://zenn.dev/logeeeeee/articles/78d1a686f4397dミニバッチ学習の説明にいきなり入る前に、まずデータ量に関する用語をまとめます。 データに関する用語のまとめデータの量を表す用語のまとめです。!バッチサイズ → 一回のパラメータ更新に...

この記事では、データを訓練データ、検証データ、テストデータの三つに分ける必要性を解説します。 機械学習の目的を振り返って機械学習の目的は、与えられたデータを学習してそこに一般法則を見出し、未知のデータを予測できるようになることです。決して、学習に使うために用意されたデータに対してのみ正しく判定ができるアルゴリズムを作りたい訳ではありません。!学習を行ったデータだけでなく、未知のデータにも適応できる能力のことを汎化性能と呼びます。学習に使うように集められたデータは飽くまで未知のデータを予測するときに参考にするデータに過ぎません。ですので、学習のために使用するデータを学習しすぎ...

この記事は、ニューラルネットワークについて学んでいる方に向けて私が執筆した記事群をまとめて紹介する記事になっています。この記事ではニューラルネットワークにおける「学習」がどのようにされているのかをざっと解説しています。 ニューラルネットワークの学習とは？ニューラルネットワークの記事で扱ったように、重みとバイアスの値は更新可能なものです。「重みとバイアスの値を与えられたデータに対して適合するように値を更新していくこと」を 学習 と呼びます。ここから先の記事ではニューラルネットワークの学習の仕方を、フローチャートの図を基にして詳細に解説をします。この記事では、まだ解説していない専門用語...

はじめにPythonのパッケージを使う際、Python 3.9 - 3.11といったようにPythonのバージョンが指定されていることが多々あります。特定のバージョンのPythonを使わないと、パッケージがうまく動作しない事は、機械学習のパッケージを使う時などによくある事です。もし、別のバージョンのPythonが必要となった際、再インストールするのは面倒です。こんな時の問題を解決してくれる主要なツールとしてpyenvがあります。今回は、pyenvを使用して安全に複数のバージョンのPythonをインストールし、コマンドで簡単にPythonのバージョンを切り替える方法について解説し...

1. はじめに物体検出は監視カメラなどの映像から特定の物体を検出する技術です。物体検出は、コンピュータビジョンの中で非常に重要なタスクであり、YOLO（You Only Look Once）モデルはその中でも最も主要なアルゴリズムの一つです。YOLOは、高速かつ高精度な物体検出を実現するために設計され、リアルタイムでの物体検出において広く利用されています。本記事では、YOLOの概要と、2024年時点での最新バージョン（YOLOv11）について解説します。そして、PythonでYOLOを実装する方法についてもわかりやすく説明します。 2. YOLOの概要YOLOは、物体検出タス...

はじめに骨格推定（Pose Estimation）は、画像や動画から人物の関節位置を特定する技術で、スポーツ分析やリハビリテーション、人間の動作認識、AR（拡張現実）など、さまざまな分野で利用されています。リアルタイムで骨格推定を行うためには、高速で効率的な推定手法が求められます。本記事では、代表的な骨格推定ライブラリであるMediaPipeとOpenPoseを比較し、その後、MediaPipeを使った骨格推定の実装方法を紹介します。 骨格推定の実装方法骨格推定を実現するためのライブラリにはいくつかの選択肢がありますが、MediaPipeとOpenPoseが代表的です。両者...

はじめにPythonのライブラリを使い、お手軽に顔認証を実装するテーマの第2回目になります。前回の記事はこちら --> 【Python】お手軽に顔認証を実装する①今回は、画像データをクライアントからサーバに送り、サーバで顔認証を行い、認証結果をクライアントに返却するプログラムを実装していきます。顔認証を実践で使うときは、このパターンが多いかと思いますので、ぜひ読んでみてください。 今回実装するシステムのイメージ図 動作環境M1 MacPython 3.9.6 ライブラリのインストール前回に引き続き、顔検出・顔認証の機能に関しては、無料で使えるPyt...