G検定2026第4回 学習記録① 自己紹介SAP FIエンジニア 30年以上AI・機械学習、英語を独学中読書（最近Kindle Scribe買いました） なぜG検定を受けるかSAP × AI のフリーランスとして差別化したい。 今日学んだこと機械学習機械学習の定義：人工知能のプログラム自身がデータから学習する仕組みである。 新しい画像が提示されたとき、犬か、猫か判断する場合、あらかじめ、犬の画像サンプル、猫の画像サンプルを学習し、犬と、猫の境界を明確にしておく。この場合、犬か、猫かのどちらかなので、犬のグループと、猫のグループを分ける直線が引け...

きのう the-decoder が報じた研究の一文が、ずっと頭に残っている。OLMo を 4M から 4B パラメータまで揃えて 210B トークン学習させ、わざと出現頻度を変えた人工タスクを混ぜたところ、「10 バッチに 1 回くらい（およそ 0.25%）しか出てこないタスク」を学習できたのは大きいモデルだけだった、という結果だ（Anthropic とスタンフォードらのチーム）。これが意味するのは、私たちが「創発（emergent abilities、ある規模を超えると急に出てくる能力）」と呼んできたものの正体が、賢さの問題ではなく忘却の問題だったということだ。 「大きいから賢...

!本記事はClaude Code（claude-opus-4-8）で執筆し、内容は人間がチェック・編集しています。たった538枚の病理スライドで卵巣がん5サブタイプ+未知クラスを当てる、という極端な少データ勝負。勝敗を分けたのは、ゼロから学習するのではなく、巨大データで事前学習済みの「病理Foundation Model」を凍結してそのまま土台に使えたかでした。優勝した Owkin は自社開発の Phikon を凍結し、その上に軽量な MIL（Chowder）を載せただけ。上位の多く（2・3・6・7位）も Phikon や Lunit-DINO といった病理FMを同じく土台にしてい...

近年Meta[1] [2]、ByteDance[3]、Kuaishou[4]、Google[5]、Alibaba[6]といったビッグテックの企業から、Generative Recommendationに関する手法が数多く発表されています。これは、推薦システムの問題設定を新しい形で定義するもので、RecSys、CIKM、WWWなどの学会でもチュートリアルが開かれたりとホットなトピックになっています。この記事では、Generative Recommendationの概要からSemantic IDなどの構成要素の解説、そしてMovielensを使った実装まで紹介していこうと思います。詳細...

はじめにG検定に合格したので、勉強中に感じたことや、やってよかったことをまとめます。この記事は、すごく綺麗な学習ロードマップというより、どちらかというと「実際に勉強してみたら、ここで詰まった」「でもここが分かると急に景色が変わった」という体験記です。これからG検定を受ける方、とくに勉強を始めたばかりで、用語が多すぎてつらい機械学習とディープラーニングの違いがふわっとしているCNN、RNNあたりで頭がこんがらがる結局、合格目的なら何を優先すればいいの？という方の参考になればうれしいです。 合否結果結果は、無事に合格でした。=================...

MNISTの実装手書き数字のデータセットであるMNISTから数字を認識するようなニューラルネットワークをPyTorchで実装した．モデルの構築と学習を以下に示す．import torchfrom torch import nn, optimfrom torchvision import datasets, transformsfrom torch.utils.data import DataLoaderimport matplotlib.pyplot as pltdevice = torch.device("cuda" if torch.cuda.is_availa...

はじめに私は40代中盤の管理職です。若手エンジニアではありません。数学が得意なわけでもありません。平日は会議や資料作成に追われ、まとまった勉強時間を確保するのも難しい立場です。そんな私が、E資格に挑戦しました。結果は、1回目：不合格2回目：合格でした。今振り返ると、不合格は必然でした。なぜなら私は、「理解したつもり」になっていたからです。この記事では、なぜ1回目で落ちたのか何を変えて合格できたのか40代中盤の管理職がE資格を学ぶ意味を率直にお伝えします。これから受験する方や、一度不合格になった方の参考になれば幸いです。 最初に結果だけま...

!この記事は以下のブログ記事の要約です。コード・グラフ・詳細な考察は元記事をご覧ください。👉【Keras】Dense層の活性化関数はどれがいい？relu・sigmoid・tanh・linearをCIFAR-10で比較実験「Dense層の活性化関数はとりあえずreluでいい？」——実は、BatchNorm環境では sigmoid が relu を上回ることがある。CIFAR-10でrelu / sigmoid / tanh / linearを比較した結果をまとめます。 結果サマリー活性化関数テスト精度Val最高値過学習ギャップsigmoid0.755...

「CNN、Transformer、BERT、GAN、Stable Diffusion……名前は知っているけれど、結局それぞれ何が違って、どう使い分けるのかを説明しろと言われると詰まる」。技術名を1つずつ暗記してもこの感覚は消えません。効くのは、全体を貫く"分類の軸"を先に持つことです。この記事では、あらゆるモデルを たった3つの問い で整理する地図を用意し、その上に主要技術（最新の Mamba や拡散Transformerまで）を配置していきます。 対象読者・前提深層学習・生成AIの用語は耳にするが、互いの違い・使い分けが整理できていない方全体像（地図）を先に俯瞰してから、個...

Back Propagationの学習効率化Back Propagationの学習効率化はさまざまな手法がある．今回は，逐次修正法，一括修正法，モーメント法の3つに着目する． 逐次修正法逐次修正法は，各入力パターンに対して，修正量を計算した後に即座に重みと閾値を修正する手法である．修正量が少なく，修正回数が多いため，極小値へ収束するスピードが遅く，プラトーから抜けにくい．この手法は，前回のあほあほバージョンおよび行列・ベクトル表現バージョンに用いられるため，ご参考ください． 一括修正法一括修正法は，入力の全パターンの修正量を計算し蓄積した後に，やっと一括で重みを修正する...

ニューラルネットワークの実装XOR演算を実現するニューラルネットワークを考える．入力が2つ，出力が1つなため，入力ニューロンを2つ，出力ニューロンを1つとする．中間ニューロンを2つとする．XORは入力が，00, 01, 10, 11の4パターンがあり，それぞれに対して0, 1, 1, 0が正解である．これを教師信号として扱う．重みや閾値はランダムに初期化する．Pythonで前回説明したニューラルネットワークの構造，前向き計算およびBack Propagationの処理を実装する． あほあほバージョンニューラルネットワークの一つ一つの重みや閾値を修正し，一つ一つに対して前向...

はじめに普段は AWS の SA として自動運転モデルの開発に携わっています。特に AWS を用いた DataOps / MLOps などのプラットフォーム側を本業では強みとしていますが、一方で Autoware Foundation の Robotaxi Working Group にも参加しています。そちらでも E2E の自動運転モデル開発に取り組んでいますが、その活動の中で今回紹介するマルチカメラ統合モジュールを書いたのをきっかけに、私自身もあまり PyTorch を使ってちゃんとネットワークを組んでこなかった中で向き合うことになったので、このブログを書くことにしました。B...

Just Train Twice 論文解説：失敗例を重く見るだけで group robustness を改善するシンプルな手法機械学習モデルの性能を評価するとき、最もよく用いられる指標は平均精度である。訓練データ全体、あるいはテストデータ全体に対して、どれだけ正しく予測できたかを見る。この評価は単純で分かりやすく、多くの場面で有用である。しかし、平均精度が高いことは、すべてのデータ群に対して安定して高い性能を示すことを意味しない。特に、入力とラベルの間に 疑似相関 が存在する場合、ERM によって学習されたモデルは、その疑似相関に依存することで平均的には高い精度を達成しつつ、特定...

「BERTはエンコーダ、GPTはデコーダ、T5はエンコーダデコーダ」——名前は聞くけれど、結局入力と出力に何が起きているのか、学習と推論はどう違うのかがぼんやりしている。そんな状態を一気に解消することを目指した記事です。 対象読者・この記事で扱うこと対象: Transformer系モデルの名前は知っているが、エンコーダ／デコーダ／エンコーダデコーダの違いを自分の言葉で説明できない人前提知識: ニューラルネットの超基本（入力→中間層→出力くらい）がわかればOK。数式はほとんど使いません扱うこと: 3アーキテクチャの「入出力・アーキテクチャ図・推論手順・学習手順・使いどころ...

Back Propagation とは前述より，重みと閾値はランダムに初期化され，学習データに基づいて調整される．ニューラルネットワークが望ましい出力をするために，重みを調整する必要がある．Back Propagation法は，それを行う手法である． Back Propagation の導出入力層I，中間層J，出力層Kそれぞれ1つの3層ニューラルネットワークを考える．前向き計算で示した式より，ニューロンの出力をo，閾値を\theta，積和をX，シグモイド関数をf(x)，とすると，層Kにおけるニューロンkの出力、いわゆるニューラルネットワークの出力を以下の式で示す．\beg...

ニューラルネットワークとはニューラルネットワーク（Neural Network, NNで省略）は，複雑な処理ができる人間の脳の構造を模した計算モデルである．多数の「ニューロン」と呼ばれるものから構成され，ニューロンとニューロンがつなぎあい，層状に結合される．ニューラルネットワークは，学習データに基づいて中身の重みを調整すれば，パターン認識，画像認識，自然言語処理，予測，さまざまな分野で活用できるモデルである． 前向き計算 ニューラルネットワークの全体構造ニューラルネットワークのニューロンは，層状に結合される．入力層，隠れ層（中間層とも呼ばれる），出力層に分かれ，入力層と...

はじめにこの記事は、以下の論文を読んだ技術メモです。論文タイトル: Learning Rate Engineering: From Coarse Single Parameter to Layered Evolution論文リンク: https://arxiv.org/abs/2604.27295著者: Ming-Hong Yao, Di Wang, Jian Cui, Jin-Yan Chen, Zi-Hao Cui, Fa Wang, Chen Wei, Qiu-Ye Yu公開日: 2026年4月30日詳細な背景説明、数式、図解、実験結果の整理は個人ブログ側に...

はじめにRustのDLフレームワーク Burn の公式チュートリアル[1]を読み進めていて、4章のモデル定義コードを見たとき、最初にこう思った。pub struct Model<B: Backend> { ... }「B って何？Backend って何？なんで型パラメータが必要なんだ？」PyTorchなら model.to(device) で済む話では？と思ってしばらく止まった。でも最終的に「これRustの強みをそのまま活かした設計だ」と気づいたとき、Burnがなぜこうなっているかが腑に落ちた。この記事ではその体験を交えながら、Burnでモデルを定義する仕組みを...

#理論編##iOSでも機械学習モデルがつかえるCoreMLをつかうことで、エッジデバイスでも学習済みモデルが使えます。以下のモデルは全てiOSのデバイスでサーバー通信なしでつかえます。Image Classification 画像分類：EfficientnetをCore MLに変換する【変換済みモデルあり】類似度測定Object Detection 物体検出：公式YOLOv３物体検出モデルをiOSで使う手順。Semantic Segmentation 意味的画像分割：DeepLab V3+ をCore MLに変換するImage Generation 画像生成：この...

#データセットづくりにフォルダ内の画像を一気に切り抜けるノートブックをつくりました。TensorFlow公式のDeepLabのノートブックが元になっています。#使い方1,ノートブックを開く。2,ご自身のGoogle Driveに切り抜きたい画像のフォルダをアップロード。保存先フォルダも作る。3,ノートブックからGoogle Driveをマウント4,メニューから、切り抜きたいオブジェクト、背景モード、使用したいモデル、画像フォルダのパス、保存先フォルダのパス、入力画像拡張子を選択。5,ノートブックを実行画像フォルダ内のすべての画像が切り抜かれ、保存フォルダに保存...