テンソルと自動微分から、ニューラルネットワークの基礎・学習を安定させる技術・CNN と転移学習・Attention と Transformer・推論の高速化・モデルの配布まで。全50レッスンで「モデルの中身を自分で組んで学習させ、ONNX と API にして配れる」ところまで進みます。コードと出力はすべて PyTorch 2.14.0 で実際に動かしたものです。
全50レッスンを7つの章に分けています。第1章から順に進めるのがおすすめですが、
気になるところだけ拾い読みしてもかまいません。
※ torch を使うためブラウザ内では実行できません。手元に仮想環境を作り、pip install torch torchvision して試してください。GPU は無くてもかまいません。CUDA が使える環境なら cuda、Apple Silicon の Mac なら mps が使えます。
PyTorch の土台になる 2 つ、テンソルと自動微分を押さえます。最後は optimizer を使わずに、勾配降下法だけで線形回帰を解きます。
全結合層・活性化関数・損失関数・nn.Module・学習ループ・DataLoader をひととおり動かします。最後は 2 クラス分類を、標準化から混同行列まで通しで 1 本書きます。
学習率・最適化手法・スケジューラ・初期化・正則化・Dropout・正規化層を、すべて同じデータで比べて数字で確かめます。最後は検証データを切り出して早期終了まで進みます。
畳み込みとプーリングの仕組みから、残差接続・データ拡張・転移学習まで。最後は学習済みの resnet18 をファインチューニングして、ゼロから学習との差を実測します。
RNN の限界を測ってから、Attention を自分で書き、Transformer ブロックを組み立てます。最後は自作の Transformer で文字レベルの言語モデルを学習させ、文を生成させます。
実験の記録・再現性・推論の高速化・保存と読み込み・TorchScript と torch.compile。「もう一度同じ結果を出せる」「本番で使える速さにする」ための道具をそろえます。
ONNX で書き出し、FastAPI で推論 API にして、モデルを配れる形にします。最後に 50 レッスンぶんの道具を 1 本のスクリプトに畳んで、次にどこへ行くかを整理します。
全50レッスンを終えたら、データの前処理と古典的な手法を Python & 機械学習 入門コース で、学習済みの大規模モデルを呼んでアプリにする側を AI アプリ開発入門コース で。推論 API を本番に出すところは サービス公開と運用入門コース へ。メンバーシップで全コースが解放されます。