Issue link: https://trendsintech-japan.mouser.com/i/1540382
きな重みをペナルティすることで過 学習を低減します。L1 正則化では、 重みの絶対値の和が追加され、重 要度の低い重みをゼロに近づける ことでスパース性を高めます。これ は、特徴選択の一形態としても機 能します。L2 正則化では、重みの 二乗の和を加算することで、大きな 重みを抑制し、すべての特徴に分 散することでモデルの滑らかさを促 進します。ドロップアウト手法で は、トレーニング中にニューロンを ランダムに削除し、特定のネットワ ーク経路への過度の依存を防ぎます。 低ランク分解 低ランク分解は、大きな重みの行列 を、より小さく単純な行列に分解す ることで、ML モデルの計算およびメ モリの要求を削減します（図 2）。一 般的なニューラルネットワークでは、 重み行列は巨大になり、膨大なメモ リと処理能力を消費します。低ラン ク分解は、これらの大きな行列を 2 つ以上の小さな行列の積として近似 し、保存および操作に必要なパラメー タの数を減らします。この分解によ り、順方向および逆方向のパスで必 要な操作数が大幅に削減され、推論 とトレーニングの速度が向上します。 図 2：低ランク分解は、わずかな近似誤差のみを導入しながら、重要な情報のほとんどを保持するため、IoT ハードウェアやマイクロコントローラなどのリソースが制限されたデバイスでも、効率的な推論とトレーニングを 行うことができます。（出典：Green Shoe Garage。マウザーにより再作成。） 効率的な損失関数 損失関数は、モデルの予測値が実 際の値からどれだけ乖離してい るかを測定する数式です。これ は、パフォーマンスを向上させる ためのトレーニングプロセスを導 きます。このような関数には、二 値交差誤差、平均二乗誤差 (MSE) 、 ヒンジ損失などがあります。 バイナリクロスエントロピー この損失関数は、データを 2 つのカテ ゴリ（例えば「はい」または「いい え」、「猫」または「犬」）に分類す ることが目的である、二値分類タスク で一般的に使用されます。これは、確 率ベースの予測の精度を直接測定し、 モデルが 2 つのクラスを正確に区別す ることを保証するため、複雑度の低い モデルに特に効率的かつ効果的です。 二乗平均誤差 回帰タスク（住宅価格や気温などの 連続値を予測するタスク）によく適 用される MSE は、予測値と実際の 値の平均二乗差を計算します。この 方法は計算負荷が軽く、単純である ため、リソースに制約のある環境に おいて実用的な選択肢となります。 ヒンジの紛失 この損失関数は、分類タスク用に 設計されたモデルの一種であるサ 33 |