最適化 (optimizer)

Optimizer クラス

class binarybrain.optimizer.Optimizer(core_optimizer=None)

ベースクラス: Object

Optimizer の基本クラス

set_learning_rate(learning_rate)

学習率設定

set_variables(params, grads)

変数設定

パラメータ

• params (Variables) -- 学習対象のパラメータ変数

• grads (Variables) -- paramsに対応する勾配変数

step()

パラメータ更新

set_variablesで設定された勾配変数に基づいた学習をset_variablesで 設定されたパラメータ変数に適用する

update()

パラメータ更新＆勾配ゼロクリア

set_variablesで設定された勾配変数に基づいた学習をset_variablesで 設定されたパラメータ変数に適用して、勾配をゼロクリアする

zero_grad()

勾配のゼロクリア

set_variablesで設定された勾配変数をゼロクリアする

OptimizerSgd クラス

class binarybrain.optimizer.OptimizerSgd(learning_rate=0.001, dtype=DType.FP32)

ベースクラス: Optimizer

SGD 最適化クラス

パラメータ

learning_rate (float) -- 学習率

OptimizerAdaGrad クラス

class binarybrain.optimizer.OptimizerAdaGrad(learning_rate=0.01, dtype=DType.FP32)

ベースクラス: Optimizer

AdaGrad 最適化クラス

パラメータ

learning_rate (float) -- 学習率

OptimizerAdam クラス

class binarybrain.optimizer.OptimizerAdam(learning_rate=0.001, beta1=0.9, beta2=0.999, dtype=DType.FP32)

ベースクラス: Optimizer

Adam 最適化クラス

パラメータ

• learning_rate (float) -- 学習率

• beta1 (float) -- beta1

• beta2 (float) -- beta2