多腕バンディットは、払い戻しのわからないスロットマシン (アーム) の列です。ε-greedy は探索と活用のバランスを取ります。確率 epsilon でランダムなアームを引き、それ以外は推定価値が最も高いアームを引きます。
テストできるように、乱数は与えられます。すべてのアームについて推定値 Q = 0、回数 N = 0 から始めます。各ステップ t で:
random_values[t]< epsilon なら探索: arm =random_arms[t]。そうでなければ活用: arm = Q が最も高いアーム (同点なら最も小さいインデックス)。- reward =
rewards[t][arm]を受け取ります。 - N[arm] ← N[arm] + 1、Q[arm] ← Q[arm] + (reward - Q[arm]) / N[arm] (逐次平均)。
epsilon_greedy(rewards, epsilon, random_values, random_arms) を実装してください。
入力
rewards: 1 ステップにつき 1 行で、そのステップに各アームが払う報酬。
epsilon: 探索する確率。
random_values: ステップごとの [0, 1) の乱数。
random_arms: 探索する場合に各ステップで引くアーム。
出力
最終的な推定値 Q をアームごとに 1 つずつ返します。
制約
1 ≤ ステップ数 ≤ 10,000、1 ≤ アーム数 ≤ 100
0 ≤ epsilon ≤ 1、-100 ≤ 各報酬 ≤ 100
例
入力：
rewards = [
[1.0, 3.0],
[1.0, 3.0],
[1.0, 3.0],
[1.0, 3.0]
]
epsilon = 0.1
random_values = [0.5, 0.05, 0.7, 0.9]
random_arms = [0, 1, 0, 0]
期待される出力：
[1.0, 3.0]解説
ステップ 0 は活用します。Q はどちらも 0 なのでアーム 0 を引き、Q = [1, 0]。ステップ 1 は探索 (0.05 < 0.1) でアーム 1 を試し、Q = [1, 3]。ステップ 2 と 3 はより良いアーム 1 を活用します。結果: [1, 3]。
入力：
rewards = [
[2.0, 5.0],
[4.0, 5.0],
[0.0, 5.0]
]
epsilon = 0.0
random_values = [0.5, 0.5, 0.5]
random_arms = [1, 1, 1]
期待される出力：
[2.0, 0.0]解説
epsilon = 0 ではエージェントは決して探索しません。アーム 0 を引き続け、平均は 2 → 3 → 2 と変わり、アーム 1 が 5 を払うことに気づきません。結果: [2, 0]。
参考資料
-
例 1 未実行入力：
rewards = [ [1.0, 3.0], [1.0, 3.0], [1.0, 3.0], [1.0, 3.0] ] epsilon = 0.1 random_values = [0.5, 0.05, 0.7, 0.9] random_arms = [0, 1, 0, 0]期待される出力：[1.0, 3.0]あなたの出力 -
例 2 未実行入力：
rewards = [ [2.0, 5.0], [4.0, 5.0], [0.0, 5.0] ] epsilon = 0.0 random_values = [0.5, 0.5, 0.5] random_arms = [1, 1, 1]期待される出力：[2.0, 0.0]あなたの出力
提出時に非公開テスト4件も実行されます。 失敗したテストがあれば、そのテストが表示されます。チャレンジを解くとすべて見られます。
Online Go Compiler
Write, compile, run, and debug Go code online in a full-featured browser IDE. Work with multiple files, save your workspace, and collaborate in real time - no setup required.
🐹 この Go オンライン実行環境について
CodeUtility Go Executor は、インストールやセットアップ、ローカル環境なしで ブラウザから直接 Go コードを記述・実行できます。安全なサンドボックスで動作し、 実際の Go コンパイラのバージョン 1.19、1.20、1.21 に対応しています。
このツールはクラウド上で本物の Go プログラムをコンパイル・実行し、実践的な Go 環境を提供します。 短いスニペットのテスト、パッケージの実験、goroutine とチャネルを使った強力な並行処理の学習ができます。
変数、関数、構造体、スライス、マップ、インターフェース、エラー処理など、 Go の基礎を学んで練習するのに最適です。ローカルにツールをインストールする必要はありません。
初めて Go を触る方、バックエンドのロジックを試す方、並行処理の仕組みを学ぶ方など、どなたにも。 CodeUtility Go Executor は、クリーンで高速なブラウザベースの実行環境を提供し、Go コードをすぐに動かせます。
同じ実行環境で、複数ファイル対応エディター、分離された実行ターミナル、ランタイム別ライブラリ、永続ワークスペース、共有、リアルタイム共同作業を利用できます。
この実行環境の使い方
ランタイムを選択し、ファイルを開くか作成してコードを記述し、［実行］を選択します。出力はターミナルに表示されます。サインインしたユーザーは、ワークスペースにファイルを保存し、ライブラリをインストールして、共有を通じて共同作業できます。
- バージョンを選択して現在のファイルを編集するか、ワークスペース内の別のファイルを開きます。
- コードを実行し、求められた場合はターミナルに入力して、保存された実行履歴を確認します。
- 複数のコードスニペットが必要な作業では、ライブラリ、ワークスペースツール、共有、チャットを利用します。
💡 上で試せる Go の基本とサンプル
1. 変数と定数の宣言
変数は var または := で宣言します。定数は const を使います。
package main
var x int = 10
const Pi = 3.14
func main() {
name := "Alice"
isActive := true
println(x, Pi, name, isActive)
}2. 条件分岐（if / switch）
Go はクリーンな構文の if-else と switch をサポートします。
x := 2
if x == 1 {
println("一")
} else if x == 2 {
println("二")
} else {
println("その他")
}
switch x {
case 1:
println("一")
case 2:
println("二")
default:
println("その他")
}3. ループ
Go には for だけがありますが、while のようにも使えます。
for i := 0; i < 3; i++ {
println(i)
}
n := 3
for n > 0 {
println(n)
n--
}4. 配列
配列は固定長です。可変長のリストにはスライスを使います。
var nums = [3]int{10, 20, 30}
println(nums[1])5. スライス操作
スライスと組み込みの append、len、copy、およびスライス構文を使います。
fruits := []string{"apple", "banana"}
fruits = append(fruits, "cherry")
fruits = fruits[1:] // スライス
println(len(fruits))
for _, fruit := range fruits {
println(fruit)
}6. コンソール入出力
fmt.Print、fmt.Scan、fmt.Println を使います。
import "fmt"
var name string
fmt.Print("名前を入力してください: ")
fmt.Scan(&name)
fmt.Println("こんにちは", name)7. 関数
関数は func で宣言し、複数の戻り値を返せます。
func greet(name string) string {
return "こんにちは、" + name
}
message := greet("Alice")
println(message)8. マップ
マップはキーと値のストアです。make() で作成します。
ages := map[string]int{"Alice": 30}
ages["Bob"] = 25
println(ages["Alice"])9. エラー処理
Go では例外の代わりに、エラーを複数戻り値で扱います。
import "errors"
func fail() error {
return errors.New("問題が発生しました")
}
err := fail()
if err != nil {
println(err.Error())
}10. ファイル I/O
ファイルの読み書きには os と io/ioutil パッケージを使います。
import (
"fmt"
"os"
"io/ioutil"
)
ioutil.WriteFile("file.txt", []byte("こんにちは、ファイル"), 0644)
data, _ := ioutil.ReadFile("file.txt")
fmt.Println(string(data))11. 文字列操作
文字列操作には strings パッケージを使います。
import "strings"
text := " Hello World "
println(strings.TrimSpace(text))
println(strings.ToUpper(text))
println(strings.ReplaceAll(text, "Hello", "Hi"))
words := strings.Split(text, " ")
fmt.Println(words)12. 構造体とオブジェクト
メソッド付きのカスタム型は struct で定義します。
type Person struct {
Name string
}
func (p Person) Greet() string {
return "こんにちは、私は " + p.Name
}
p := Person{Name: "Alice"}
println(p.Greet())13. 参照（ポインタ）
Go は * と & を使ったポインタをサポートします。
x := 10
ptr := &x
*ptr = 20
println(x) // 20