Итерация по ценностям

Итерация по ценностям решает марковский процесс принятия решений: она находит V(s) — наибольшую суммарную дисконтированную награду, которую можно получить, начиная из состояния s.

Здесь переходы детерминированы. В состоянии s действие a даёт награду rewards[s][a] и ведёт в состояние next_states[s][a], где -1 означает конец эпизода. Начните с V(s) = 0 для каждого состояния и повторите iterations раз, вычисляя каждое новое значение по предыдущему проходу:

V_new(s) = максимум по a от ( rewards[s][a] + gamma × V(next_states[s][a]) )

где слагаемое gamma × V равно 0, если следующее состояние равно -1.

Реализуйте value_iteration(next_states, rewards, gamma, iterations).

Входные данные

next_states: Для каждого состояния — следующее состояние каждого из его действий (-1 завершает эпизод). У состояний может быть разное число действий.

rewards: Награда за каждое действие, той же формы, что и next_states.

gamma: Коэффициент дисконтирования.

iterations: Число проходов.

Выходные данные

Верните V после последнего прохода, по одному значению на состояние.

Ограничения

1 ≤ состояния ≤ 200, 1 ≤ действия на состояние ≤ 10, 0 ≤ iterations ≤ 1 000

-100 ≤ каждая награда ≤ 100, 0 ≤ gamma ≤ 1

Примеры

Пример 1

Ввод:
next_states = [
    [0, 1],
    [0, 2],
    [-1]
]
rewards = [
    [0.0, 0.0],
    [0.0, 0.0],
    [10.0]
]
gamma = 0.9
iterations = 3

Ожидаемый вывод:
[8.1, 9.0, 10.0]

Пояснение

Проход 1: награду может получить только состояние 2, V = [0, 0, 10]. Проход 2: состояние 1 идёт вправо к нему, 0.9 × 10 = 9, V = [0, 9, 10]. Проход 3: состояние 0 получает 0.9 × 9 = 8.1. Результат: [8.1, 9, 10].

Пример 2

Ввод:
next_states = [
    [1, 0],
    [0, 1]
]
rewards = [
    [1.0, 2.0],
    [3.0, 0.0]
]
gamma = 0.0
iterations = 5

Ожидаемый вывод:
[2.0, 3.0]

Пояснение

При gamma = 0 будущее не учитывается, поэтому ценность каждого состояния — просто его лучшая немедленная награда: [2, 3].

Ссылки

Запустите примерные тесты, чтобы проверить код без отправки.

Пример 1 Не запущено

Ввод:

next_states = [
    [0, 1],
    [0, 2],
    [-1]
]
rewards = [
    [0.0, 0.0],
    [0.0, 0.0],
    [10.0]
]
gamma = 0.9
iterations = 3

Ожидаемый вывод:

[8.1, 9.0, 10.0]

Ваш вывод

Пример 2 Не запущено

Ввод:

next_states = [
    [1, 0],
    [0, 1]
]
rewards = [
    [1.0, 2.0],
    [3.0, 0.0]
]
gamma = 0.0
iterations = 5

Ожидаемый вывод:

[2.0, 3.0]

Ваш вывод

При отправке также выполняются ещё 4 скрытых теста. Если код не пройдёт один из них, вы увидите этот тест. Решите задачу, чтобы увидеть все.

Онлайн-компилятор Go (Го, Golang)

Write, compile, run, and debug Go code online in a full-featured browser IDE. Work with multiple files, save your workspace, and collaborate in real time - no setup required.

Версия

Предустановленные библиотеки

🚀 206,970 всего выполнений (799 в этом месяце)

Посчитайте количество пар позиций, значения которых в сумме дают целевое число.

Вы освоите Пары индексовБез двойного счёта

ArraysBeginnerLearning-pathNested-loops

Посмотреть решения (3)

🐹 Онлайн-компилятор Go (Го)

Онлайн-компилятор Go от CodeUtility позволяет писать и запускать код на Го (Golang) прямо в браузере - без установки, настройки и локального окружения. Он работает в защищённой песочнице и поддерживает реальные версии компилятора Go 1.19, 1.20 и 1.21.

Этот инструмент компилирует и выполняет настоящие программы на Go в облаке, обеспечивая реальную среду Go. Вы можете тестировать короткие сниппеты, экспериментировать с пакетами и изучать мощные возможности конкурентности Go с горутинами и каналами.

Он идеально подходит для изучения и практики ключевых концепций Go: переменные, функции, структуры, срезы, отображения, интерфейсы и обработка ошибок - и всё это без установки каких‑либо инструментов локально.

Независимо от того, впервые ли вы изучаете Go, тестируете бекенд‑логику или разбираетесь с конкурентностью, онлайн-компилятор Go предлагает простой, быстрый и полностью браузерный способ мгновенно запускать код Go.

Больше, чем просто запуск кода

В одном редакторе есть всё для работы: несколько файлов, изолированный терминал, библиотеки для выбранной версии, сохранение проектов, общий доступ по ссылке и совместная работа в реальном времени.

Как пользоваться редактором

Выберите версию языка, откройте или создайте файл, напишите код и нажмите «Запустить». Результат появится в терминале. После входа в аккаунт можно хранить файлы в рабочем пространстве, устанавливать библиотеки и работать над кодом вместе с другими.

Выберите версию и отредактируйте текущий файл или откройте другой файл рабочего пространства.
Запустите код, при необходимости введите данные в терминале и просмотрите сохранённую историю запусков.
Используйте библиотеки, инструменты рабочего пространства, общий доступ и чат, когда для задачи требуется несколько фрагментов кода.

Начать кодирование

ВерсияПеред запуском выберите среду выполнения. Установленные библиотеки относятся к выбранной версии языка.
В списке открытых файлов показаны текстовые файлы рабочей области. Выберите файл, чтобы открыть его во вкладке редактора.
Кнопка «Запустить» выполняет активный файл и предоставляет программе доступ к рабочей области.
Кнопка «Остановить» завершает выполнение программы до истечения лимита времени.
Расширенный режим открывает IDE с файловым проводником и терминалом с изменяемым размером.

Рабочее пространство и библиотеки

Команда «Новый файл» создаёт файл в выбранном каталоге и открывает его в редакторе.
Команда «Новая папка» создаёт каталог в рабочей области.
Команда «Загрузить файлы» добавляет в каталог один или несколько безопасных файлов.
Команда «Скачать» сохраняет файл или архив каталога на вашем устройстве.
Команда «Копировать» создаёт копию файла или каталога рабочей области.
Команда «Переименовать» изменяет имя файла и обновляет его открытую вкладку и историю.
Команда «Переместить» переносит элемент; файлы и каталоги также можно перетаскивать.
Команда «Удалить» удаляет элемент после подтверждения и закрывает открытую вкладку редактора.
Раздел «Предустановленные библиотеки» показывает пакеты, включённые в выбранную среду выполнения.
Кнопка «Добавить библиотеку» устанавливает личный пакет для вашей учётной записи и выбранной среды выполнения.

Терминал и помощь

История выполнения открывает предыдущие и следующие сохраненные результаты.
Кнопка «Копировать вывод» помещает текст терминала в буфер обмена.
Команда «Очистить вывод» после подтверждения удаляет сохранённые результаты выполнения.
Функция «Объяснить» анализирует активный код и кратко описывает его работу.
Раздел «Недавние» показывает последние объяснения и результаты.
В настройках можно изменить шрифты, темы и набор кнопок панели инструментов.

Обмен и сотрудничество

Функция «Поделиться» публикует текущий файл, каталог или всю рабочую область как снимок либо живую рабочую область. Вы управляете доступом по ссылке и правами на сохранение изменений.
Журнал показывает сохранённые действия соавторов в общей рабочей области.
Общий чат позволяет вошедшим в систему участникам отправлять сообщения, упоминать людей, делиться блоками кода и видеть участников, находящихся в сети или печатающих сообщения.
Совместная работа в реальном времени показывает курсоры соавторов и сохранённые обновления файлов. Пользователи с доступом только для просмотра могут загрузить последнюю версию или сохранить временные изменения у себя.

Квоты и лимиты

Один запуск на сервере может длиться не более 20 секунд. Чтобы завершить его раньше, нажмите «Остановить».
Для каждой рабочей области и языка доступно до 100 файлов, 100 каталогов и 10 МБ хранилища.
Размер одного файла ограничен 1 МБ, а глубина каталогов - пятью уровнями. Эти ограничения распространяются и на файлы, созданные программой.
Для каждой учётной записи и среды выполнения можно установить до 10 личных пакетов.
Снимки общих ресурсов могут содержать до 100 файлов, 1 МБ каждый файл и общий размер 2 МБ.
К одной общей рабочей области можно пригласить до 25 человек; права доступа и сохранения настраиваются отдельно.
В общем чате сообщение может содержать до 2000 символов, а история - до 10 000 сообщений.
Ограничения действуют и во время выполнения кода. Операции, превышающие лимит количества файлов, размера, хранилища или глубины вложенности, безопасно отклоняются.

Приятно знать Запускайте код и устанавливайте только те пакеты, которым доверяете. Выполнение изолировано и ограничено, но программа всё равно может изменять доступные для записи файлы рабочей области в пределах установленной квоты.

💡 Основы Go и примеры, которые можно попробовать выше

1. Объявление переменных и констант

Используйте var или := для объявления переменных. Используйте const для констант.

package main

var x int = 10
const Pi = 3.14

func main() {
    name := "Алиса"
    isActive := true
    println(x, Pi, name, isActive)
}

2. Условия (if / switch)

Go поддерживает конструкции if-else и switch с лаконичным синтаксисом.

x := 2
if x == 1 {
    println("Один")
} else if x == 2 {
    println("Два")
} else {
    println("Другое")
}

switch x {
case 1:
    println("Один")
case 2:
    println("Два")
default:
    println("Другое")
}

3. Циклы

В Go есть только цикл for, но он может работать как цикл while.

for i := 0; i < 3; i++ {
    println(i)
}

n := 3
for n > 0 {
    println(n)
    n--
}

4. Массивы

Массивы имеют фиксированный размер. Для динамических списков используйте срезы.

var nums = [3]int{10, 20, 30}
println(nums[1])

5. Работа со срезами

Используйте срезы и функции append, len, copy, а также синтаксис срезов.

fruits := []string{"яблоко", "банан"}
fruits = append(fruits, "вишня")
fruits = fruits[1:]  // срез
println(len(fruits))

for _, fruit := range fruits {
    println(fruit)
}

6. Ввод/вывод в консоль

Используйте fmt.Print, fmt.Scan и fmt.Println.

import "fmt"

var name string
fmt.Print("Введите ваше имя: ")
fmt.Scan(&name)
fmt.Println("Привет", name)

7. Функции

Функции объявляются с помощью func и могут возвращать несколько значений.

func greet(name string) string {
    return "Привет, " + name
}

message := greet("Алиса")
println(message)

8. Отображения (maps)

Отображения - это хранилища ключ-значение. Объявляются через make().

ages := map[string]int{"Алиса": 30}
ages["Боб"] = 25
println(ages["Алиса"])

9. Обработка ошибок

В Go для ошибок используются множественные возвращаемые значения вместо исключений.

import "errors"

func fail() error {
    return errors.New("что-то пошло не так")
}

err := fail()
if err != nil {
    println(err.Error())
}

10. Файловый ввод/вывод

Используйте пакеты os и io/ioutil для чтения/записи файлов.

import (
  "fmt"
  "os"
  "io/ioutil"
)

ioutil.WriteFile("file.txt", []byte("Привет, файл"), 0644)

data, _ := ioutil.ReadFile("file.txt")
fmt.Println(string(data))

11. Работа со строками

Используйте пакет strings для операций со строками.

import "strings"

text := "  Привет, мир  "
println(strings.TrimSpace(text))
println(strings.ToUpper(text))
println(strings.ReplaceAll(text, "Привет", "Хай"))

words := strings.Split(text, " ")
fmt.Println(words)

12. Структуры и объекты

Используйте структуры, чтобы определять собственные типы с методами.

type Person struct {
  Name string
}

func (p Person) Greet() string {
  return "Привет, я " + p.Name
}

p := Person{Name: "Алиса"}
println(p.Greet())

13. Ссылки (указатели)

Go поддерживает указатели с помощью * и &.

x := 10
ptr := &x
*ptr = 20
println(x) // 20