Многоголовое самовнимание

Многоголовое внимание позволяет Transformer обращать внимание на несколько вещей одновременно. Для входа X (n токенов × d столбцов) и матриц весов d × d:

Q = X × w_q, K = X × w_k, V = X × w_v
Разбейте d столбцов на num_heads голов по d_k = d / num_heads последовательных столбцов (голова h использует столбцы с h×d_k по (h+1)×d_k - 1).
Для каждой головы выполните масштабированное скалярное внимание на её столбцах: для токена i score_j = (Q_i · K_j) / √d_k по столбцам этой головы, softmax по всем n токенам j, и выход = Σ weight_j × V_j (столбцы этой головы).
Верните выходы голов в их столбцы (конкатенация) и умножьте на w_o.

Реализуйте multi_head_attention(x, w_q, w_k, w_v, w_o, num_heads).

Входные данные

x: Входная матрица n × d.

w_q, w_k, w_v, w_o: Матрицы весов d × d.

num_heads: Число голов (d делится на него).

Выходные данные

Верните выходную матрицу n × d.

Ограничения

1 ≤ n ≤ 30, 1 ≤ d ≤ 32, 1 ≤ num_heads ≤ d, и d делится на num_heads

-5 ≤ каждое значение ≤ 5

Примеры

Пример 1

Ввод:
x = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_q = [
    [0.0, 0.0],
    [0.0, 0.0]
]
w_k = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_v = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_o = [
    [1.0, 0.0],
    [0.0, 1.0]
]
num_heads = 1

Ожидаемый вывод:
[
    [0.5, 0.5],
    [0.5, 0.5]
]

Пояснение

w_q состоит из нулей, поэтому все оценки равны 0, и каждый токен усредняет строки значений: V = X, поэтому обе строки становятся [0.5, 0.5].

Пример 2

Ввод:
x = [
    [2.0, 4.0]
]
w_q = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_k = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_v = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_o = [
    [0.0, 1.0],
    [1.0, 0.0]
]
num_heads = 2

Ожидаемый вывод:
[
    [4.0, 2.0]
]

Пояснение

При одном токене каждая голова обращает внимание только на себя, поэтому объединённый выход — V = [2, 4]. w_o меняет два столбца местами: [4, 2].

Ссылки

Запустите примерные тесты, чтобы проверить код без отправки.

Пример 1 Не запущено

Ввод:

x = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_q = [
    [0.0, 0.0],
    [0.0, 0.0]
]
w_k = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_v = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_o = [
    [1.0, 0.0],
    [0.0, 1.0]
]
num_heads = 1

Ожидаемый вывод:

[
    [0.5, 0.5],
    [0.5, 0.5]
]

Ваш вывод

Пример 2 Не запущено

Ввод:

x = [
    [2.0, 4.0]
]
w_q = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_k = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_v = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_o = [
    [0.0, 1.0],
    [1.0, 0.0]
]
num_heads = 2

Ожидаемый вывод:

[
    [4.0, 2.0]
]

Ваш вывод

При отправке также выполняются ещё 4 скрытых теста. Если код не пройдёт один из них, вы увидите этот тест. Решите задачу, чтобы увидеть все.

Онлайн-компилятор Go (Го, Golang)

Write, compile, run, and debug Go code online in a full-featured browser IDE. Work with multiple files, save your workspace, and collaborate in real time - no setup required.

Версия

Предустановленные библиотеки

🚀 206,970 всего выполнений (799 в этом месяце)

Вывод

Практикуйте Go на задачах

Решайте задачи прямо в редакторе: запускайте тесты, отправляйте решение и получайте AI-рецензию.

Все задачи на Go

Легко

Rectangle Perimeter

Compute the perimeter of a rectangle from its sides.

Вы освоите АрифметикаВозвращаемые значения

BeginnerLearning-pathVariables

Посмотреть решения (12)

Легко

Distance Between Points

Compute the straight-line distance between two points.

Вы освоите Теорема ПифагораКвадратные корни

BeginnerFunctionsLearning-pathmath

Посмотреть решения (7)

Легко

Days in a Month

Return how many days a month has, including leap years.

Вы освоите Правила календаряВспомогательные функции

BeginnerConditionsFunctionsLearning-path

Посмотреть решения (6)

Легко

Среднее из трёх

Вычислите среднее трёх целых чисел.

Вы освоите АрифметикаДеление

BeginnerLearning-pathVariables

Посмотреть решения (6)

Легко

Скалярное произведение двух векторов

Перемножьте два вектора поэлементно и сложите результаты — это основная операция любого нейрона.

Вы освоите ВекторыСкалярное произведение

Нейронные сетиискусственный интеллектмашинное обучение

Посмотреть решения (4)

Легко

Largest of Three

Pick the largest of three numbers without a built-in max.

Вы освоите СравненияСочетание условий

BeginnerConditionsLearning-path

Посмотреть решения (4)

Легко

Проверка на простое число

Определите, является ли число простым.

Вы освоите ДелимостьОптимизация циклов

BeginnerLoopsNumbersStudent-beginner

Посмотреть решения (3)

Легко

Number Triangle

Build a triangle of increasing numbers.

Вы освоите Растущие строкиСчётчик между строками

BeginnerLearning-pathNested-loopsPatterns

Посмотреть решения (3)

Легко

Число Армстронга

Проверьте, равно ли число сумме его цифр, возведённых в степень, равную количеству цифр.

Вы освоите Выделение цифрСтепени

BeginnerNumbersStudent-beginner

Посмотреть решения (3)

Легко

Row Sums

Add up every row of a grid.

Вы освоите Двумерные спискиВложенные циклы

BeginnerGridsLearning-path

Посмотреть решения (3)

Легко

Min and Max Together

Find the smallest and largest value in one pass.

Вы освоите Один проходНесколько возвращаемых значений

ArraysBeginnerFunctionsLearning-path

Посмотреть решения (3)

Легко

Подсчёт пар с заданной суммой

Посчитайте количество пар позиций, значения которых в сумме дают целевое число.

Вы освоите Пары индексовБез двойного счёта

ArraysBeginnerLearning-pathNested-loops

Посмотреть решения (3)

🐹 Онлайн-компилятор Go (Го)

Онлайн-компилятор Go от CodeUtility позволяет писать и запускать код на Го (Golang) прямо в браузере - без установки, настройки и локального окружения. Он работает в защищённой песочнице и поддерживает реальные версии компилятора Go 1.19, 1.20 и 1.21.

Этот инструмент компилирует и выполняет настоящие программы на Go в облаке, обеспечивая реальную среду Go. Вы можете тестировать короткие сниппеты, экспериментировать с пакетами и изучать мощные возможности конкурентности Go с горутинами и каналами.

Он идеально подходит для изучения и практики ключевых концепций Go: переменные, функции, структуры, срезы, отображения, интерфейсы и обработка ошибок - и всё это без установки каких‑либо инструментов локально.

Независимо от того, впервые ли вы изучаете Go, тестируете бекенд‑логику или разбираетесь с конкурентностью, онлайн-компилятор Go предлагает простой, быстрый и полностью браузерный способ мгновенно запускать код Go.

Больше, чем просто запуск кода

В одном редакторе есть всё для работы: несколько файлов, изолированный терминал, библиотеки для выбранной версии, сохранение проектов, общий доступ по ссылке и совместная работа в реальном времени.

Как пользоваться редактором

Выберите версию языка, откройте или создайте файл, напишите код и нажмите «Запустить». Результат появится в терминале. После входа в аккаунт можно хранить файлы в рабочем пространстве, устанавливать библиотеки и работать над кодом вместе с другими.

Выберите версию и отредактируйте текущий файл или откройте другой файл рабочего пространства.
Запустите код, при необходимости введите данные в терминале и просмотрите сохранённую историю запусков.
Используйте библиотеки, инструменты рабочего пространства, общий доступ и чат, когда для задачи требуется несколько фрагментов кода.

Начать кодирование

ВерсияПеред запуском выберите среду выполнения. Установленные библиотеки относятся к выбранной версии языка.
В списке открытых файлов показаны текстовые файлы рабочей области. Выберите файл, чтобы открыть его во вкладке редактора.
Кнопка «Запустить» выполняет активный файл и предоставляет программе доступ к рабочей области.
Кнопка «Остановить» завершает выполнение программы до истечения лимита времени.
Расширенный режим открывает IDE с файловым проводником и терминалом с изменяемым размером.

Рабочее пространство и библиотеки

Команда «Новый файл» создаёт файл в выбранном каталоге и открывает его в редакторе.
Команда «Новая папка» создаёт каталог в рабочей области.
Команда «Загрузить файлы» добавляет в каталог один или несколько безопасных файлов.
Команда «Скачать» сохраняет файл или архив каталога на вашем устройстве.
Команда «Копировать» создаёт копию файла или каталога рабочей области.
Команда «Переименовать» изменяет имя файла и обновляет его открытую вкладку и историю.
Команда «Переместить» переносит элемент; файлы и каталоги также можно перетаскивать.
Команда «Удалить» удаляет элемент после подтверждения и закрывает открытую вкладку редактора.
Раздел «Предустановленные библиотеки» показывает пакеты, включённые в выбранную среду выполнения.
Кнопка «Добавить библиотеку» устанавливает личный пакет для вашей учётной записи и выбранной среды выполнения.

Терминал и помощь

История выполнения открывает предыдущие и следующие сохраненные результаты.
Кнопка «Копировать вывод» помещает текст терминала в буфер обмена.
Команда «Очистить вывод» после подтверждения удаляет сохранённые результаты выполнения.
Функция «Объяснить» анализирует активный код и кратко описывает его работу.
Раздел «Недавние» показывает последние объяснения и результаты.
В настройках можно изменить шрифты, темы и набор кнопок панели инструментов.

Обмен и сотрудничество

Функция «Поделиться» публикует текущий файл, каталог или всю рабочую область как снимок либо живую рабочую область. Вы управляете доступом по ссылке и правами на сохранение изменений.
Журнал показывает сохранённые действия соавторов в общей рабочей области.
Общий чат позволяет вошедшим в систему участникам отправлять сообщения, упоминать людей, делиться блоками кода и видеть участников, находящихся в сети или печатающих сообщения.
Совместная работа в реальном времени показывает курсоры соавторов и сохранённые обновления файлов. Пользователи с доступом только для просмотра могут загрузить последнюю версию или сохранить временные изменения у себя.

Квоты и лимиты

Один запуск на сервере может длиться не более 20 секунд. Чтобы завершить его раньше, нажмите «Остановить».
Для каждой рабочей области и языка доступно до 100 файлов, 100 каталогов и 10 МБ хранилища.
Размер одного файла ограничен 1 МБ, а глубина каталогов - пятью уровнями. Эти ограничения распространяются и на файлы, созданные программой.
Для каждой учётной записи и среды выполнения можно установить до 10 личных пакетов.
Снимки общих ресурсов могут содержать до 100 файлов, 1 МБ каждый файл и общий размер 2 МБ.
К одной общей рабочей области можно пригласить до 25 человек; права доступа и сохранения настраиваются отдельно.
В общем чате сообщение может содержать до 2000 символов, а история - до 10 000 сообщений.
Ограничения действуют и во время выполнения кода. Операции, превышающие лимит количества файлов, размера, хранилища или глубины вложенности, безопасно отклоняются.

Приятно знать Запускайте код и устанавливайте только те пакеты, которым доверяете. Выполнение изолировано и ограничено, но программа всё равно может изменять доступные для записи файлы рабочей области в пределах установленной квоты.

💡 Основы Go и примеры, которые можно попробовать выше

1. Объявление переменных и констант

Используйте var или := для объявления переменных. Используйте const для констант.

package main

var x int = 10
const Pi = 3.14

func main() {
    name := "Алиса"
    isActive := true
    println(x, Pi, name, isActive)
}

2. Условия (if / switch)

Go поддерживает конструкции if-else и switch с лаконичным синтаксисом.

x := 2
if x == 1 {
    println("Один")
} else if x == 2 {
    println("Два")
} else {
    println("Другое")
}

switch x {
case 1:
    println("Один")
case 2:
    println("Два")
default:
    println("Другое")
}

3. Циклы

В Go есть только цикл for, но он может работать как цикл while.

for i := 0; i < 3; i++ {
    println(i)
}

n := 3
for n > 0 {
    println(n)
    n--
}

4. Массивы

Массивы имеют фиксированный размер. Для динамических списков используйте срезы.

var nums = [3]int{10, 20, 30}
println(nums[1])

5. Работа со срезами

Используйте срезы и функции append, len, copy, а также синтаксис срезов.

fruits := []string{"яблоко", "банан"}
fruits = append(fruits, "вишня")
fruits = fruits[1:]  // срез
println(len(fruits))

for _, fruit := range fruits {
    println(fruit)
}

6. Ввод/вывод в консоль

Используйте fmt.Print, fmt.Scan и fmt.Println.

import "fmt"

var name string
fmt.Print("Введите ваше имя: ")
fmt.Scan(&name)
fmt.Println("Привет", name)

7. Функции

Функции объявляются с помощью func и могут возвращать несколько значений.

func greet(name string) string {
    return "Привет, " + name
}

message := greet("Алиса")
println(message)

8. Отображения (maps)

Отображения - это хранилища ключ-значение. Объявляются через make().

ages := map[string]int{"Алиса": 30}
ages["Боб"] = 25
println(ages["Алиса"])

9. Обработка ошибок

В Go для ошибок используются множественные возвращаемые значения вместо исключений.

import "errors"

func fail() error {
    return errors.New("что-то пошло не так")
}

err := fail()
if err != nil {
    println(err.Error())
}

10. Файловый ввод/вывод

Используйте пакеты os и io/ioutil для чтения/записи файлов.

import (
  "fmt"
  "os"
  "io/ioutil"
)

ioutil.WriteFile("file.txt", []byte("Привет, файл"), 0644)

data, _ := ioutil.ReadFile("file.txt")
fmt.Println(string(data))

11. Работа со строками

Используйте пакет strings для операций со строками.

import "strings"

text := "  Привет, мир  "
println(strings.TrimSpace(text))
println(strings.ToUpper(text))
println(strings.ReplaceAll(text, "Привет", "Хай"))

words := strings.Split(text, " ")
fmt.Println(words)

12. Структуры и объекты

Используйте структуры, чтобы определять собственные типы с методами.

type Person struct {
  Name string
}

func (p Person) Greet() string {
  return "Привет, я " + p.Name
}

p := Person{Name: "Алиса"}
println(p.Greet())

13. Ссылки (указатели)

Go поддерживает указатели с помощью * и &.

x := 10
ptr := &x
*ptr = 20
println(x) // 20