GPT 系のトークナイザはバイトペアエンコーディングを使います。1文字ずつから始め、最も多い隣どうしのペアを新しい記号へ繰り返しマージします。
wordsの各単語を文字に分割します。繰り返し現れる単語は複数回数えます。- すべての単語で、隣接する記号のペアをすべて数えます。
- 最も頻度の高いペアを選びます。同数なら、（1つ目の記号、2つ目の記号）を文字列として比較して最小のものを選びます。
- そのペアの出現を左から右へすべてマージした記号に置き換え、マージした記号を記録します。
- これを
num_merges回繰り返します。2つ以上の記号を持つ単語がなくなったら早めに終了します。
bpe_merges(words, num_merges) を実装してください。
入力
words: 学習用の単語（小文字）。
num_merges: 学習するマージの回数。
出力
マージした記号を学習した順に返してください。
制約
1 ≤ 単語数 ≤ 1,000、1 ≤ 各単語の長さ ≤ 30
0 ≤ num_merges ≤ 200
例
入力：
words = ["low", "lower", "lowest"]
num_merges = 2
期待される出力：
["lo", "low"]解説
ペア："l o" と "o w" がどちらも3回です。同数なので "l o" を選び（"l" < "o"）、"lo" になります。次に "lo w" が3回現れ、"low" になります。結果：["lo", "low"]。
入力：
words = ["aaa"]
num_merges = 3
期待される出力：
["aa", "aaa"]解説
"aaa" にはペア "a a" が2回あります。左から右へマージすると "aa" + "a" になります。次に "aa a" が "aaa" にマージされ、単語は1つの記号だけになるので、3回目のマージは何もしません。結果：["aa", "aaa"]。
参考資料
-
例 1 未実行入力：
words = ["low", "lower", "lowest"] num_merges = 2期待される出力：["lo", "low"]あなたの出力 -
例 2 未実行入力：
words = ["aaa"] num_merges = 3期待される出力：["aa", "aaa"]あなたの出力
提出時に非公開テスト4件も実行されます。 失敗したテストがあれば、そのテストが表示されます。チャレンジを解くとすべて見られます。
Online Go Compiler
Write, compile, run, and debug Go code online in a full-featured browser IDE. Work with multiple files, save your workspace, and collaborate in real time - no setup required.
🐹 この Go オンライン実行環境について
CodeUtility Go Executor は、インストールやセットアップ、ローカル環境なしで ブラウザから直接 Go コードを記述・実行できます。安全なサンドボックスで動作し、 実際の Go コンパイラのバージョン 1.19、1.20、1.21 に対応しています。
このツールはクラウド上で本物の Go プログラムをコンパイル・実行し、実践的な Go 環境を提供します。 短いスニペットのテスト、パッケージの実験、goroutine とチャネルを使った強力な並行処理の学習ができます。
変数、関数、構造体、スライス、マップ、インターフェース、エラー処理など、 Go の基礎を学んで練習するのに最適です。ローカルにツールをインストールする必要はありません。
初めて Go を触る方、バックエンドのロジックを試す方、並行処理の仕組みを学ぶ方など、どなたにも。 CodeUtility Go Executor は、クリーンで高速なブラウザベースの実行環境を提供し、Go コードをすぐに動かせます。
同じ実行環境で、複数ファイル対応エディター、分離された実行ターミナル、ランタイム別ライブラリ、永続ワークスペース、共有、リアルタイム共同作業を利用できます。
この実行環境の使い方
ランタイムを選択し、ファイルを開くか作成してコードを記述し、［実行］を選択します。出力はターミナルに表示されます。サインインしたユーザーは、ワークスペースにファイルを保存し、ライブラリをインストールして、共有を通じて共同作業できます。
- バージョンを選択して現在のファイルを編集するか、ワークスペース内の別のファイルを開きます。
- コードを実行し、求められた場合はターミナルに入力して、保存された実行履歴を確認します。
- 複数のコードスニペットが必要な作業では、ライブラリ、ワークスペースツール、共有、チャットを利用します。
💡 上で試せる Go の基本とサンプル
1. 変数と定数の宣言
変数は var または := で宣言します。定数は const を使います。
package main
var x int = 10
const Pi = 3.14
func main() {
name := "Alice"
isActive := true
println(x, Pi, name, isActive)
}2. 条件分岐（if / switch）
Go はクリーンな構文の if-else と switch をサポートします。
x := 2
if x == 1 {
println("一")
} else if x == 2 {
println("二")
} else {
println("その他")
}
switch x {
case 1:
println("一")
case 2:
println("二")
default:
println("その他")
}3. ループ
Go には for だけがありますが、while のようにも使えます。
for i := 0; i < 3; i++ {
println(i)
}
n := 3
for n > 0 {
println(n)
n--
}4. 配列
配列は固定長です。可変長のリストにはスライスを使います。
var nums = [3]int{10, 20, 30}
println(nums[1])5. スライス操作
スライスと組み込みの append、len、copy、およびスライス構文を使います。
fruits := []string{"apple", "banana"}
fruits = append(fruits, "cherry")
fruits = fruits[1:] // スライス
println(len(fruits))
for _, fruit := range fruits {
println(fruit)
}6. コンソール入出力
fmt.Print、fmt.Scan、fmt.Println を使います。
import "fmt"
var name string
fmt.Print("名前を入力してください: ")
fmt.Scan(&name)
fmt.Println("こんにちは", name)7. 関数
関数は func で宣言し、複数の戻り値を返せます。
func greet(name string) string {
return "こんにちは、" + name
}
message := greet("Alice")
println(message)8. マップ
マップはキーと値のストアです。make() で作成します。
ages := map[string]int{"Alice": 30}
ages["Bob"] = 25
println(ages["Alice"])9. エラー処理
Go では例外の代わりに、エラーを複数戻り値で扱います。
import "errors"
func fail() error {
return errors.New("問題が発生しました")
}
err := fail()
if err != nil {
println(err.Error())
}10. ファイル I/O
ファイルの読み書きには os と io/ioutil パッケージを使います。
import (
"fmt"
"os"
"io/ioutil"
)
ioutil.WriteFile("file.txt", []byte("こんにちは、ファイル"), 0644)
data, _ := ioutil.ReadFile("file.txt")
fmt.Println(string(data))11. 文字列操作
文字列操作には strings パッケージを使います。
import "strings"
text := " Hello World "
println(strings.TrimSpace(text))
println(strings.ToUpper(text))
println(strings.ReplaceAll(text, "Hello", "Hi"))
words := strings.Split(text, " ")
fmt.Println(words)12. 構造体とオブジェクト
メソッド付きのカスタム型は struct で定義します。
type Person struct {
Name string
}
func (p Person) Greet() string {
return "こんにちは、私は " + p.Name
}
p := Person{Name: "Alice"}
println(p.Greet())13. 参照（ポインタ）
Go は * と & を使ったポインタをサポートします。
x := 10
ptr := &x
*ptr = 20
println(x) // 20