feat: базовая структура проекта; docs: грамматика формы бэкуса-наура

Cargo.toml

@@ -0,0 +1,38 @@
+[package]
+name = "tverd-plus-tokenizer"
+version = "0.1.0"
+edition = "2021"
+authors = ["Твердь Project Team"]
+description = "Доверенный лексический анализатор языка Ъ+ (системный базис Ъ++). Реализация на Rust (no_std) для архитектур Эльбрус и x86."
+license = "MIT OR Apache-2.0"
+repository = ""
+documentation = ""
+readme = "README.md"
+
+[lib]
+name = "tverd_plus_tokenizer"
+crate-type = ["lib"]
+
+# Настройка no_std окружения
+[profile.release]
+opt-level = 3
+lto = true
+codegen-units = 1
+panic = 'abort'
+
+[profile.dev]
+opt-level = 0
+debug = true
+
+# Зависимости отсутствуют согласно требованиям безопасности
+# (no external dynamic libraries allowed)
+[dependencies]
+
+# Опциональные зависимости для тестирования (только в dev режиме)
+[dev-dependencies]
+
+# Бенчмарки (опционально)
+[[bench]]
+name = "tokenizer_bench"
+harness = false
+