feat: базовая структура проекта; docs: грамматика формы бэкуса-наура

benches/tokenizer_bench.rs

@@ -0,0 +1,34 @@
+//! Бенчмарки производительности токенизатора.
+
+// TODO: Добавить бенчмарки производительности
+// - Бенчмарк токенизации простого кода
+// - Бенчмарк токенизации сложного кода
+// - Бенчмарк обработки комментариев
+// - Бенчмарк обработки идентификаторов
+
+/*
+Пример использования:
+
+use criterion::{black_box, criterion_group, criterion_main, Criterion};
+use tverd_plus_tokenizer::Tokenizer;
+
+fn bench_tokenize_simple(c: &mut Criterion) {
+    let source = "Ъ+ @переменная :метка |> << Ъ-";
+    c.bench_function("tokenize_simple", |b| {
+        b.iter(|| {
+            let tokenizer = Tokenizer::new(black_box(source));
+            tokenizer.collect::<Vec<_>>()
+        });
+    });
+}
+
+criterion_group!(benches, bench_tokenize_simple);
+criterion_main!(benches);
+*/
+
+fn main() {
+    // TODO: Реализовать бенчмарки
+    println!("Бенчмарки производительности токенизатора");
+    println!("TODO: Реализовать бенчмарки с использованием criterion");
+}
+