feat: базовая структура проекта; docs: грамматика формы бэкуса-наура

tests/integration_tests.rs

@@ -0,0 +1,25 @@
+//! Интеграционные тесты для токенизатора языка Ъ+.
+
+// TODO: Добавить интеграционные тесты
+// - Тест полного цикла токенизации простого примера
+// - Тест обработки различных типов токенов в одном файле
+// - Тест обработки больших файлов
+// - Тест производительности токенизации
+
+#[cfg(test)]
+mod tests {
+    // use tverd_plus_tokenizer::*;
+
+    #[test]
+    fn test_integration_basic() {
+        // TODO: Реализовать базовый интеграционный тест
+        // Пример: токенизация простого кода с несколькими типами токенов
+    }
+
+    #[test]
+    fn test_integration_complex() {
+        // TODO: Реализовать сложный интеграционный тест
+        // Пример: токенизация кода с вложенными комментариями и различными идентификаторами
+    }
+}
+