feat: базовая структура проекта; docs: грамматика формы бэкуса-наура

src/lib.rs

@@ -0,0 +1,34 @@
+//! # Токенизатор языка Ъ+
+//!
+//! Доверенный лексический анализатор языка «Ъ+» (системный базис «Ъ++»).
+//! Реализация на Rust (no_std) для архитектур «Эльбрус» и x86.
+//!
+//! ## Основные компоненты
+//!
+//! - Лексический анализ входных потоков данных
+//! - Преобразование в последовательность токенов на основе ДКА
+//! - Поддержка UTF-8 кодировки (ISO/IEC 10646)
+//! - Обработка кириллических и латинских идентификаторов
+//! - Отслеживание позиций токенов (строка, столбец)
+
+#![no_std]
+#![deny(missing_docs)]
+
+// TODO: Настроить обработку ошибок для no_std окружения
+// TODO: Добавить необходимые re-exports для core типов
+
+pub mod comment;
+pub mod dfa;
+pub mod error;
+pub mod grammar;
+pub mod position;
+pub mod token;
+pub mod tokenizer;
+pub mod utf8;
+
+// Re-export основных типов для удобства использования
+pub use error::{Error, ErrorKind};
+pub use position::Position;
+pub use token::{Token, TokenKind};
+pub use tokenizer::Tokenizer;
+