//! # Токенизатор языка Ъ+
//!
//! Доверенный лексический анализатор языка «Ъ+» (системный базис «Ъ++»).
//! Реализация на Rust (no_std) для архитектур «Эльбрус» и x86.
//!
//! ## Основные компоненты
//!
//! - Лексический анализ входных потоков данных
//! - Преобразование в последовательность токенов на основе ДКА
//! - Поддержка UTF-8 кодировки (ISO/IEC 10646)
//! - Обработка кириллических и латинских идентификаторов
//! - Отслеживание позиций токенов (строка, столбец)

#![no_std]
#![deny(missing_docs)]

// TODO: Настроить обработку ошибок для no_std окружения
// TODO: Добавить необходимые re-exports для core типов

pub mod comment;
pub mod dfa;
pub mod error;
pub mod grammar;
pub mod position;
pub mod token;
pub mod tokenizer;
pub mod utf8;

// Re-export основных типов для удобства использования
pub use error::{Error, ErrorKind};
pub use position::Position;
pub use token::{Token, TokenKind};
pub use tokenizer::Tokenizer;