35 lines
1.3 KiB
Rust
35 lines
1.3 KiB
Rust
//! # Токенизатор языка Ъ+
|
|
//!
|
|
//! Доверенный лексический анализатор языка «Ъ+» (системный базис «Ъ++»).
|
|
//! Реализация на Rust (no_std) для архитектур «Эльбрус» и x86.
|
|
//!
|
|
//! ## Основные компоненты
|
|
//!
|
|
//! - Лексический анализ входных потоков данных
|
|
//! - Преобразование в последовательность токенов на основе ДКА
|
|
//! - Поддержка UTF-8 кодировки (ISO/IEC 10646)
|
|
//! - Обработка кириллических и латинских идентификаторов
|
|
//! - Отслеживание позиций токенов (строка, столбец)
|
|
|
|
#![no_std]
|
|
#![deny(missing_docs)]
|
|
|
|
// TODO: Настроить обработку ошибок для no_std окружения
|
|
// TODO: Добавить необходимые re-exports для core типов
|
|
|
|
pub mod comment;
|
|
pub mod dfa;
|
|
pub mod error;
|
|
pub mod grammar;
|
|
pub mod position;
|
|
pub mod token;
|
|
pub mod tokenizer;
|
|
pub mod utf8;
|
|
|
|
// Re-export основных типов для удобства использования
|
|
pub use error::{Error, ErrorKind};
|
|
pub use position::Position;
|
|
pub use token::{Token, TokenKind};
|
|
pub use tokenizer::Tokenizer;
|
|
|