программа должна создать список лексем

Лексема (token) — это последовательность символов, выражающих нечто, что мы считаем отдельной единицей, например число или оператор. Именно так компилятор языка С++ работает с исходным кодом программы. На самом деле разложение на лексемы часто в том или ином виде применяется при анализе текста. Анализируя примеры выражений на языке С++, можно выделить три вида лексем.

• Литералы с плавающей точкой, определенные в языке C++, например

, и .

• Операторы, например

, , , , .

• Скобки

, .

Внешний вид литералов с плавающей точкой может создать проблемы: считать число

намного легче, чем , но калькуляторы обычно выполняют вычисления над числами с плавающей точкой. Аналогично, следует ожидать, что скобки в программе, имитирующей вычисления калькулятора, окажутся весьма полезными.

Как представить такие лексемы в нашей программе? Можно попытаться найти начало (и конец) лексемы, но это может привести к путанице (особенно, если позволить выражениям занимать несколько строк). Кроме того, если хранить числа в виде строки символов, то позднее следует идентифицировать это число по его цифрам; например, если мы видим строку

и где-то храним символы и , то позднее должны выяснить, что эта строка представляет число (т.е. ). Общепринятое решение этой задачи — хранить каждую лексему в виде пары (вид, значение).

Вид идентифицирует лексему как число, оператор или скобку. Для чисел (в нашем примере — только для чисел) в качестве значения используется само число.

Итак, как же выразить идею о паре (вид, значение) в программе? Для этого определим тип Token, представляющий лексемы. Почему? Вспомните, почему мы вообще используем типы: они хранят данные, которые нам нужны, и предоставляют возможность выполнять полезные операции над этими данными. Например, тип

позволяет хранить целые числа и выполнять операции сложения, вычитания, умножения и вычисления остатка, в то время как тип позволяет хранить последовательности символов и выполнять конкатенацию и доступ к символу по индексу. В языке С++ и его стандартной библиотеке определено много типов, например , , , , и , но не тип . На самом деле существует огромное количество типов — тысячи и сотни тысяч, — которые мы хотели бы иметь, но которых нет в языке и в стандартной библиотеке.

Среди наших любимых типов, которых нет в библиотеке, — классы

(см. главу 24), (см. главу 9) и целые числа с бесконечной точностью (поищите в веб класс ). Если вы еще раз поразмыслите над этим, то поймете, что язык не может поддерживать десятки тысяч типов: кто их определит, кто их реализует, как их найти и какое толстое руководство по использованию языка при этом получится? Как и большинство современных языков программирования, язык С++ решает эту проблему, позволяя программисту при необходимости определять свои собственные типы (типы, определенные пользователем).

Как должна выглядеть лексема в нашей программе? Иначе говоря, как должен выглядеть тип

? Класс должен предусматривать выполнение операторов, например и , а также представлять числа, такие как и . В самой простой реализации нужно придумать, как задать вид лексемы и как хранить числа.

Существует много способов реализации этой идеи в программе на языке С++. Вот ее простейший вариант:

Класс

— это тип (такой же, как или ), поэтому его можно использовать для определения переменных и хранения значений. Он состоит из двух частей (членов): и . Ключевое слово означает “тип, определенный пользователем”; это значит, что он содержит члены (хотя в принципе может их и не содержать). Первый член, , имеет тип и представляет собой символ. С его помощью удобно хранить символы и , чтобы представить операции и . Рассмотрим пример использования этого типа.

Для доступа к члену класса используется обозначение имя_объекта.имя_члена. Выражение

читается как “член объекта ”, а выражение — как “член объекта ”. Объекты класса можно копировать так же, как и переменные типа .