Токен — это строка символов, классифицированная в соответствии с правилами как символ (например, ИДЕНТИФИКАТОР, ЧИСЛО, ЗАПЯТАЯ). Процесс формирования токенов из входного потока символов называется токенизацией, и лексический анализатор классифицирует их в соответствии с типом символа. Токен может выглядеть как что угодно, что полезно для обработки входного текстового потока или текстового файла.