OCaml + Menhir Компиляция/запись

Я полностью новичок, когда дело доходит до OCaml. Я только недавно начал использовать язык (около 2 недель назад), но, к сожалению, мне было поручено создать синтаксический анализатор (parser + lexer, функция которого должна либо принять, либо не предложение) для составленного языка используя Menhir. Теперь я нашел некоторые материалы в Интернете относительно OCaml и Menhir:

Руководство Menhir.

Эта веб-страница для курса французского университета.

Краткое руководство по Menhir на главной странице Toss в Sourceforge.

Пример Менгира на github derdon.

Книга о OCaml (с несколькими вещами о ocamllex + ocamlyacc

Случайный учебник по ocamllex от SooHyoung Oh.

И примеры, которые поставляются с исходным кодом Menhir.

(Я не могу разместить более двух гиперссылок, поэтому я не могу напрямую связать вас с некоторыми из сайтов, которые я упоминаю здесь. Извините!)

Итак, как вы можете видеть, я отчаянно искал все больше и больше материалов, чтобы помочь мне в создании этой программы. К сожалению, я до сих пор не могу понять многие концепции, и поэтому у меня много и много трудностей.

Для начала я понятия не имею, как правильно скомпилировать мою программу. Я использовал следующую команду:

ocamlbuild -use-menhir -menhir "menhir --external-tokens Tokens" main.native

Моя программа делится на четыре разных файла: main.ml; lexer.mll; parser.mly; tokens.mly. main.ml - это часть, которая получает входные данные из файла в файловой системе, заданной в качестве аргумента.

let filename = Sys.argv.(1)

let () =
    let inBuffer = open_in filename in
    let lineBuffer = Lexing.from_channel inBuffer in
    try
        let acceptance = Parser.main Lexer.main lineBuffer in
        match acceptance with
            | true -> print_string "Accepted!\n"
            | false -> print_string "Not accepted!\n"
    with
        | Lexer.Error msg -> Printf.fprintf stderr "%s%!\n" msg
        | Parser.Error -> Printf.fprintf stderr "At offset %d: syntax error.\n%!" (Lexing.lexeme_start lineBuffer)

Второй файл - lexer.mll.

{
  open Tokens
  exception Error of string
}

rule main = parse
  | [' ' '\t']+
      { main lexbuf }
  | ['0'-'9']+ as integer
      { INT (int_of_string integer) }
  | "True"
      { BOOL true }
  | "False"
      { BOOL false }
  | '+'
      { PLUS }
  | '-'
      { MINUS }
  | '*'
      { TIMES }
  | '/'
      { DIVIDE }
  | "def"
      { DEF }
  | "int"
      { INTTYPE }
  | ['A'-'Z' 'a'-'z' '_']['0'-'9' 'A'-'Z' 'a'-'z' '_']* as s
      { ID (s) }
  | '('
      { LPAREN }
  | ')'
      { RPAREN }
  | '>'
      { LARGER }
  | '<'
      { SMALLER }
  | ">="
      { EQLARGER }
  | "<="
      { EQSMALLER }
  | "="
      { EQUAL }
  | "!="
      { NOTEQUAL }
  | '~'
      { NOT }
  | "&&"
      { AND }
  | "||"
      { OR }
  | '('
      { LPAREN }
  | ')'
      { RPAREN }
  | "writeint"
      { WRITEINT }
  | '\n'
      { EOL }
  | eof
      { EOF }
  | _
      { raise (Error (Printf.sprintf "At offset %d: unexpected character.\n" (Lexing.lexeme_start lexbuf))) }

Третий файл - parser.mly.

%start <bool> main
%%

main:
| WRITEINT INT { true }

Четвертый - tokens.mly

%token <string> ID
%token <int> INT
%token <bool> BOOL
%token EOF EOL DEF INTTYPE LPAREN RPAREN WRITEINT
%token PLUS MINUS TIMES DIVIDE
%token LARGER SMALLER EQLARGER EQSMALLER EQUAL NOTEQUAL
%token NOT AND OR

%left OR
%left AND
%nonassoc NOT
%nonassoc LARGER SMALLER EQLARGER EQSMALLER EQUAL NOTEQUAL
%left PLUS MINUS
%left TIMES DIVIDE
%nonassoc LPAREN
%nonassoc ATTRIB

%{
type token =
  | ID of (string)
  | INT
  | BOOL
  | DEF
  | INTTYPE
  | LPAREN
  | RPAREN
  | WRITEINT
  | PLUS
  | MINUS
  | TIMES
  | DIVIDE
  | LARGER
  | SMALLER
  | EQLARGER
  | EQSMALLER
  | EQUAL
  | NOTEQUAL
  | NOT
  | AND
  | OR
  | EOF
  | EOL
%}

%%

Теперь я знаю, что здесь много неиспользуемых символов, но я намерен использовать их в своем парсере. Независимо от того, сколько изменений я внес в файлы, компилятор держится на моем лице. Я пробовал все, что мог придумать, и ничего не работает. Что делает ocamlbuild взорваться во множестве ошибок несвязанных конструкторов и неопределенных начальных символов? Какую команду следует использовать для правильной компиляции программы? Где я могу найти значимые материалы, чтобы узнать о Menhir?

Ответ 1

Более простой способ сделать это - удалить разделение Parser/Tokens. Как отметил Томас, нет необходимости в объявлении type token = ..., потому что оно автоматически создается menhir из директив %token.

Итак, вы можете определить parser.mly как:

%start <bool> main

%token <string> ID
%token <int> INT
%token <bool> BOOL
%token EOF EOL DEF INTTYPE LPAREN RPAREN WRITEINT
%token PLUS MINUS TIMES DIVIDE
%token LARGER SMALLER EQLARGER EQSMALLER EQUAL NOTEQUAL
%token NOT AND OR

%left OR
%left AND
%nonassoc NOT
%nonassoc LARGER SMALLER EQLARGER EQSMALLER EQUAL NOTEQUAL
%left PLUS MINUS
%left TIMES DIVIDE
%nonassoc LPAREN
%nonassoc ATTRIB
%%

main:
| WRITEINT INT { true }

и lexer.mll как:

{
  open Parser
  exception Error of string
}

[...] (* rest of the code not shown here *)

затем удалите tokens.mly и скомпилируйте с помощью

ocamlbuild -use-menhir main.native

и все работает хорошо.

Ответ 2

Итак, сначала вам не нужно повторять токены в tokens.mly:

%token <string> ID
%token <int> INT
%token <bool> BOOL
%token EOF EOL DEF INTTYPE LPAREN RPAREN WRITEINT
%token PLUS MINUS TIMES DIVIDE
%token LARGER SMALLER EQLARGER EQSMALLER EQUAL NOTEQUAL
%token NOT AND OR

%left OR
%left AND
%nonassoc NOT
%nonassoc LARGER SMALLER EQLARGER EQSMALLER EQUAL NOTEQUAL
%left PLUS MINUS
%left TIMES DIVIDE
%nonassoc LPAREN
%nonassoc ATTRIB

%%

Тогда, я не знаю, что волшебный вариант перейти к ocamlbuild и я не знаю menhir очень хорошо, но, в моем понимании, вам нужно "упаковать" все .mly в один парсер единица измерения:

menhir tokens.mly parser.mly -base parser

Затем, если вы замените какое-либо событие Token byt Parser в lexer.mll, ocamlbuild -no-hygiene main.byte должно работать. Обратите внимание, однако, что это может быть умный способ сделать это.

Ответ 3

Я столкнулся с той же проблемой, за исключением того, что в дополнение к парсеру нужны модули за пределами текущего прямого. Я не мог понять, как вызывать ocamlbuild, чтобы указать этот парсер. {Ml, mli} должен был быть построен из 3-х мерных файлов, поэтому я просто сделал make файл, который:

  • копирует модули .cmi из _build в текущий каталог (чтобы удовлетворить menhir --infer)
  • invoke menhir
  • удалите скопированные модули, чтобы удовлетворить ocamlbuild
  • затем вызовите ocamlbuild

Я не доволен этим, поэтому меня интересует какая-то лучшая альтернатива, но если вам действительно нужно закончить свой проект с минимальными усилиями, я думаю, что путь

изменить: На самом деле, нет необходимости копировать и удалять скомпилированные модули, просто передайте опцию menhir на втором шаге: menhir --ocamlc "ocamlc -I \".. /_ build/modules/\ "" --infer --base parser

К сожалению, это означает, что генерация парсера будет связана с предыдущей компиляцией модулей, поэтому следует ожидать ненужную (и неудачную) компиляцию.