LLVM - это действительно набор библиотек, к которым вы можете подключиться, поэтому их довольно легко вставлять. Чаще всего LLVM принимает IR, который вы создаете и скомпилируете непосредственно в машинный код. Существует также библиотека, доступная для интерпретации и выполнения IR для платформ, которые не поддерживают компиляцию JIT.
На веб-сайте LLVM есть довольно хороший учебник: http://llvm.org/docs/tutorial/. Я предлагаю вам пройти через это, а затем задать более конкретные вопросы, если они у вас есть.