При "компиляции" (зависит от версии VL) создается самостоятельная DLL (ARX, VLX), которая работает со своим пространством имен (областью памяти. в которой хранятся указатели на функции). При этом ARX (DLL) не знает о существовании функций "стандартного" (native AutoLisp), которые в него не экспортированы. Скорее всего startup относится к таким. Какие еще - определяется экспериментально. Это как раз область несовместимости Visual Lisp и AutoLisp, о которой авторы другим не рассказали, а сами уже забыли.
STARTAPP вообще глуповатая функция (не умеет запускать EXE в модальном режиме), поэтому лучше заменять ее своим аналогом. Или использовать библиотеку DOSlib. Использовние PGP - вообще пережиток от древних версий. Для чайников.