Bueno, he detectado algún error en las modificaciones que has hecho en el fichero de configuración.
-La rampa de aceleración/deceleración tenía un valor incorrecto. He puesto un valor conservador de 200.
-Configura los drivers a 800 ó 1000 pasos/rev
-Estos valores de X y Z quedan por configurar:
MOTOR_X_PULSE_ON= CNC_LOW;
MOTOR_X_PULSE_OFF= CNC_HIGH;
MOTOR_Z_PULSE_ON= CNC_LOW;
MOTOR_Z_PULSE_OFF= CNC_HIGH;
Prueba con estos valores y luego inviértelos y quédate con los que vayan mejor

-Los valores de encoders los he dejado así. Los que has puesto me parece que estaban mal.
ENCODER_MMPULSO_P1= 1.0;
ENCODER_MMPULSO_P2= 0.1;
ENCODER_MMPULSO_P3= 0.01;
ENCODER_MMPULSO_P4= 0.001;
Recuerda configurar primero un eje y luego el otro.
Usa este fichero CFG:
//*************************************************************************************
//*************************************************************************************
//*************************************************************************************
// Configuración CNCLathe v 1.6.3
// (c) Francisco López - Abril 2013 Tony
// Parser V 1.0.0
//*************************************************************************************
//*************************************************************************************
//*************************************************************************************
//máximo 199 carácteres por línea
//*************************************************************************************
//*************************************************************************************
//*************************************************************************************
[SECTION][PARAMETROS_MOTOR_X]
MOTOR_X_PULSOS_MM= 500; //n
MOTOR_X_PULSOS_REV= 800; //n
MOTOR_X_RAMPA_ACEL_DECEL= 200; //rad/ss
MOTOR_X_LIMITE_MIN= 0.0; //mm
MOTOR_X_LIMITE_MAX= 0.0; //mm
MOTOR_X_PWMDUTY= 5; //[0,1023]
MOTOR_X_ENABLE_ON= CNC_LOW;
MOTOR_X_ENABLE_OFF= CNC_HIGH;
MOTOR_X_PULSE_ON= CNC_LOW;
MOTOR_X_PULSE_OFF= CNC_HIGH;
MOTOR_X_DIR_POS= CNC_HIGH;
MOTOR_X_DIR_NEG= CNC_LOW;
MOTOR_X_BACKSLASH= 0.01; //mm
MOTOR_X_VL_BACKSLASH= 6.0; //mm/s
MOTOR_X_MAX_VL_EJE= 10.0; //mm/s
MOTOR_X_VL_RAMPA_2= 6.0; //mm/s
[END_SECTION][PARAMETROS_MOTOR_X]
//*************************************************************************************
[SECTION][PARAMETROS_MOTOR_Z]
MOTOR_Z_PULSOS_MM= 440; //n
MOTOR_Z_PULSOS_REV= 800; //n
MOTOR_Z_RAMPA_ACEL_DECEL= 200; //rad/ss
MOTOR_Z_LIMITE_MIN= 0.0; //mm
MOTOR_Z_LIMITE_MAX= 0.0; //mm
MOTOR_Z_PWMDUTY= 5; //[0,1023]
MOTOR_Z_ENABLE_ON= CNC_LOW;
MOTOR_Z_ENABLE_OFF= CNC_HIGH;
MOTOR_Z_PULSE_ON= CNC_LOW;
MOTOR_Z_PULSE_OFF= CNC_HIGH;
MOTOR_Z_DIR_POS= CNC_HIGH;
MOTOR_Z_DIR_NEG= CNC_LOW;
MOTOR_Z_BACKSLASH= 0.4; //mm
MOTOR_Z_VL_BACKSLASH= 6.0; //mm/s
MOTOR_Z_MAX_VL_EJE= 10.0; //mm/s
MOTOR_Z_VL_RAMPA_2= 6.0; //mm/s
[END_SECTION][PARAMETROS_MOTOR_Z]
//*************************************************************************************
[SECTION][ARDUINO_PINES]
PIN_POTENCIOMETRO_1= 0; //analógico
PIN_HUSILLO_A= 2; //(INT 0)
PIN_HUSILLO_A_HR= 3; //(INT 1)
PIN_ENABLE_EJE_X= 22;
PIN_PULSO_EJE_X= 6; //===========> timer 4
PIN_DIR_EJE_X= 26;
PIN_ENABLE_EJE_Z= 28;
PIN_PULSO_EJE_Z= 44; //===========> timer 5
PIN_DIR_EJE_Z= 32;
PIN_EMERGENCIA_IN= 8;
PIN_KEYPAD_ROW_1= 39;
PIN_KEYPAD_ROW_2= 41;
PIN_KEYPAD_ROW_3= 43;
PIN_KEYPAD_ROW_4= 45;
PIN_KEYPAD_COL_1= 31;
PIN_KEYPAD_COL_2= 33;
PIN_KEYPAD_COL_3= 35;
PIN_KEYPAD_COL_4= 37;
PIN_LCD_TECLA_1= 23;
PIN_LCD_TECLA_2= 25;
PIN_LCD_TECLA_3= 27;
PIN_LCD_TECLA_4= 29;
PIN_ENCODER_USER_1_A= 20; //(INT 3)
PIN_ENCODER_USER_1_B= 5;
PIN_ENCODER_X_A= 18; //NO CAMBIAR (INT 5)
PIN_ENCODER_X_B= 16; //NO CAMBIAR
PIN_ENCODER_Z_A= 19; //NO CAMBIAR (INT 4)
PIN_ENCODER_Z_B= 17; //NO CAMBIAR
[END_SECTION][ARDUINO_PINES]
//*************************************************************************************
[SECTION][TORNO_SOFTWARE]
TIMER_SOFTWARE_1= 50; //milisegundos
TIMER_SOFTWARE_2= 300; //actualización display
TIMER_SOFTWARE_3= 100; //milisegundos
TIMER_SOFTWARE_IO= 100; //milisegundos
TSEGURIDAD_HR= 3000; //microsegundos
PULSOSHR_HORIZONTE_SINCRO= 10; //pulsos HR
PULSOS_HORIZONTE_TIMING_XZ= 10; //pulsos
IOEXTERNAL_BAUDRATE_PUERTO_0= 115200; //USB
IOEXTERNAL_BAUDRATE_PUERTO_1= 0;
IOEXTERNAL_BAUDRATE_PUERTO_2= 0;
IOEXTERNAL_BAUDRATE_PUERTO_3= 115200; //bluetooth
DISPLAY_DIRECTO= 0;
ENCODER_MMPULSO_P1= 1.0;
ENCODER_MMPULSO_P2= 0.1;
ENCODER_MMPULSO_P3= 0.01;
ENCODER_MMPULSO_P4= 0.001;
ENCODER_1_MINVL= 0.1;
ENCODER_1_MAXVL= 7.0;
ENCODER_2_MINVL= 0.1;
ENCODER_2_MAXVL= 7.0;
[END_SECTION][TORNO_SOFTWARE]
//*************************************************************************************
[SECTION][TORNO_HARDWARE]
PULSOSREV_HUSILLO_A= 1; //pulsos/rev
PULSOSREV_HUSILLO_A_HR= 25; //pulsos/rev
ENCODER_1_PULSOS_REV= 256; //efectivo 512 p/rev
ENCODER_1_RES_DIVISOR= 1;
ENCODER_1_SIGNO= -1;
ENCODER_2_PULSOS_REV= 256; //efectivo 512 p/rev
ENCODER_2_RES_DIVISOR= 1;
ENCODER_2_SIGNO= 1;
ENCODER_USER_1_PULSOS_REV= 256;
ENCODER_USER_1_RES_DIVISOR= 2;
ENCODER_USER_1_SIGNO= 1;
[END_SECTION][TORNO_HARDWARE]
//*************************************************************************************
[SECTION][ARDUINO_INTERRUPTS]
INTERRUPT_HUSILLO_A= 0; //(INT 0) pin 2
INTERRUPT_HUSILLO_A_MODE= CNC_RISING;
INTERRUPT_HUSILLO_A_HR= 1; //(INT 1) pin 3
INTERRUPT_HUSILLO_A_HR_MODE= CNC_RISING;
//(INT 5) pin 18
//(INT 4) pin 19
//(INT 3) pin 20
//(INT 2) pin 21
[END_SECTION][ARDUINO_INTERRUPTS]
//*************************************************************************************
[SECTION][PARAMETROS_ROSCA]
CNCLATHE_DROSCA_MIN_RPMROSCA= 80; //rpm
CNCLATHE_DROSCA_MAX_RPMROSCA= 3000; //rpm
CNCLATHE_DROSCA_MIN_VROSCA= 0.5; //mm/s
CNCLATHE_DROSCA_MAX_VROSCA= 10.0; //mm/s
CNCLATHE_DROSCA_MINLONG= 1.0; //mm
CNCLATHE_DROSCA_MAXLONG= 500.0; //mm
CNCLATHE_METRICA_MIN_INDEXPASOR= 0;
CNCLATHE_METRICA_MAX_INDEXPASOR= 20;
CNCLATHE_METRICA_DEF_INDEXPASOR= 12; //1 mm
//espacio para 25 pasos en mm
CNCLATHE_METRICA_PASOR=0.2;
CNCLATHE_METRICA_PASOR=0.25;
CNCLATHE_METRICA_PASOR=0.3;
CNCLATHE_METRICA_PASOR=0.35;
CNCLATHE_METRICA_PASOR=0.4;
CNCLATHE_METRICA_PASOR=0.45;
CNCLATHE_METRICA_PASOR=0.5;
CNCLATHE_METRICA_PASOR=0.6;
CNCLATHE_METRICA_PASOR=0.7;
CNCLATHE_METRICA_PASOR=0.75;
CNCLATHE_METRICA_PASOR=0.8;
CNCLATHE_METRICA_PASOR=0.9;
CNCLATHE_METRICA_PASOR=1.0;
CNCLATHE_METRICA_PASOR=1.25;
CNCLATHE_METRICA_PASOR=1.5;
CNCLATHE_METRICA_PASOR=1.75;
CNCLATHE_METRICA_PASOR=2.0;
CNCLATHE_METRICA_PASOR=2.5;
CNCLATHE_METRICA_PASOR=3.0;
CNCLATHE_METRICA_PASOR=3.5;
CNCLATHE_METRICA_PASOR=4.0;
CNCLATHE_METRICA_PASOR=-1;
CNCLATHE_METRICA_PASOR=-1;
CNCLATHE_METRICA_PASOR=-1;
CNCLATHE_METRICA_PASOR=-1;
CNCLATHE_WHITWORTH_MIN_INDEXPASOR= 0;
CNCLATHE_WHITWORTH_MAX_INDEXPASOR= 17;
CNCLATHE_WHITWORTH_DEF_INDEXPASOR= 8; //1/4
//espacio para 25 pasos en TPI
//http://en.wikipedia.org/wiki/British_Standard_Whitworth
//http://www.britishfasteners.com/threads/bsw.html
CNCLATHE_WHITWORTH_PASOR=60; //1/16
CNCLATHE_WHITWORTH_PASOR=48; //3/32
CNCLATHE_WHITWORTH_PASOR=40; //1/8
CNCLATHE_WHITWORTH_PASOR=32; //5/32
CNCLATHE_WHITWORTH_PASOR=28;
CNCLATHE_WHITWORTH_PASOR=26;
CNCLATHE_WHITWORTH_PASOR=24; //3/16, 7/32
CNCLATHE_WHITWORTH_PASOR=22;
CNCLATHE_WHITWORTH_PASOR=20; //1/4
CNCLATHE_WHITWORTH_PASOR=18; //5/16
CNCLATHE_WHITWORTH_PASOR=16; //3/8
CNCLATHE_WHITWORTH_PASOR=14; //7/16
CNCLATHE_WHITWORTH_PASOR=12; //1/2, 9/16
CNCLATHE_WHITWORTH_PASOR=11; //5/8, 11/16
CNCLATHE_WHITWORTH_PASOR=10; //3/4, 13/16
CNCLATHE_WHITWORTH_PASOR=9; //7/8, 15/16
CNCLATHE_WHITWORTH_PASOR=8; //1
CNCLATHE_WHITWORTH_PASOR=7; //1 1/8, 1 1/4
CNCLATHE_WHITWORTH_PASOR=-1;
CNCLATHE_WHITWORTH_PASOR=-1;
CNCLATHE_WHITWORTH_PASOR=-1;
CNCLATHE_WHITWORTH_PASOR=-1;
CNCLATHE_WHITWORTH_PASOR=-1;
CNCLATHE_WHITWORTH_PASOR=-1;
CNCLATHE_WHITWORTH_PASOR=-1;
CNCLATHE_DROSCA_VL_ABORT= 7.0; //mm/s
CNCLATHE_DROSCA_RETRO_X= 1.0; //mm
CNCLATHE_DROSCA_MAN_RETRO_X= 3.0; //mm
CNCLATHE_DROSCA_VCICLO= 7.0; //mm/s
CNCLATHE_DROSCA_VOFFSETX= 2.0; //mm/s
[END_SECTION][PARAMETROS_ROSCA]
//*************************************************************************************
[SECTION][PARAMETROS_CONO]
CNCLATHE_DCONO_MIN_VCONO= 0.1; //mm/s
CNCLATHE_DCONO_MAX_VCONO= 10.0; //mm/s
CNCLATHE_DCONO_MIN_CONICIDAD= 0.01;
CNCLATHE_DCONO_MAX_CONICIDAD= 100.0;
CNCLATHE_DCONO_MIN_LONGITUD= 1.0; //mm
CNCLATHE_DCONO_MAX_LONGITUD= 500.0; //mm
CNCLATHE_DCONO_MIN_RPMCONO= 50; //RPM
CNCLATHE_DCONO_MAX_RPMCONO= 3000; //RPM
CNCLATHE_DCONO_VL_ABORT= 7.0; //mm/s
CNCLATHE_DCONO_RETRO_X= 1.0; //mm
CNCLATHE_DCONO_VCICLO= 7.0; //mm/s
CNCLATHE_DCONO_VOFFSETX= 2.0; //mm/s
[END_SECTION][PARAMETROS_CONO]
//*************************************************************************************
[SECTION][PARAMETROS_ARCO]
CNCLATHE_DARCO_VCICLO= 7.0; //mm/s
CNCLATHE_DARCO_VABORT= 7.0; //mm/s
CNCLATHE_DARCO_MINVCICLO= 0.5; //mm/s
CNCLATHE_DARCO_MAXVCICLO= 6.0; //mm/s
CNCLATHE_DARCO_MINRPM= 50; //RPM
CNCLATHE_DARCO_MAXRPM= 3000; //RPM
[END_SECTION][PARAMETROS_ARCO]
//*************************************************************************************
[SECTION][PARAMETROS_RANURA]
CNCLATHE_DRANURA_VCICLO= 7.0;
CNCLATHE_DRANURA_VABORT= 7.0;
CNCLATHE_DRANURA_MIN_VRANURA= 0.1;
CNCLATHE_DRANURA_MAX_VRANURA= 2.0;
CNCLATHE_DRANURA_MIN_RPM= 50;
CNCLATHE_DRANURA_MAX_RPM= 3000;
[END_SECTION][PARAMETROS_RANURA]
//*************************************************************************************