Hola Mafo.
Puede que tengas una suma de problemillas, pero según lo que has escrito recientemente, a lo que más me suena es al cabezal.
Te propongo un test. Haz una prueba de mecanizado, por ejemplo un cuadrado, ya que ahí es donde ves los problemas. Mecaniza a muy baja velocidad. Puedes hacer esta prueba con una fresa larga y otra vez pero con una fresa corta. Si puede ser, ambas del mismo diámetro. Si no tienes de diferente longitud, y el portapinzas te permite meter más o menos la fresa, ponla lo más salida que puedas en una prueba, y lo más metida en otra.
Si al comparar, la fresa que sobresale más hace los canales más amplios, o bien más grande el cuadrado, es un tema de concentricidad. Cuando existe este problema, cuanto más larga es la fresa más se nota. Luego está el tema de que además el cabezal tenga juegos. Yo en ese caso pondría otro cabezal para probar la diferencia, pero eso si tienes.