Respuestas
Por lo general cuando uno trata de borrar el programa se refiere a un proceso manual el cual consiste en ingresar a la carpeta de Archivos de programa (en el caso de Windows) e intentar borrar por método de eliminación por usuario el programa que se desee. Esto no es recomendable a menos que el desinstalador de tu sistema no funcione bien del todo.
La principal diferencia es la facilidad de desinstalación. El proceso de ingresar al panel de control versus el de ingresar a los Archivos de programa es mucho más fácil el panel de control. La desinstalación mediante este medio se asegura de buscar archivos que el programa pudo haber dejado por todo el equipo y si así se desea los elimina, en cambio, la desinstalación manual no siempre elimina en su totalidad los archivos que alguna vez albergaría este programa.
Entonces: borrar un programa puede que no se deshaga de todos los archvos del programa mientras que desinstalarlo completamente se encarga de borrar cualquier rastro o vestigio de dicho programa.
Por cuestiones de memoria y accesibilidad te recomendaría desinstalar siempre por métodos convencionales ya que borrar puede afectar tu sistema si no sabes lo que estás haciendo.