Учтите что ng-disable работает только на элементах формы, поэтому тут

<div ng-click="doAction()" ng-disabled="buttonDisable">Click Me</div>

директива ng-click отрабатывает клик.

Если необходимо использовать ng-disable могу предложить такой вот хак:

<div ng-click="buttonDisable || doAction()" ng-disabled="buttonDisable</div>

P.S.: Большоя спасибо Vitalii Hudyma за планкер с кодом.