Учтите что ng-disable работает только на элементах формы, поэтому тут
<div ng-click="doAction()" ng-disabled="buttonDisable">Click Me</div>
директива ng-click отрабатывает клик.
Если необходимо использовать ng-disable могу предложить такой вот хак:
<div ng-click="buttonDisable || doAction()" ng-disabled="buttonDisable</div>
P.S.: Большоя спасибо Vitalii Hudyma за планкер с кодом.