با اضافه کردن
set (CMAKE_PREFIX_PATH "C:\\Qt\\Qt5.9.1\\5.9.1\\msvc2017_64\")
در فایل CMakeLists.txt بعد از عبارت cmake_minimum_required(VERSION 3.2) مشکل حل شد.