Здравствуйте!
Математика 2-байтная, потому и 65535 (FFFF)
Насчет точности 0.001 в принципе возможно сделать (0...1ом первый измерительный диапазон, 1024 отсчета АЦП хватит, возможно операционник другой нужно будет поставить, у МСР602 при входных напряжениях близко к 0 и Vcc нелинейность приличная, врать будет)