水上起小水泡很痒一般是由接触水中的刺激物质、过敏反应或皮肤感染等原因引起的，可采用局部护理、药物治疗和保持皮肤干燥等方式进行治疗，详情如下：

1. 局部护理：对于水泡较小且未感染的情况，可以采取局部护理的方式进行治疗。首先，可以用温水和中性洗涤剂轻轻清洗受影响的皮肤区域，然后用干净的毛巾轻轻擦干，避免摩擦或搔抓水泡。接下来，可以涂抹一些消炎止痒的外用药物，如含有氢化可的松或氢化泼尼松的药膏，以缓解痒感和减轻炎症。

2. 药物治疗：对于水泡较大、感染或症状严重的情况，可以考虑药物治疗。可以口服或局部涂抹抗过敏药物，如抗组胺药物，以减轻过敏反应引起的痒感。同时，如果水泡感染严重，可能需要使用抗生素药物，以治疗继发的细菌感染。

3. 保持皮肤干燥：水泡形成的原因之一可能是因为皮肤长时间处于潮湿的环境中。因此，保持皮肤干燥也是治疗水泡的重要措施之一。可以选择透气性较好的鞋袜，避免穿湿鞋和湿袜子；在接触水后，尽快将皮肤擦干，并保持皮肤通风。

除以上相对常见的治疗方式外，还有其他的治疗方式，比如热敷和中药外用等。热敷可以通过扩张血管，促进血液循环，加速水泡愈合；中药外用则可以根据个人情况选用适合的中药药膏或药水进行涂抹，以起到消炎、止痒的作用。但需要注意的是，在使用其他治疗方式时，应先咨询医生或药师的建议，避免不适或引起其他不良反应。