Наиболее популярными форматами являются PNG, JPG и GIF (кто-то ещё пользуется BMP?). Теперь рассмотрим, в каких случаях какой формат будет оптимальным выбором.
Текст и клипарт
Если на скриншоте преимущественно текст (код или результаты поиска), то лучше применять GIF или PNG. Текст будет выглядеть читабельнее, а размер файла совсем небольшим.
Обычные окна
Для таких объектов, как диалоговые окна, окна командера и т.п., используйте формат PNG, который сохранит цвета и сделает картинку четче. Сравните качество.
Видео и фото
Если вы всё ещё делаете скриншоты видео (игры, flash анимация) или фото (обои рабочего стола), то в этом случае выбирайте JPG вместо PNG. Размер файла будет меньше без серьезной потери качества.