(Java) В файл записывается только последний ввод, предыдущие вводы игнорируются

Вы должны открыть файл с флагом добавления «true».

fileStrm = new FileOutputStream(pFileName, true);

Ссылка на документацию

Когда вы создаете новый PrintWriter, он создает новый пустой файл. Вот почему в вашем файле сохраняется только последняя запись. Я предлагаю использовать NIO.2, который доступен начиная с Java 7 (выпущенной в 2011 году). Следующий код демонстрирует.

import java.io.BufferedWriter;
import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.nio.file.StandardOpenOption;
import java.util.InputMismatchException;
import java.util.Scanner;

public class ProgTest {

    private static String getName(Scanner sc) {
        String name;
        do {
            System.out.print("Name: ");
            name = sc.nextLine();
            if (name.isEmpty()) {
                System.out.println("You did not enter a name.");
            }
        } while (name.isEmpty());
        return name;
    }

    private static double getTime(Scanner sc) {
        double time;
        do {
            System.out.print("Time: ");
            try {
                time = sc.nextDouble();
            }
            catch (InputMismatchException xInput) {
                time = 0.0;
            }
            if (time <= 0.0) {
                System.out.println("Enter a positive number (which may include a decimal fraction).");
            }
            sc.nextLine();
        } while (time <= 0);
        return time;
    }

    private static void writeToFile(BufferedWriter bw, String line) throws IOException {
        bw.write(line);
        bw.newLine();
    }

    public static void main(String[] args) {
        Scanner sc = new Scanner(System.in);
        String choice;
        Path path = Paths.get("storage.csv");
        try (BufferedWriter bw = Files.newBufferedWriter(path,
                                                         StandardOpenOption.CREATE,
                                                         StandardOpenOption.APPEND,
                                                         StandardOpenOption.WRITE)) {
            writeToFile(bw, "Name,Time");
            do {
                String name = getName(sc);
                double time = getTime(sc);
                writeToFile(bw, name + "," + time);
                System.out.print("Enter more data? (y/n): ");
                choice = sc.nextLine();
            } while ("y".equalsIgnoreCase(choice));
        }
        catch (IOException xIo) {
            xIo.printStackTrace();
        }
    }
}