Как проверить, имеет ли следующий элемент в массиве numpy разницу менее 10 с текущим элементом?
У меня проблема с массивами numpy. Вот решение цикла while, которое я придумал, но время его выполнения слишком велико. массив SG1_stresses содержит чуть менее двух миллионов строк, а значения, например, 34,3241. time_list содержит значения времени, соответствующие SG1_stresses.
amplitude_limit = 10
index = 1
count = 1
while index < len(SG1_stress):
if (abs(SG1_stress[index] - SG1_stress[index - 1])
< amplitude_limit):
SG1_stress = np.delete(SG1_stress, index, 0)
time_list = np.delete(time_list, index, 0)
count += 1
else:
index += 1
Здесь я также хотел бы повторить процесс цикла while, чтобы все оставшиеся значения в SG1_stresses имели разницу, превышающую установленный амплитудный_предел. Например, если у нас есть
это сводится к
Я попытался добавить еще один внешний цикл While для выполнения внутреннего цикла до тех пор, пока не останется ничего, что можно было бы удалить, и для этого и нужна переменная count.
@rr_goyal Я хочу, чтобы разница была не менее 10 или -10, поэтому все значения с меньшей разницей должны быть удалены.
Извините, я снова и снова спрашиваю, каким будет результат в случае [55, 56, 59, 23, 22, 9]?
@rr_goyal [55, 23, 9]
Позвольте мне перефразировать этот вопрос: дает ли код, который вы даете в вопросе выше, правильный результат? Потому что для меня это не так: (1) Если я позволю ему работать как задано, это приведет к бесконечному циклу. (2) Если я заменю np.delete(SG1_stress, index, 0) на SG1_stress = np.delete(SG1_stress, index, 0), это даст неправильный результат. Например, для [59, 55, 56, 23] получается [59], а не [59, 23].
@simon Я не получил никаких результатов по предоставленному мной коду. Я предположил, что это связано с длительным временем выполнения, но, как вы сказали, это бесконечный цикл. Можете ли вы помочь мне изменить код для получения правильного результата?
Я вижу как минимум три необходимых изменения: (1) Замените np.delete(SG1_stress, index, 0) на SG1_stress = np.delete(SG1_stress, index, 0). (2) Замените np.delete(time_list, index, 0) на time_list = np.delete(time_list, index, 0). (3) Замените abs(SG1_stress[index]) - abs(SG1_stress[index - 1]) на abs(SG1_stress[index] - SG1_stress[index - 1]) (если я правильно понял ваше условие if). Кроме того, прежде чем пробовать полный пример с 2 миллионами строк, попробуйте на очень маленьком примере, чтобы увидеть, работает ли ваш код должным образом, вместо того, чтобы тратить время на ожидание завершения бесконечного цикла.
@simon, спасибо за ваш комментарий, он решил мою проблему с выводом цикла. Я получил правильный результат, протестировав образцы меньшего размера. Есть ли у вас предложения, как ускорить обработку полных 2 миллионов строк?
да с np.diff
@diggusbickus Простой np.diff здесь не подойдет. Обратите внимание, что сравнение элементов зависит от того, какие элементы будут удалены между ними. Я не уверен, что вы здесь предлагаете.
@JLarikka Я не уверен, можно ли здесь написать решение без цикла. В вашем алгоритме элементы, которые необходимо сравнить, зависят от того, какие элементы будут удалены между ними. На самом деле мы не знаем их заранее, поэтому, вероятно, нужен цикл и действительно нужно действовать шаг за шагом.
@simon diff хорошо работает с образцами, предоставленными без цикла. вопрос неясен, и задавший не прилагает никаких усилий. и даже несмотря на ваши усилия пролить свет на проблему, diff по-прежнему является ответом (или одним из них), и мне жаль, если вы не знаете, почему
@diggusbickus Частично согласен. (1) Согласен: Действительно, вопрос не очень четко определен. (2) Согласен: действительно, с учетом приведенных примеров (a = [59, 55, 56, 23] и a = [55, 56, 59, 23, 22, 9]) следующий код дает ожидаемый результат: a[np.abs(np.diff(a, prepend=np.inf)) >= amplitude_limit]. (3) Не согласен: если кто-то использует цикл OP for в качестве эталонной реализации, то np.diff не является ответом. Можно легко построить пример (например, a = [100, 95, 90, 10]), в котором решение ОП и решение с np.diff (или, по крайней мере, мое решение с np.diff) не согласуются.
Ответы 1
Вы можете сохранить цикл, но вам не нужно удалять значения по ходу действия. Вместо этого просто создайте список индексов, которые вы хотите сохранить. Например (генерация 2 миллионов случайных чисел):
import numpy as np
# some random numbers
stresses = 25 * np.random.randn(2000000)
# a list to keep the indices that you want to keep
keep = [0]
index = 1
amplitude_limit = 10
while index < len(stresses):
# check the difference with the last kept index
if (abs(stresses[index] - stresses[keep[-1]]) >= amplitude_limit):
# append indices you want to keep
keep.append(index)
index += 1
# now remove the indices you don't want
stresses = stresses[keep]
# just check there are no differences greater less than 10!
print(np.min(np.abs(np.diff(stresses))))
10.000054015012445
У меня это занимает меньше секунды.
никогда не используйте циклы в numpy. здесь вам по сути нужен дифференциал