Токенизировать мой CSV в одном списке, а не отдельно, используя Python

Я хочу токенизировать свой CSV в одном списке, а не в отдельном списке?

with open ('train.csv') as file_object:
    for trainline in file_object:
        tokens_train = sent_tokenize(trainline)
        print(tokens_train)

Вот как я получаю вывод:

['2.1 Separated of trains']
['Principle: The method to make the signal is different.']
['2.2 Context']

Я хочу, чтобы все они были в одном списке

['2.1 Separated of trains','Principle: The method to make the signal is different.','2.2 Context']

python tokenize

18.04.2019 01:10

Почему в Python есть оператор "pass"?

Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.

Некоторые методы, о которых вы не знали, что они существуют в Python

Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...

Основы Python Часть I

Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?

LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа

Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:

Оптимизация кода с помощью тернарного оператора Python

И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это

Советы по эффективной веб-разработке с помощью Python

Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.

Перейти к ответу Данный вопрос помечен как решенный

Ответы 2

Ответ принят как подходящий

Поскольку sent_tokenize() возвращает список, вы можете каждый раз просто расширять начальный список.

alltokens = []

with open ('train.csv') as file_object:
    for trainline in file_object:
        tokens_train = sent_tokenize(trainline)
        alltokens.extend(tokens_train)
    print(alltokens)

Или с пониманием списка:

with open ('train.csv') as file_object:
    alltokens = [token for trainline in file_object for token in sent_tokenize(trainline)]
print(alltokens)

Оба решения будут работать, даже если sent_tokenize() возвращает список длиннее 1.

[['2.1 Отдельно от поездов'], ['Принцип: метод подачи сигнала другой.'],['2.2 Контекст']]

— 18.04.2019 02:10

Вот что я получаю от вашего метода.

— 18.04.2019 02:11

Как мы можем объединить их все в один список?

— 18.04.2019 02:26

Пожалуйста. Если ответ был полезен, пожалуйста, примите его. stackoverflow.com/help/someone-answers

— 18.04.2019 03:28

18.04.2019 01:17

Инициализировать пустой список

out = []

И внутри цикла добавьте к нему элементы.

out.append(tokens_train)

Возможно, вам также нужно изменить свой токенизатор.

18.04.2019 01:19

Другие вопросы по теме

Как обрабатывать фразу, содержащую стоп-слова, как один токен с помощью Python nltk.tokenize

Как возвращать только фактические токены, а не пустые переменные при токенизации?

Как предотвратить разделение определенных слов или фраз и чисел в NLTK?

Как применить нижний регистр к строке с помощью Lucene

Токенизация регулярных выражений с помощью чисел?

Как токенизировать предложение с помощью nlp

Как использовать tokezine/untokenize?

Как реализовать счетчик прогресса при разборе больших файлов XML в Go/Golang с помощью xml.NewDecoder(xmlFile)?

Что лучше использовать keras.preprocessing.tokenizer или nltk.tokenize

Как написать регулярное выражение Java для токенизации строк?

Токенизировать мой CSV в одном списке, а не отдельно, используя Python

Ответы 2

Другие вопросы по теме

Похожие вопросы