Методы маркировки твитов
Я работаю над личным проектом по анализу данных в Твиттере, особенно над арабскими твитами. Сейчас я нахожусь на этапе предварительной обработки, Я уже сохранил потоковые твиты в файлах JSON, мне нужно пометить твиты как pos и neg. есть ли способ добавить метку непосредственно в файл json или как это сделать?
Ответы 1
Вам нужно загрузить JSON и аннотировать каждый твит в итерации, затем вам нужно перезаписать этот файл JSON или сохранить его в другом. Нет возможности вносить прямые изменения в файл.
Вам нужно будет использовать Модуль Python JSON
@ Eng.shohso под большими данными вы имеете в виду, что у вас постоянно растущий JSON или несколько JSON? В любом случае я бы не рекомендовал использовать хранение файлов JSON или JSON для больших данных ... когда вы говорите о больших данных, мы говорим о литрах в сотнях ГБ или даже ТБ данных. Думаю, для этого больше подходят другие формы хранилищ. Что именно ты пытаешься сделать?
Я записывал поток твитов в файлы JSON на основе списка ключевых слов более 3 месяцев. В результате получаются большие файлы, содержащие миллионы твитов в формате json. Я пытаюсь проанализировать все эти файлы и извлечь определенные поля, такие как текст, местоположение и т. д., И сохранить их в один файл csv для дальнейшей обработки и анализа текста.
@ Eng.shohso А почему вы не используете для этого базу данных + elasticsearch? Облегчает вашу жизнь при поиске текста.
Спасибо, а что, если я имею дело с большими данными? есть ли какой-нибудь инструмент, который мог бы помочь? любая идея?