У меня есть файл UTF-8 с данными twitter, и я пытаюсь его прочитать в кадре данных Python, но я могу получить только тип "object" вместо строк unicode:
# file 1459966468_324.csv
#1459966468_324.csv: UTF-8 Unicode English text
df = pd.read_csv('1459966468_324.csv', dtype={'text': unicode})
df.dtypes
text object
Airline object
name object
retweet_count float64
sentiment object
tweet_location object
dtype: object
Каков правильный способ чтения и принудительного ввода данных UTF-8 в unicode с помощью Pandas?
Это не решает проблему:
df = pd.read_csv('1459966468_324.csv', encoding = 'utf8')
df.apply(lambda x: pd.lib.infer_dtype(x.values))
Текстовый файл находится здесь: https://raw.githubusercontent.com/l1x/nlp/master/1459966468_324.csv