Я только что узнал, что у Mysql есть Native механизм хранения CSV, который хранит данные в файле данных с разделителями-запятыми для каждой таблицы.
Возможно ли создать таблицу непосредственно из загруженного CSV файла, например:
CREATE TABLE USERS < PATH/users.csv
где user.csv загружается пользователем?
Это невозможно. Для создания таблицы вам нужна схема таблицы. У вас есть файл данных. С ним нельзя создать схему. Что вы можете сделать, так это проверить, имеет ли ваш файл строку заголовка. В этом случае вы можете создать таблицу, используя эту строку заголовка, но вручную.
Однако существует способ генерировать инструкцию create table в командном файле, как описано John Swapceinski в разделе комментариев руководства MySQL.
Отправленный Джоном Swapceinski 5 сентября 2011 5:33 утра.
Создайте таблицу, используя заголовок файла .csv:
#!/bin/sh
# pass in the file name as an argument: ./mktable filename.csv
echo "create table $1 ( "
head -1 $1 | sed -e 's/,/ varchar(255),\n/g'
echo " varchar(255) );"
Только что обнаруженный csvkit, который представляет собой набор инструментов командной строки unix для файлов CSV. Установлено на моем Mac с помощью pip install csvkit, и команда была:
csvsql --dialect mysql --snifflimit 100000 bigdatafile.csv > maketable.sql
В качестве альтернативы вы можете предоставить строку подключения db, и она может напрямую загрузить таблицу.
Я знаю, что это немного устарело как тема, но есть более простой способ - ЕСЛИ - вы используете phpmyadmin в качестве своего внешнего интерфейса mysql.
1) Создайте базу данных только с настройками по умолчанию.
2) Выберите базу данных.
3) Нажмите "Импорт" в верхней части экрана.
4) Выберите CSV в разделе "Формат".
5) Выберите параметры, соответствующие вашему csv файлу (откройте файл csv в текстовом редакторе и укажите его, чтобы получить соответствующие опции).
Если вы отключите его, не проблема, просто отбросьте базу данных и повторите попытку.
Это помогло мне. Просто добавьте свой CSV файл, и вам хорошо идти.
В дополнение к другим решениям упомянутые пользователи Mac могут захотеть заметить, что SQL Pro имеет параметр импорта CSV, который работает достаточно хорошо и гибко - вы можете изменять имена столбцов и типы полей при импорте. Выберите новую таблицу, иначе начальный диалог может показаться несколько обескураживающим.
SQL Pro: http://www.sequelpro.com Sequel Pro - приложение для управления базами данных для работы с базами данных MySQL
Мне рекомендуется использовать MySQL Workbench, где есть данные импорта. Также можно создать новую таблицу из CSV или JSON.
В приложении MySQL Workbench используйте контекстное меню в списке таблиц и используйте
Мастер импорта данных таблицы
Ссылка на MySQL Workbench. https://dev.mysql.com/doc/workbench/en/wb-admin-export-import-table.html
если кто-то ищет php solutin:
Пакет: https://github.com/uzi88/PHP_MySQL_wrapper
$db = new MySQL_wrapper(MySQL_HOST, MySQL_USER, MySQL_PASS, MySQL_DB);
$db->connect();
// this sample gets column names from first row of file
//$db->createTableFromCSV('test_files/countrylist.csv', 'csv_to_table_test');
// this sample generates column names
$db->createTableFromCSV('test_files/countrylist1.csv', 'csv_to_table_test_no_column_names', ',', '"', '\\', 0, array(), 'generate', '\r\n');
/** Create table from CSV file and imports CSV data to Table with possibility to update rows while import.
* @param string $file - CSV File path
* @param string $table - Table name
* @param string $delimiter - COLUMNS TERMINATED BY (Default: ',')
* @param string $enclosure - OPTIONALLY ENCLOSED BY (Default: '"')
* @param string $escape - ESCAPED BY (Default: '\')
* @param integer $ignore - Number of ignored rows (Default: 1)
* @param array $update - If row fields needed to be updated eg date format or increment (SQL format only @FIELD is variable with content of that field in CSV row) $update = array('SOME_DATE' => 'STR_TO_DATE(@SOME_DATE, "%d/%m/%Y")', 'SOME_INCREMENT' => '@SOME_INCREMENT + 1')
* @param string $getColumnsFrom - Get Columns Names from (file or generate) - this is important if there is update while inserting (Default: file)
* @param string $newLine - New line delimiter (Default: \n)
* @return number of inserted rows or false
*/
// function createTableFromCSV($file, $table, $delimiter = ',', $enclosure = '"', $escape = '\\', $ignore = 1, $update = array(), $getColumnsFrom = 'file', $newLine = '\r\n')
$db->close();
Я принял script с shiplu.mokadd.im, чтобы соответствовать моим потребностям. Кому это интересно:
#!/bin/bash
if [ "$#" -lt 2 ]; then
if [ "$#" -lt 1 ]; then
echo "usage: $0 [path to csv file] <table name> > [sql filename]"
exit 1
fi
TABLENAME=$1
else
TABLENAME=$2
fi
echo "CREATE TABLE $TABLENAME ( "
FIRSTLINE=$(head -1 $1)
# convert lowercase characters to uppercase
FIRSTLINE=$(echo $FIRSTLINE | tr '[:lower:]' '[:upper:]')
# remove spaces
FIRSTLINE=$(echo $FIRSTLINE | sed -e 's/ /_/g')
# add tab char to the beginning of line
FIRSTLINE=$(echo "\t$FIRSTLINE")
# add tabs and newline characters
FIRSTLINE=$(echo $FIRSTLINE | sed -e 's/,/,\\n\\t/g')
# add VARCHAR
FIRSTLINE=$(echo $FIRSTLINE | sed -e 's/,/ VARCHAR(255),/g')
# print out result
echo -e $FIRSTLINE" VARCHAR(255));"
Я сделал инструмент командной строки Windows, который делает именно это.
Вы можете скачать его здесь: http://commandline.dk/csv2ddl.htm
Использование:
C:\Temp>csv2ddl.exe mysql test.csv test.sql
или
C:\Temp>csv2ddl.exe mysql advanced doublequote comma test.csv test.sql
MySQL для плагина excel может помочь вам.
http://dev.mysql.com/doc/refman/5.6/en/mysql-for-excel.html
Откройте файл CSV в excel. Вы можете использовать этот плагин для экспорта данных Excel в новую таблицу удаленного или локального сервера mysql. Он проанализирует ваши данные (от 100 до 1000 строк) и создаст соответствующую схему таблицы.
Это невозможно, но вы можете перезаписать существующий файл таблицы. Но будьте уверены, что окончание строк в вашем файле - это стиль unix (заканчивается только с помощью \n), а не стиль окна (заканчивается на \r\n), независимо от того, работаете ли вы под окнами или нет.
Если вы в порядке с использованием Python, Pandas отлично поработал у меня (csvsql всегда вешался для моего случая). Что-то вроде:
from sqlalchemy import create_engine
import pandas as pd
df = pd.read_csv('/PATH/TO/FILE.csv')
# Optional, set your indexes to get Primary Keys
df = df.set_index(['COL A', 'COL B'])
engine = create_engine('mysql://user:[email protected]/db', echo=False)
df.to_sql(table_name, dwh_engine, index=False)
Также это не решает часть "использования CSV-движка", которая была частью вопроса, но могла бы также мне полезна.