Бештар

Чӣ тавр файли .csv -ро ба CartoDB тавассути SQL ворид кардан мумкин аст?


Чӣ тавр ворид кардани файли .csv ба CartoDB бо истифода аз SQL, маълумоти дар зер овардашуда:

Нуқта | TOP_dm | BOTTOM_dm | X_RD | Y_RD

35AP7600 | 4418 | 4368 | 262053 | 467223

35AP7601 | 4267 | 4217 | 262000 | 467143

35AP7602 | 4358 | 4308 | 261780 | 467148

35AP7603 | 4209 | 4159 | 262098 | 467243


Истифодаи SQL API

Агар он маълумоти динамикӣ бошад, он чизе ки шумо мехоҳед бор кунедSQL, шумо бояд CartoDB SQL API -ро тафтиш кунед ва скриптро иҷро кунедВорид кунедмаълумоти csv -и шумо дар CartoDB.

Истифодаи панели идоракунӣ

Агар ин маълумоти статикӣ бошад, шумо метавонед танҳо файлро кашед дар CartoDB -и шумо панели асбобҳо

https://your_account_name.cartodb.com/dashboard

Истифодаи IMPORT API

Инчунин як пости хеле ҷолиб дар Import API мавҷуд аст, ки метавонад барои шумо муфид бошад. Ин паём скрипти ниҳонӣ дорад, то файлҳои шуморо чунин бор кунад:

./cdb_import.sh   

Эзоҳ: Радди масъулиятро дар скрипти cdb_import.sh ҳисоб кунед. Он метавонад кӯҳна шавад


Умедворам, ки шумо LOAD DATA INFILE -ро истифода мебаред.

Кӯшиш кунед, ки ба ҷои LOAD DATA INFILE LOAL DATA INFILE истифода баред.

Масъалаи дигар метавонад ин бошад, лутфан ба истиноди зерин муроҷиат кунед: MySQL LOAD DATA.

Вақте ки шумо ба MySQL ворид мешавед, амалҳои зеринро иҷро кунед,

Ҳоло CSV-и худро бо истифода аз LOAD DATA LOCAL INFILE бор кунед, ба мо лозим аст, ки пеш аз он ки мо CSV-ро дар vesrsions нави MySQL ворид кунем, бо сабабҳои амният --local-infile -ро истифода баред.

Гарчанде ки ҷавоби дар боло овардашуда масъаларо барои OP ҳал кард, ман фикр мекунам, ки ман бояд дар бораи он ки чӣ гуна як масъаларо ҳал кардам, саҳм гузорам. Хатогии 13 аз сабаби нодуруст ё нокифоя будани иҷозатҳои файл ба вуҷуд омадааст. Дар ҳолати ман, ин ба SELinux вобаста буд. Агар шумо SELinux -ро истифода баред, ислоҳи роҳи файли додаҳои худро ба директорияҳои иҷозатдодашуда барои MySQL дар ин ҷавоб ёфтан мумкин аст: https://stackoverflow.com/a/3971632/1449160

MySQL талаб мекунад, ки файли CSV дар феҳристи дастрасиаш бошад.

Файли худро аз "/home/stockrecdb/" ба "/tmp" интиқол додан низ метавонад мушкилотро ҳал кунад.

Ман ин паёми хатои дақиқро дар бораи Хатои 13 (HY000) доштам, ки бо истифода аз опсияи LOCAL, ки Абдул Манаф пешниҳод кардааст, ҳал карда шудааст. Бо вуҷуди ин, ман бо файли CSV ба андозаи 101 ГБ часпида будам. Ҳангоми кӯшиши ворид кардани ин файли CSV, система дар бораи огоҳии LOW Disk Space хабар дод ва вазифаи воридот ба охир нарасидааст. Боиси таассуф аст, ки утилитаи дискҳои Gui ҳатто фармони df -h нишон дод, ки дар феҳристи решаи ман зиёда аз 85 ГБ фазои диск боқӣ мондааст.

Пас аз он ман фаҳмидам, ки варианти LOCAL файли CSV -ро ба ҷои муваққатӣ дар root / директория нусхабардорӣ мекунад. Он гоҳ он аз файли муваққатӣ мехонад. Азбаски файли CSV-и ман 101 ГБ аз фазои холӣ дар решаи ман калонтар буд / ман огоҳии диски пастро мушоҳида мекардам, аммо ин дар бисёр GUI ва абзорҳои фармондеҳӣ, ба истиснои мониторе, ки баъдтар шинохтам, ошкор карда нашуд. Азбаски ман дар пойгоҳи додаҳои MySQL бо зиёда аз 300 ГБ кор мекунам, ман маҷбур будам феҳристи маълумотҳои MySQL -ро ба диски дигари дохилӣ интиқол диҳам ва ман CSV -ро аз диски сахти беруна ворид мекардам. Нусхабардории файли CSV 101GB ба феҳристи маълумотҳои MySQL дар диски дохилӣ ба ман имкон медиҳад, ки фармони LOAD DATA INFILE -ро бе ягон паёми хато иҷро кунам.

Пас аз имконоти LOCAL барои файлҳои CSV калонтар аз фазои холии феҳристи решаи худ огоҳ бошед. Варианти LOCAL инчунин барои истодагарии SSD фикри хуб нест.


Ҷавоби juergen d албатта дуруст аст, аммо бо назардошти паёми хатогии худ, шумо инчунин метавонед ба файли SQL -и худ дар сатри аввал илова кунед:

Ин инчунин бояд корро иҷро кунад ва ба шумо имкон диҳад, ки дар зери Workbench воридот ворид кунед.

Вақте ки шумо mysqldump -ро истифода мебаред, файли содиршуда дар папкаи ҷорӣ захира карда мешавад. Дар кадом роҳ будан муҳим нест. Танҳо ҳангоми воридот аз сатри фармон шумо бояд дар як ҷузвдон бошед ё роҳи файлро муайян кунед. Аммо ин вақте нест, ки шумо асбоби визуалиро ба мисли Workbench истифода мебаред, ки дар он шумо бояд файлро аз дарахти ҷузвдон интихоб кунед.


Намунаи CSV -ро зеркашӣ кунед

Оё ба барномаи шумо лозим аст, ки арзишҳои ҷудогонаи вергул ё танҳо файлҳои CSV -ро нигоҳ дорад? Оё ҳамаи файлҳои .csv дар дохили барнома метавонанд ҳамаи маълумоти ҷадвалиро дар матни оддӣ нишон диҳанд?

Бо истифода аз ин хидмати ройгон файлҳои .csv ё Comma Separated Values ​​-ро санҷед. Оё ба шумо лозим аст, ки миқдори зиёди сабтҳоро дар дохили барномаи худ нигоҳ доред? Оё файлҳои .csv матни оддиро дар бар мегирад, ки ҳамаи маълумоти ҷадвалиро дар бар мегирад? Пас чаро файли санҷиш ё намоишро комилан ройгон зеркашӣ накунед. Файлҳои демо .csv -ро аз 10 қатор то қариб ним миллион сатр зеркашӣ кунед. Онеро интихоб кунед, ки ба талаботи шумо мувофиқ бошад. Шумо ҳатто метавонед вариантҳои кор бо файлҳои .csv -ро пайдо кунед, ки метавонанд сабтҳо, маълумот ё арзишҳоро бо сатрҳои 100, 1000, 5000, 10000, 50000 ва 100000 нигоҳ доранд.

Санҷиши php, c#ё ягон рамзи дигари забони барномасозӣ, ки ба функсияи воридоти файли CSV нигаронида шудааст, бо истифода аз ин хидмати комилан ройгон ба як торт табдил меёбад. Гирифтани намунаҳои файлҳои CSV барои истифодаи намоишӣ/санҷиш чизе нест, ки шумо онро дар ҷои дигаре хоҳед ёфт. Бигзор барномаи шумо ҳазорҳо арзишҳоро бо осонӣ нигоҳ дорад, то файлро пеш аз амалӣ кардани он санҷед.


Воридот/содирот чӣ гуна кор мекунад?

Хидмати воридот/содироти Azure имкон медиҳад, ки тавассути эҷоди ҷойҳои корӣ маълумот ба Azure Blobs ва Azure Files интиқол дода шавад. Барои эҷоди ҷойҳои корӣ портали Azure ё Azure Resource Manager REST API -ро истифода баред. Ҳар як кор бо ҳисоби ягонаи нигоҳдорӣ алоқаманд аст.

Ҷойҳои корӣ метавонанд ҷойҳои кории воридотӣ ё содиротӣ бошанд. Кори воридотӣ ба шумо имкон медиҳад, ки маълумотро ба файлҳои Azure Blobs ё Azure ворид кунед, дар ҳоле ки кори содирот имкон медиҳад, ки маълумот аз Azure Blobs содир карда шавад. Барои кори воридотӣ, шумо дискҳои дорои маълумоти шуморо мефиристед. Вақте ки шумо кори содиротиро эҷод мекунед, шумо диски холиро ба маркази додаҳои Azure мефиристед. Дар ҳар сурат, шумо метавонед дар як кор то 10 диски диск фиристед.

Дар дохили як кори воридотӣ

Дар сатҳи баланд, кори воридотӣ қадамҳои зеринро дар бар мегирад:

  1. Маълумоти воридшавандаро муайян кунед, шумораи дискҳои ба шумо лозим, макони ҷойгиршавии блоки таъиноти шумо дар анбори Azure.
  2. Воситаи WAImportExport -ро барои нусхабардории маълумот ба дискҳои диск истифода баред. Дискҳои дискро бо BitLocker рамзгузорӣ кунед.
  3. Дар ҳисоби нигаҳдории мақсадноки шумо дар портали Azure кори воридотӣ эҷод кунед. Файлҳои маҷаллаи гардонандаро бор кунед.
  4. Суроғаи бозгашт ва рақами суратҳисоби интиқолдиҳандаро барои баргардонидани дискҳо ба шумо пешниҳод кунед.
  5. Дискҳои дискро ба суроғаи фиристодани ҳангоми таъсиси ҷойҳои корӣ фиристед.
  6. Рақами пайгирии интиқолро дар тафсилоти кори воридот навсозӣ кунед ва кори воридотро пешниҳод кунед.
  7. Дискҳо дар маркази иттилоотии Azure қабул ва коркард карда мешаванд.
  8. Дискҳо бо истифода аз ҳисоби интиқолдиҳандаи шумо ба суроғаи баргардонидани дар кори воридот фиристода мешаванд.

Барои интиқолҳои маҳаллӣ (дар дохили маркази кишвар/минтақа), лутфан ҳисоби интиқолдиҳандаи ватаниро мубодила кунед.

Барои интиқол ба хориҷа (берун аз маркази кишвар/минтақа), лутфан ҳисоби интиқолдиҳандаи байналмилалиро мубодила кунед.

Барои дастурҳои зина ба зина оид ба воридоти маълумот, ба:

Дар дохили як кори содиротӣ

Хидмат танҳо содироти Azure Blobs -ро дастгирӣ мекунад. Содироти файлҳои Azure дастгирӣ намешавад.

Дар сатҳи баланд, кори содиротӣ қадамҳои зеринро дар бар мегирад:

  1. Маълумоти содиршаванда, шумораи дискҳои ба шумо лозим, блокҳои манбаъ ё роҳҳои контейнерии маълумоти шуморо дар анбори Blob муайян кунед.
  2. Дар ҳисоби нигаҳдории сарчашмаи худ дар портали Azure кори содиротӣ эҷод кунед.
  3. Барои содироти маълумот блоки манбаъ ё роҳҳои контейнерро муайян кунед.
  4. Суроғаи бозгашт ва рақами суратҳисоби интиқолдиҳандаро барои баргардонидани дискҳо ба шумо пешниҳод кунед.
  5. Дискҳои дискро ба суроғаи интиқол, ки ҳангоми таъсиси ҷойҳои корӣ пешниҳод шудааст, фиристед.
  6. Рақами пайгирии интиқолро дар тафсилоти кори содирот навсозӣ кунед ва кори содиротро пешниҳод кунед.
  7. Дискҳо дар маркази иттилоотии Azure қабул ва коркард карда мешаванд.
  8. Дискҳо бо BitLocker рамзгузорӣ шудаанд ва калидҳо тавассути портали Azure дастрасанд.
  9. Дискҳо бо истифода аз ҳисоби интиқолдиҳандаи шумо ба суроғаи баргардонидани дар кори воридот фиристода мешаванд.

Барои интиқолҳои маҳаллӣ (дар дохили маркази кишвар/минтақа), лутфан ҳисоби интиқолдиҳандаи ватаниро мубодила кунед.

Барои интиқол ба хориҷа (берун аз маркази кишвар/минтақа), лутфан ҳисоби интиқолдиҳандаи байналмилалиро мубодила кунед.

Барои дастурҳои зина ба зина оид ба содироти маълумот, ба Экспорт кардани маълумот аз Azure Blobs гузаред.


1 Ҷавоб 1

Ин аз оне ки шумо гумон мекунед, соддатар аст, зеро шумо метавонед устоди воридоти матнро (ё дурусттараш, шумо метавонед аз он истифода баред) дар дохили макро истифода баред, ба навиштани таҳлилгари CSV ё чизи ба ин монанд ҳоҷат нест.

Дар асл, ҳама коре, ки ман бо макро дар зер анҷом додам, ин истифодаи функсияи сабти дарунсохт аст ва он гоҳ каме қонеъ кардани ниёзҳои шумо.

Истифодаи макро:

Файли ҷории Excel -и худро нусхабардорӣ кунед, агар чизе хато кунад.

Таърифи ҷузвдонро дар макро тағир диҳед, то он роҳе бошад, ки ҳамаи файлҳои додаҳои шуморо дарбар гирад - боварӣ ҳосил кунед, ки слэши поёни дошта бошед.

Чашмаки сарлавҳаи сутунҳоро интихоб кунед, ки бояд дорои номи яке аз файлҳои шумост - аз ҷумла васеъшавии файл. Агар шумо хоҳед, ки васеъкуниро хориҷ кунед, шумо метавонед ин майдонро пас аз бор кардани маълумот таҳрир кунед.

Амалҳо

Он номи файлро аз ячейкаи ҷорӣ мегирад, дар папкаи нишондодашуда нигоҳ кунед ва он файлро, ки дар чашмак зикр шудааст, кушоед. Он гоҳ он онро ҳамчун CSV ворид мекунад, маҳз як ячейка дар поён чашмаки интихобшуда (ҳангоми оғоз кардани макро).

Ҳамин тавр, он эҳтимолан ҳангоми иҷрои макро чашмакҳои зери чашмаки интихобшударо аз нав сабт мекунад - эҳтиёткорона тавсия дода мешавад.

Агар файл ёфт нашавад ё ягон хатои дигар рух диҳад, ин бо қуттии хатои муқаррарии VBA ноком мешавад, ҳеҷ паёми хатои дӯстона.


Чӣ тавр ҷадвали электрониро ба сатри бо вергул ҷудо кардашуда табдил додан мумкин аст

Вақте ки шумо ҷадвали электронии Microsoft Excel-ро ба матни бо вергул ҷудо кардашуда табдил медиҳед, раванди натиҷа аломатҳои нуқтаҳоро дар байни сатрҳо ва сутунҳои дохили варақаи корӣ иваз мекунад. Як сатри ячейкаҳо дар Excel ба як сатри матн мубаддал мешаванд, ки дар он вергул сарҳадҳои сутунро ишора мекунад ва баргардонидани интиқол ақсои сатрҳоро муайян мекунад. Ҳуҷҷати матнии бадастомада одатан тамдиди файли ".csv" -ро дорад ва метавонад ҳамчун вуруд ба бисёр намудҳои дигари нармафзор, аз ҷумла пойгоҳи додаҳо, иттилооти ҷуғрофӣ ва барномаҳои тарҳбандии саҳифа истифода шавад. Файлҳои CSV метавонанд ба шумо дар тағир додани маълумоти ҷадвали худ барои мақсадҳои дигари тиҷорат кӯмак расонанд.

Ҷадвали "Файл" -ро дар лентаи Microsoft Excel клик кунед ва "Ҳамчун захира кардан" -ро интихоб кунед. Менюи афтандаҳои "Сабтро ҳамчун Намуд" -ро ба "CSV" таъин кунед ва ба файли худ ном гузоред.

Интерфейси навигатсионии файлро дар қуттии муколамаи Ҳамчун Сабткунӣ истифода баред, то диск ва ҷузвдонеро, ки мехоҳед файли CSV-и худро захира кунед, пайдо кунед. Тугмаи "Захира" -ро клик кунед, то раванди содиротро оғоз кунед.

Тугмаи "OK" -ро дар қуттии муколамае, ки пайдо мешавад, клик кунед ва шуморо огоҳ мекунад, ки содироти CSV мундариҷаи файли матнии натиҷашударо бо варақаи кории ҳозираи китоби шумо маҳдуд мекунад. Шумо бояд ҳар як варақаи кориро ҳамчун файли инфиродӣ CSV захира кунед, то мундариҷаи китоби кориро бо варақаҳои сершумори корӣ сабт кунед.

Тугмаи "OK" -ро дар қуттии муколамаи дуввум, ки пайдо мешавад, клик кунед ва ин дафъа шуморо огоҳ мекунад, ки баъзе ҷанбаҳои варақаи кории шумо наметавонанд ба файли матнии шумо тарҷума шаванд. Формулаҳо ба арзишҳое, ки онҳо бармегардонанд, табдил медиҳанд, аз ин рӯ ба нақша гиред, ки формулаҳои муҳимро аз сатри Формула дастӣ нусхабардорӣ кунед ва ба файли матнӣ гузоред, агар ба шумо дастрасӣ ба онҳо берун аз Excel лозим бошад. Графика, объектҳо, графикҳо ва дигар мундариҷаи ғайриматнавӣ ба файли CSV намегузаранд. Ғайр аз он, агар матни шумо дорои рамзҳо ё аломатҳои акцентӣ бошад, бо нигоҳ доштани файли CSV -и худ дар версияи формати файле, ки ба системаи амалиётӣ мувофиқ аст, ки шумо бояд натиҷаро истифода баред, ивазкунии аломатҳоро байни системаҳои оператсионӣ пешгирӣ кунед.


Истифодаи асосии PostGIS

Дар ин бахш, мо мехоҳем пойҳои худро бо PostGIS тар кунем. Тавре ки мо бо маълумоте, ки то имрӯз дучор шуда будем, додаҳои фазоиро метавон бо истифода аз геометрияи the_geom ё the_geom_webmercator коркард, филтр, фармоиш ва чен кард.

Функсияҳое, ки ба мо имкон медиҳанд ин корро аз PostGIS бароранд ва ҳама бо "ST_" оғоз мешаванд, ҳамон тавре ки мо дар ST_AsText () дар боло дидем. CARTO инчунин баъзе вазифаҳои ёрирасонро муаррифӣ мекунад, ки миқдори чопкуниро дар охири корбар кам мекунанд. Инҳо бо "CDB_" оғоз мешаванд. Масалан, мо барои гирифтани координат дар проексияи 4326 (WGS84) CDB_LatLng (лат, дароз) -ро истифода хоҳем бурд.

Мо кор карданро бо маълумоти заминҷунбӣ идома медиҳем, аммо кӯшиш мекунем аз он маълумоти нави муфид эҷод кунем. Бигӯед, ки шумо мехоҳед донед, ки масофа бо километрҳо дафтари шумо аз ҳама заминҷунбиҳо дар ҷадвали маълумот аст. Шумо дар ин кор чӣ кор мекардед?

Аввал шумо бояд макони худро донед. Биёед бигӯем, ки шумо дар маркази Сан-Франсиско ҳастед, ки дар наздикии (37.7833 ° N, -122.4167 ° W) аст, бинобар ин мо метавонем танҳо функсияи CDB_LatLng () -ро барои тавлиди геометрияи дуруст истифода барем.


Ҳангоми содирот, ман фикр мекунам, ки ин имконнопазир аст.

Аммо шумо инчунин метавонед ин роҳро пеш аз захира кардан ё пас аз захира кардан кӯшиш кунед

Файли CSV -ро дар муҳаррири матнӣ ба монанди Notepad кушоед ва ҳама чизро пайдо кунед/иваз кунед ,, =>, NULL,. Он дар дохили Excel нест, аммо он кор хоҳад кард.

Ман медонам, ки ин дар Excel навтар кор мекунад, дар бораи версияи кӯҳна мутмаин нестам.

  1. Чашмаки А1 -ро интихоб кунед ва тугмаи чапи ростро пахш кунед
  2. Ctrl + H -ро пахш кунед
  3. Дар майдони "Ҷустуҷӯ" онро холӣ гузоред
  4. дар майдони "Иваз кардан" дар NULL гузошта шудааст

Ин бояд ҳамаи матнҳоро бо 'NULL' дар чашмакҳои интихобшуда иваз кунад.

Ҷавоби кӯтоҳ: Шумо ҳеҷ коре намекунед.

Байни ячейкаи Excel бо сатри холӣ ё яктое, ки арзиш надорад (сифр) барои содироти CSV ҳеҷ фарқияте нест. Майдонҳо дар файлҳои CSV дар асл намудҳои маълумот надоранд. Ҳамин тариқ, шумо дар файли CSV -и худ ба ҳар сурат майдони холӣ хоҳед гирифт. Мисол:

CSV эҷод мекунад, ки дорои:

Ҳеҷ чиз байни ду ҷудокунанда (вергул) маънои холӣ ё нулро надорад. Муносибати арзиши холӣ аз нармафзоре, ки файли CSV -ро мехонад, вобаста аст.


1 Ҷавоб 1

Ин аст як роҳе, ки метавонад кор кунад, агар дар файл матни иқтибосшуда мавҷуд набошад:

Файли матниро таҳрир кунед, то аломати иқтибос ва нохунакро дар аввали параграфи аввал ва охири охир дохил кунед.

Пас аз интихоби файл шумо пешнамоиш хоҳед гирифт, ки маълумотро дар чандкарата нишон медиҳад сутунҳо дар ҳамин вақт. Ҷудокунандаро ба & quotCustom & quot иваз кунед, аммо қуттии фармоишгари фармоиширо холӣ гузоред. Ҳоло он бояд ҳама чизро дар як ячейка нишон диҳад.

(Ман кӯшиш мекунам, ки баъдтар ин ҷавобро бо усули истифодаи формулаи Power Query M, ки тавассути тугмаи Transform Data дар равзанаи пешнамоиш дастрас аст, васеъ кунам.)