Export data to csv in powershell

Получение данных

Для открытия файла ‘C:\text.txt’ можно использовать следующую команду:

Если у вас множество файлов или вы не уверены в назывании, то вы можете использовать подстановку. Символы подстановок бывают следующих типов:

• ‘*’ — говорит об неизвестном количестве символов;
• — говорит, что в этом месте может быть буква ‘a’ или ‘b’;
• ? — обозначает один неизвестный символ.

Каждый из символов выше можно применять вместе и неограниченное число раз, в любой части пути и имени.

В этом примере я открою сразу два файла: lmhosts и hosts:

Следующие примеры вернут аналогичный результат:

Для похожей фильтрации есть следующие параметры, которые так же позволяют использовать символы подстановок:

• Include — в этом параметре мы добавляем шаблон, по которому будем включать файл;
• Exclude — с помощью этого параметра исключает файлы;
• Filter — исключает результаты.

Для каждого из этих параметров есть обязательно условие — использовать знак ‘*’ в конце пути.

Так мы вернем все файлы с расширением ‘.txt’:

В отличие от Filter, в Include и Exclude мы можем использовать несколько значений. В этом примере мы откроем файлы формата ‘.txt’ и ‘.ini’:

Полное и построчное чтение с поиском

По умолчанию, если мы будем передавать результат команды через конвейер Powershell вывод будет построчный. Это может составить проблему, так как при дополнительных условиях у нас будет возвращаться одна строка, а не весь текст:

Что бы текст передавался полностью, а не построчно — используйте параметр Raw:

Если вам вдруг понадобится выводить по 2 или более строк за раз, можно указать их количество через ReadCount:

Разделение файла

Файл выводится построчно из-за делиметра (разделителя), который по умолчанию равен ‘\n’ (идентификатор новой строки). Мы можем разделить файл иначе, например, использовав точку с запятой:

То есть результат выше — это массив. В массивах Powershell мы можем получать содержимое по индексам. В следующем примере я просто уберу точку с запятой:

Подсчет количества строк

Построчный вывод с командой Powershell позволяет посчитать количество строк во всем файле. Для подсчета используется команда Measure-Object:

Если нужна только цифра, а не объект, можно сделать так:

Кодировки

В параметре -Encoding можно указать следующие кодировки:

• ASCII
• BigEndianUnicode
• BigEndianUTF32
• Byte
• Default
• OEM
• Unicode
• UTF7
• UTF8
• UTF32

Вам так же будет интересно:

Overwrite Read-Only CSV file using Force

In the above example, we export variables to a CSV file.

Now make that file read-only and try to write new content to the read-only file as below

$myObject = @{
     Drive = "C:\"
     Size = "50GB"
    
}

$myObject | Export-Csv -Path D:/PowerShell/Comp-Details.csv -NoTypeInformation

In the above PowerShell export CSV script,

PSCustomObject creates objects having Drive and Disk Size information.

When we try to export objects to a CSV file that is read-only, it throws an exception as below

To write to the CSV file forcefully, use the Force parameter.

Using PowerShell Export-CSV Force parameter, force to export to write to CSV file, use below command to write to CSV read-only file forcefully.

$myObject = @{
     Drive = "C:\"
     Size = "C Drive Disk Size Space"
    
}
 
$myObject | Export-Csv -Path D:/PowerShell/Comp-Details.csv -Force -NoTypeInformation

Cool Tip: How to get free disk space in PowerShell!

Добавление в запрос новых файлов и обновление сводной таблицы

Через два месяца в наше распоряжение поступило еще два файла с данными за апрель и май. Их также требуется добавить в сводную таблицу.

И вот здесь наступает момент истины. Все что нужно, это закинуть новые файлы в указанную папку и на ленте во вкладке Данные нажать Обновить все. Первое нажатие обновит все запросы, второе – сводные таблицы.

Power Query вновь обратился в папку по указанному адресу, затащил к себе все файлы, раскрыл их, повторил все шаги обработки и выгрузил в Excel. Второе нажатие кнопки обновило сводную таблицу.

Следует только помнить, что для объединения подобным образом таблиц из разных текстовых файлов необходимо полное совпадение заголовков, иначе они автоматически разведутся по разным столбцам.

Серия видеоуроков о Power Query.

Encoding PowerShell exports and imports

I recently migrated user data from a Japanese tenant to a European tenant, and needed to use PowerShell encoding to preserve Japanese characters. PowerShell allows you to export/import while encoding Unicode, UTF7, UTF8, ASCII, UTF32, BigEndianUnicode, Default, and OEM. The default is ASCII.

I used UTF8 to preserve Japanese characters in my export. For example add “-encoding UTF8”.

export sample

PowerShell

Get-Mailbox -resultsize Unlimited | Export-Csv c:tempmailbox_export.csv -Encoding UTF8

Then you can import the Japanese Characters also using “-encoding UTF8”.

import sample

PowerShell

$newusers = Import-Csv c:tempmailbox_export.csv -Encoding UTF8
$newusers | % {New-Mailbox -Name $_.Name ……… etc. }

Modify CSV PowerShell files that are encoded

If you only need to export and import, that’s easy. However what if you want to modify the export-csv-file before you import? If you’ve tried to modify an encoded csv file in Excel before, you’ll know the difficulties you can run into – Excel can basically ruin your csv file. Below is the process I’ve used to get around this.

After you have made changes to your CSV file (using Excel) and are ready to save, do the following.

In Notepad  (replace tabs with commas)

Open the Unicode text file (Some characters can look like a box, this is because Notepad can’t display some Unicode characters, you can ignore this).

Replace tabs with a commas (,). Do this by highlighting a tab character between two column headers and press ctrl+c.

Replace all tab characters with comma using Replace function ctrl+H. Paste in “Find what:” and add a comma (,) in the “Replace with:”. Click “Replace All” .

Click Save As. Then change file extension to *.csv, and type to “all files types”, and change Encoding to “UTF-8”.

In Microsoft Excel (verify data)Open the newly saved CSV file and verify the data is okay.

ImportNow you’re ready to use this file to import. Remember to use “encoding” parameter when importing.

import sample

PowerShell

$newusers = Import-Csv c:tempmailbox_export_modified.csv -Encoding UTF8
$newusers | % {New-Mailbox -Name $_.Name ……… etc. }

Запись файлов CSV

Мы также можем не только читать, но и писать любые новые и существующие файлы CSV. Запись файлов на Python осуществляется с помощью модуля csv.writer(). Он похож на модуль csv.reader() и также имеет два метода, то есть функцию записи или класс Dict Writer.

Он представляет две функции: writerow() и writerows(). Функция writerow() записывает только одну строку, а функция writerows() записывает более одной строки.

Диалекты

Они определяются как конструкция, которая позволяет создавать, хранить и повторно использовать различные параметры форматирования. Диалект поддерживает несколько атрибутов; наиболее часто используются:

• Dialect.delimiter: этот атрибут используется как разделительный символ между полями. Значение по умолчанию – запятая(,).
• Dialect.quotechar: этот атрибут используется для выделения полей, содержащих специальные символы, в кавычки.
• Dialect.lineterminator: используется для создания новых строк, значение по умолчанию – ‘\r\n’.

Запишем следующие данные в файл CSV.

 
data =    

Пример –

 
import csv   
    
with open('Python.csv', 'w') as csvfile:   
    fieldnames =    
    writer = csv.DictWriter(csvfile, fieldnames=fieldnames)   
    
    writer.writeheader()   
    writer.writerow({'Rank': 'B', 'first_name': 'Parker', 'last_name': 'Brian'})   
    writer.writerow({'Rank': 'A', 'first_name': 'Smith',   
                     'last_name': 'Rodriguez'})   
    writer.writerow({'Rank': 'B', 'first_name': 'Jane', 'last_name': 'Oscar'})   
    writer.writerow({'Rank': 'B', 'first_name': 'Jane', 'last_name': 'Loive'})   
    
print("Writing complete")   

Выход:

Writing complete 

Он возвращает файл с именем Python.csv, который содержит следующие данные:

 
first_name,last_name,Rank   
Parker,Brian,B   
Smith,Rodriguez,A   
Jane,Oscar,B   
Jane,Loive,B    

Классы DictReader и DictWriter

DictReader и DictWriter — это классы, доступные в Python для чтения и записи в CSV. Хотя они и похожи на функции чтения и записи, эти классы используют объекты словаря для чтения и записи в CSV-файлы.

DictReader

Он создает объект, который отображает прочитанную информацию в словарь, ключи которого задаются параметром . Этот параметр является необязательным, но если он не указан в файле, данные первой строки становятся ключами словаря.

Пример:

1

import csv

2

with open('name.csv') as csvfile

3

reader = csv.DictReader(csvfile)

4

for row in reader

5

         print(row'first_name'], row'last_name'])

DictWriter

Этот класс аналогичен классу DictWriter и выполняет противоположную функцию: запись данных в файл CSV. Класс определяется

Параметр определяет последовательность ключей, которые определяют порядок, в котором значения в словаре записываются в файл CSV. В отличие от DictReader, этот ключ не является обязательным и должен быть определен во избежание ошибок при записи в CSV.

Чтение#

Пример чтения файла в формате CSV (файл csv_read.py):

import csv

with open('sw_data.csv') as f
    reader = csv.reader(f)
    for row in reader
        print(row)

Вывод будет таким:

$ python csv_read.py

В первом списке находятся названия столбцов, а в остальных
соответствующие значения.

Обратите внимание, что сам csv.reader возвращает итератор:

In 1]: import csv

In 2]: with open('sw_data.csv') as f
   ...     reader = csv.reader(f)
   ...     print(reader)
   ...
<_csv.reader object at 0x10385b050>

При необходимости его можно превратить в список таким образом:

In 3]: with open('sw_data.csv') as f
   ...     reader = csv.reader(f)
   ...     print(list(reader))
   ...
, 'sw1', 'Cisco', '3750', 'London'], 'sw2', 'Cisco', '3850', 'Liverpool'], 'sw3', 'Cisco', '3650', 'Liverpool'], 'sw4', 'Cisco', '3650', 'London']]

Чаще всего заголовки столбцов удобней получить отдельным объектом. Это
можно сделать таким образом (файл csv_read_headers.py):

import csv

with open('sw_data.csv') as f
    reader = csv.reader(f)
    headers = next(reader)
    print('Headers: ', headers)
    for row in reader
        print(row)

Иногда в результате обработки гораздо удобней получить словари, в
которых ключи — это названия столбцов, а значения — значения столбцов.

Для этого в модуле есть DictReader (файл csv_read_dict.py):

import csv

with open('sw_data.csv') as f
    reader = csv.DictReader(f)
    for row in reader
        print(row)
        print(row'hostname'], row'model'])

Вывод будет таким:

$ python csv_read_dict.py
{'hostname': 'sw1', 'vendor': 'Cisco', 'model': '3750', 'location': 'London, Globe Str 1 '}
sw1 3750
{'hostname': 'sw2', 'vendor': 'Cisco', 'model': '3850', 'location': 'Liverpool'}
sw2 3850
{'hostname': 'sw3', 'vendor': 'Cisco', 'model': '3650', 'location': 'Liverpool'}
sw3 3650
{'hostname': 'sw4', 'vendor': 'Cisco', 'model': '3650', 'location': 'London, Grobe Str 1'}
sw4 3650

Примечания

Windows PowerShell включает следующие псевдонимы для :

ipcsv

Так как импортируемые объекты являются версиями csv типа объекта, они не распознаются и не форматируются записями форматирования типа PowerShell, которые форматируют версии типа объекта, отличные от CSV.

Результатом выполнения команды является коллекция строк, образующих пользовательский объект, подобный таблице. Каждая строка является отдельной строкой, поэтому для подсчета строк таблицы можно использовать свойство Count объекта . Столбцы представляют свойства объекта, а поля строк — значения этих свойств.

Строка заголовков столбцов определяет число столбцов и их имена. Имена столбцов также являются именами свойств объектов. Первая строка интерпретируется как заголовки столбцов, если для указания заголовков столбцов не используется параметр Header . Если в какой-либо строке содержится больше значений, чем в строке заголовков, лишние значения игнорируются.

Если в строке заголовка столбца отсутствует значение или содержится пустое или пустое значение, используется H, за которым следует число для отсутствующего заголовка столбца и имени свойства.

В CSV-файле каждый объект представлен разделенным символами списком значений свойств объекта . Значения свойств преобразуются в строки с помощью метода ToString() объекта , поэтому они представлены именем значения свойства. не экспортирует методы объекта .

Указание разделителя#

Иногда в качестве разделителя используются другие значения. В таком
случае должна быть возможность подсказать модулю, какой именно
разделитель использовать.

Например, если в файле используется разделитель (файл
sw_data2.csv):

hostname;vendor;model;location
sw1;Cisco;3750;London
sw2;Cisco;3850;Liverpool
sw3;Cisco;3650;Liverpool
sw4;Cisco;3650;London

Достаточно просто указать, какой разделитель используется в reader (файл
csv_read_delimiter.py):

import csv

with open('sw_data2.csv') as f
    reader = csv.reader(f, delimiter=';')
    for row in reader
        print(row)

How Did I Implement Text And CSV Files In My Projects

I have written my own Get-ComputerInfo CmdLet that implements Import-Csv CmdLet to read the data from the CSV file. Get-ComputerInfo CmdLet is part of the Efficiency Booster PowerShell Project. This project is a library of CmdLets that helps us to accomplish our everyday IT tasks more efficiently.

If you want to follow me along please download the source code for CmdLets from here.

Here is the example syntax for Get-ComputerInfo CmdLet:

CmdLet will read the date from the CSV file about the localhost computer and return as result additional info about it from the CSV file.

Result of running Get-ComputerInfo CmdLet

But before we dive into the code let me explain the logic of implementing text and CSV files.

CSV Files

I use the CSV file as a repository (database) for the additional info about the all servers that we want to maintain using the CmdLets. The name of the CSV file is important in my projects and I use the following pattern when naming the file.

Two Letters for Client + Two/Three Letters for Solution + fixed value “servers”.

For example, OKFINservers.csv file is for a client with OK initials, FIN stands for a financial solution (I use HR for Human Resource solution) and the “servers” part is fixed.

My IT experience comes from ERP solutions so I am used to Financial and HR solutions but you can use other names for solutions that are more appropriate for your field of expertise.

The content of the CSV file is very similar to the example I have shown at the begging of this article.

OKFINservers.csv file content example

Text Files

I have separate text files that contain only the list of server names and they are a subset of CSV file. These text files are used as inputs to decide which servers will be processed with certain CmdLet. This gives me the possibility to segment all the servers for example by the environment (Test, Course, Acceptance, Production, etc.) so I have text files for only Test servers or only Production servers or Course servers or all the servers in the environment.

I do not have a strict naming convention for these text files but in order to be organized, I usually name them following similar naming convention as for CSV file. For example,

• OKFINTestservers.txt for Test environment servers,
• OKFINProdservers.txt for Production environment servers,
• OKFINCourseservers.txt for Course environment servers,
• OKFINservers.txt for all servers and all environments, etc.

Basically, I segment the CSV repository of all servers with the lists in text files based on the need.

The content of text files is very similar to the content of the example from the beginning of this article.

Text files content

Location Of Text And CSV Files

The location of CSV and text files is also important for encapsulation and deployment reasons.

I like to organize my CmdLets into Modules and on top of that to have some encapsulation I put the text and CSV files in the Modules folder in their own separate 01servers folder as you can see on the screenshot.

Text and CSV files location

This gives me the possibility to give just the name of the text file as an input parameter to my CmdLets and not the whole path especially if that path depends on the name of the user that runs the CmdLets.

INFO: If you want to learn more about PowerShell Modules and CmdLets please read the following articles How To Create A PowerShell Module (Different Approach) and How To Create A Custom PowerShell CmdLet (Step By Step)

How To Create A Custom PowerShell CmdLet (Step By Step)
How To Create A PowerShell Module (Different Approach)

Description

The cmdlet creates table-like custom objects from the items in CSV files. Each column
in the CSV file becomes a property of the custom object and the items in rows become the property
values. works on any CSV file, including files that are generated by the
cmdlet.

You can use the parameters of the cmdlet to specify the column header row and the item
delimiter, or direct to use the list separator for the current culture as the item
delimiter.

You can also use the and cmdlets to convert objects to CSV
strings (and back). These cmdlets are the same as the and cmdlets, except
that they do not deal with files.

If a header row entry in a CSV file contains an empty or null value, PowerShell inserts a default
header row name and displays a warning message.

Starting with PowerShell 6.0, now supports the W3C Extended Log File Format.

Чтение с помощью Pandas

Pandas определяется как библиотека с открытым исходным кодом, которая построена на основе библиотеки NumPy. Он обеспечивает быстрый анализ, очистку данных и подготовку данных для пользователя.

Чтение файла csv в pandas DataFrame выполняется быстро и просто. Нам не нужно писать достаточно строк кода, чтобы открывать, анализировать и читать файл csv в pandas, и он хранит данные в DataFrame.

Здесь мы берем для чтения немного более сложный файл под названием hrdata.csv, который содержит данные сотрудников компании.

 
Name,Hire Date,Salary,Leaves Remaining   
John Idle,08/15/14,50000.00,10   
Smith Gilliam,04/07/15,65000.00,8   
Parker Chapman,02/21/14,45000.00,10   
Jones Palin,10/14/13,70000.00,3   
Terry Gilliam,07/22/14,48000.00,7   
Michael Palin,06/28/13,66000.00,8   

Пример:

 
import pandas   
df = pandas.read_csv('hrdata.csv')   
print(df)   

В приведенном выше коде трех строк достаточно для чтения файла, и только одна из них выполняет фактическую работу, то есть pandas.read_csv()

Выход:

         Name                Hire Date     Salary      Leaves Remaining 
0     John Idle              03/15/14      50000.0       10 
1     Smith Gilliam          06/01/15      65000.0       8 
2     Parker Chapman         05/12/14      45000.0       10 
3     Jones Palin            11/01/13      70000.0       3 
4     Terry Gilliam          08/12/14      48000.0       7 
5     Michael Palin          05/23/13      66000.0       8 

How to fix it: replace multi-valued attributes with Join functions

By replacing each multi-valued attribute with a join function, we can have Powershell create a single string, using any character we specify to concatenate the values. In my examples, example, I’m using semicolons.

Original command (w/o the join function)

Note: this is exactly the same command , using better user (“seth”) to illustrate results.

Get-QADUser seth -IncludeAllProperties | select name, proxyaddresses | Export-Csv .seth-nojoin.csv

Result: no values.

New command, replacing the attribute with a join function for that attribute

Get-QADUser seth -IncludeAllProperties | select name, @{Name=’proxyAddresses’;Expression={::join(“;”, ($_.proxyAddresses))}} | Export-Csv .seth-all_proxyaddresses.csv

Result: all “proxyaddresses” values concatenated by semicolons.

(Note: All of the Excel screenshots that follow were prettied up using the “format as table” function after opening the CSV results, for easier review/consumption.)

Import Data From CSV (Comma Separated Values) File Into PowerShell

We import data from CSV file into PowerShell using Import-Csv CmdLet like in the following example:

As a result, we get the content from the CSV file which is the list of servers with additional info for each of the servers (ipaddress, logicalname, environment).

Result of reading CSV file with Import-Csv CmdLet

In our example for fun, I have read the CSV file for each server using the $computer variable provided from the text file as input and saved the result first in $servers variable and then into $objects array variable.

Let’s quickly look at what the data type of the result is and what the properties and methods that we can use to manipulate the data are.

As you can see from the screenshot below, as a result of running Import-Csv CmdLet, we got PSCustomObjects with methods and properties. Notice that as properties we have all the additional info from CSV file (environment, hostname, ipaddress, logicalname).

Import-Csv CmdLet returns PSCustomObjects as data type

Импорт из папки

Источником в Power Query могут быть не только отдельные файлы, но и целая папка со всем ее содержимым. Далее дело следующей техники.

Создадим папку Данные о продажах csv и поместим в нее сразу три файла за январь, февраль и март. Сделаем запрос к этой папке Данные – Скачать и преобразовать – Создать запрос – Из папки. В следующем окне указываем путь. Адрес лучше заранее скопировать и затем вставить, чем искать в проводнике. В редакторе Power Query мы увидим такую таблицу.

Выглядит подозрительно, т.к. вместо данных что-то непонятное. Действительно, сейчас видны только файлы, содержащиеся в папке, и информация о них: название, расширение, время создания, изменения и т.д. Переходим к извлечению данных из этих файлов.

Следующий шаг не является обязательным, но он позволит избежать некоторых возможных проблем в будущем. Нужно понимать, что все содержимое указанной папки будет извлечено с помощью запроса Power Query. И если туда попадет какой-нибудь, например, файл Excel, то запрос «поломается» и выдаст ошибку. Поэтому опытные пользователи создают «защиту», чтобы файлы с другим расширением отфильтровывались.

Идея в том, чтобы в столбце Extension поставить фильтр на расширение .csv. Чтобы случайно не отфильтровать файлы .CSV, сделаем все буквы для столбца Extension маленькими. Для этого выделяем столбец, далее через правую кнопку мыши Преобразование – нижний регистр. Переходим к установке фильтра. Если в выпадающем списке фильтра поставить переключатель на значение .csv, то у нас ничего не получится, т.к. при единственном типе файлов будет автоматически выделен пункт Выбрать все. Поэтому выбираем Текстовые фильтры – Равно… и указываем .csv (обязательно с точкой впереди).

Теперь случайное добавление в указанную папку файлов Excel не повлияет на работу запроса. Этот шаг, повторюсь, необязательный, но лучше прислушаться к совету опытных пользователей.

Приступим к извлечению данных. Содержимое файлов скрыто в колонке Content за значением Binary.

Перед тем, как развернуть содержимое этого столбца, избавимся от лишней информации. Выделяем столбец Content и через правую кнопку мыши выбираем Удалить другие столбцы.

Наступило время сеанса магии с разоблачением. В верхнем правом углу находится кнопка с двумя стрелками, направленными вниз.

Это кнопка загрузки двоичного (бинарного) файла. Жмем. И о чудо! Содержимое всех трех файлов один за другим выгружается в единую таблицу.

Однако на этот раз потребуется вручную внести некоторые корректировки.

• Удалим последний шаг Измененный тип

• Преобразование – Использовать первую строку в качестве заголовков

• Правой кнопкой мыши по полю Дата – Тип изменения – Дата

• Удерживая Shift, выделяем два столбца Наименование и Менеджер, затем через правую клавишу мыши Тип изменения – Текст

• Через Shift выделяем остальные столбцы Цена, Стоимость, Комиссия – правая клавиши мыши – Тип изменения – Десятичное число

• Правой кнопкой мыши по полю Дата – Удалить ошибки

• Главная – Закрыть – Закрыть и загрузить

Таким образом, мы получаем таблицу с единым заголовком, сделанную из трех файлов. На ее основе создадим сводную таблицу.

Сводная таблица построена по 116 строкам. Таким же образом можно было бы объединить и 10 файлов с сотнями тысяч строк.

Параметры

-Delimiter <char>

Задает разделитель значений свойств в CSV-файле. По умолчанию используется запятая (,). Введите символ, например двоеточие (:). Чтобы задать точку с запятой (;), заключите ее в кавычки.

Если указать символ, отличный от фактического разделителя, используемого в файле, командлет Import-CSV не сможет создать объекты из строк CSV. Вместо этого он возвращает строки.

-Header <string[]>

Задает строку заголовков столбцов для импортируемого файла. Заголовки столбцов определяют имена свойств объекта, создаваемого с помощью командлета Import-CSV.

Введите список заголовков столбцов, разделенных запятыми. Заключите каждый элемент в кавычки (одиночные или двойные). Не заключайте строку заголовка в кавычки. Если количество введенных заголовков столбцов меньше, чем количество столбцов, у оставшихся столбцов не будет заголовков. Если количество заголовков столбцов превышает количество столбцов, лишние заголовки игнорируются.

При использовании параметра Header удалите исходную строку заголовков из CSV-файла. В противном случае командлет Import-CSV создаст из элементов строки заголовков лишний объект.

-Path <string[]>

Задает путь к импортируемому CSV-файлу. Кроме того, можно передать путь командлету Import-CSV по конвейеру.

-UseCulture

Использовать в качестве разделителя записей разделитель элементов списка из текущей культуры. По умолчанию используется запятая (,).

Чтобы найти разделитель элементов списка для текущей культуры, воспользуйтесь следующей командой: (Get-Culture).TextInfo.ListSeparator. Если указать символ, отличный от разделителя, используемого в строках CSV, командлет ConvertFrom-CSV не сможет создать объекты из строк CSV. Вместо этого он возвращает строки.

<CommonParameters>

Данный командлет поддерживает общие параметры -Verbose, -Debug, -ErrorAction, -ErrorVariable, -OutBuffer и -OutVariable. Дополнительные сведения см. в разделе
about_Commonparameters.

Пример 3

C:\PS>$p = import-csv processes.csv -UseCulture

C:\PS> (get-culture).textinfo.listseparator

,

Описание
-----------
В этом примере демонстрируется использование параметра UseCulture командлета Import-CSV.

Первая команда импортирует объекты в файле Processes.csv в переменную $p. Она использует параметр UseCulture, чтобы указать, что командлет Import-CSV должен использовать разделитель элементов списка, определенный для текущей культуры.

Вторая команда отображает разделитель элементов списка для текущей культуры. С помощью командлета Get-Culture она получает текущее значение культуры. Используя обращение через точку (.), команда получает свойство TextInfo текущей культуры и свойство ListSeparator объекта TextInfo. В этом примере команда возвращает запятую.

Export/Write Data From PowerShell Into CSV (Comma Separated Values) File

To Export the data we use Export-Csv CmdLet like in this example where we read the data from CSV file and pipeline to Export-Csv CmdLet to create a copy of the same file.

Here is the result of the export in the Excel sheet.

Exported CSV file using Export-CSV CmdLet

INFO: If you want to learn how to export data into Excel sheet and format as nice table please read the article How To Create, Write And Save An Excel File Using PowerShell

How To Create, Write And Save An Excel File Using PowerShell

Here is the Excel report example created with my own Save-ToExcel CmdLet.

Excel File as a result of running Save-ToExcel Function

In the example, at the beginning of this article, we have used the array in variable $objects to send down the pipeline, anyway, the outcome is the same and copy CSV file has been created.

INFO: PowerShell Pipelining is a very important concept and I highly recommend you to read the article written on the subject. PowerShell Pipeline Concept Explained With Awesome Examples. Here I have shown in many examples the real power of PowerShell using the Pipelining.

PowerShell Pipeline Concept Explained With Awesome Examples

How to Import only specific fields with Import-CSV

When you import a CSV file into PowerShell it will import all the columns by default. But when working with large files it can be useful to only select the data that you really need.

There are two ways to do this, if your CSV file has headers, then you can select only the column that you need:

Import-Csv -Path c:\temp\test.csv | select DisplayName,Title | Ft

Another option is to use the parameter, but this only works well when you only need the first column (or the first couple of columns). Because you can’t skip a column with this method:

Import-Csv -Path c:\temp\test.csv -Header id

# Result
id
--
UserPrincipalName

Использование оператора BULK INSERT

Оператор BULK INSERT в SQL Server позволяет осуществлять импорт данных из файла в таблицу. В предложении WITH для данного оператора можно задавать множество опций, но нам нужны только две из них:

FIELDTERMINATOR

Указывает разделить для столбцов. По умолчанию, разделителем является символ табуляции (\t). В CSV разделителем по умолчанию является запятая.

ROWTERMINATOR

Указывает разделитель для строк.

В качестве разделителя в исходном CSV-файле используется знак табуляции (Tab). В CSV также можно использовать запятые, точки с запятой и другие символы в качестве разделителя столбцов. Главное указать символ в параметре FIELDTERMINATOR.

Выберите теперь все строки из таблицы CSV_Export с помощью оператора SELECT для проверки результата:

На рисунке ниже показан результат:

Как правило, данные из CSV-файла нужно сохранять во временную таблицу, а затем из нее вставлять в основную, т.к. зачастую необходимо парсить даты, числа с плавающей запятой и другие форматы. Их можно спарсить в строку во временной таблице и привести к нужному формату в основной. Например, если мы изменим тип столбца DateReport на DATETIME, SQL Server выдаст следующую ошибку:

В следующем примере показано, как можно обойти эту ошибку и получить дату:

Теперь в основной таблице столбец DateReport будет храниться в формате даты: