SSH.NET SFTP Получить список каталогов и файлов рекурсивно

Я использую библиотеку Renci.SshNet для рекурсивного получения списка файлов и каталогов с использованием SFTP. Я могу подключиться к сайту SFTP, но я не уверен, как получить список каталогов и файлов рекурсивно в С#. Я не нашел никаких полезных примеров.

Кто-нибудь пробовал это? Если да, можете ли вы опубликовать пример кода о том, как получить эти файлы и папки рекурсивно.

Спасибо,
Правдин

Ответ 1

В этой библиотеке есть некоторые причуды, которые делают этот рекурсивный список сложным, потому что взаимодействие между ChangeDirectory и ListDirectory не работает так, как вы можете ожидать.

Ниже приведен список не файлов в каталоге /home, а в нем перечислены файлы в каталоге /(root):

sftp.ChangeDirectory("home");
sftp.ListDirectory("").Select (s => s.FullName);

Следующее выполняет не и возвращает исключение SftpPathNotFoundException:

sftp.ChangeDirectory("home");
sftp.ListDirectory("home").Select (s => s.FullName);

Ниже приведен правильный способ перечислить файлы в каталоге /home

sftp.ChangeDirectory("/");
sftp.ListDirectory("home").Select (s => s.FullName);

Это довольно сумасшествие, если вы спросите меня. Установка каталога по умолчанию с помощью метода ChangeDirectory не влияет на метод ListDirectory, если вы не указали папку в параметре этого метода. Кажется, что ошибка должна быть написана для этого.

Итак, когда вы пишете свою рекурсивную функцию, вам нужно будет установить каталог по умолчанию один раз, а затем изменить каталог в вызове ListDirectory, когда вы перебираете папки. В листинге перечисляется список SftpFiles. Затем их можно проверить индивидуально для IsDirectory == true. Просто имейте в виду, что листинг также возвращает записи . и .. (которые являются каталогами). Вы захотите пропустить их, если хотите избежать бесконечного цикла.: -)

РЕДАКТИРОВАТЬ 2/23/2018

Я просмотрел некоторые из моих старых ответов и хотел бы извиниться за приведенный выше ответ и предоставить следующий рабочий код. Обратите внимание, что этот пример не требует ChangeDirectory, так как он использует Fullname для ListDirectory:

void Main()
{
    using (var client = new Renci.SshNet.SftpClient("sftp.host.com", "user", "password"))
    {
        var files = new List<String>();
        client.Connect();
        ListDirectory(client, ".", ref files);
        client.Disconnect();
        files.Dump();
    }
}

void ListDirectory(SftpClient client, String dirName, ref List<String> files)
{
    foreach (var entry in client.ListDirectory(dirName))
    {

        if (entry.IsDirectory)
        {
            ListDirectory(client, entry.FullName, ref files);
        }
        else
        {
            files.Add(entry.FullName);
        }
    }
}

Ответ 2

Попробуйте следующее:

var filePaths = client.ListDirectory(client.WorkingDirectory);

Ответ 3

Я достиг этого, используя рекурсию. Создал класс TransportResponse, подобный этому

 public class TransportResponse
{
    public string directoryName { get; set; }
    public string fileName { get; set; }
    public DateTime fileTimeStamp { get; set; }
    public MemoryStream fileStream { get; set; }
    public List<TransportResponse> lstTransportResponse { get; set; }
}

Я создаю список класса TransportResponse. Если имя_каталога не равно null, оно будет содержать список того же класса, в котором будут находиться файлы внутри этого каталога в виде MemoryStream (это может быть изменено в соответствии с вашим прецедентом)

List<TransportResponse> lstResponse = new List<TransportResponse>();
using (var client = new SftpClient(connectionInfo))
  {
          try
          {
                    Console.WriteLine("Connecting to " + connectionInfo.Host + " ...");
                    client.Connect();
                    Console.WriteLine("Connected to " + connectionInfo.Host + " ...");
           }
           catch (Exception ex)
           {
                    Console.WriteLine("Could not connect to "+ connectionInfo.Host +" server. Exception Details: " + ex.Message);
           }
           if (client.IsConnected)
           {
                    var files = client.ListDirectory(transport.SourceFolder);
                    lstResponse = downloadFilesInDirectory(files, client);
                    client.Disconnect();
            }
            else
            {
                    Console.WriteLine("Could not download files from "+ transport.TransportIdentifier +" because client was not connected.");
             }
   }



private static List<TransportResponse> downloadFilesInDirectory(IEnumerable<SftpFile> files, SftpClient client)
    {
        List<TransportResponse> lstResponse = new List<TransportResponse>();
        foreach (var file in files)
        {
            if (!file.IsDirectory)
            {
                if (file.Name != "." && file.Name != "..")
                {
                    if (!TransportDAL.checkFileExists(file.Name, file.LastWriteTime))
                    {
                        using (MemoryStream fs = new MemoryStream())
                        {
                            try
                            {
                                Console.WriteLine("Reading " + file.Name + "...");
                                client.DownloadFile(file.FullName, fs);
                                fs.Seek(0, SeekOrigin.Begin);
                                lstResponse.Add(new TransportResponse { fileName = file.Name, fileTimeStamp = file.LastWriteTime, fileStream = new MemoryStream(fs.GetBuffer()) });
                            }
                            catch(Exception ex)
                            {
                                Console.WriteLine("Error reading File. Exception Details: " + ex.Message);
                            }
                        }
                    }
                    else
                    {
                        Console.WriteLine("File was downloaded previously");
                    }
                }
            }
            else
            {
                if (file.Name != "." && file.Name != "..")
                {
                    lstResponse.Add(new TransportResponse { directoryName = file.Name,lstTransportResponse = downloadFilesInDirectory(client.ListDirectory(file.Name), client) });
                }                
            }
        }

        return lstResponse;
    }

Надеюсь, это поможет. Благодаря

Ответ 4

@Карлос Бос

В этой библиотеке есть некоторые причуды, которые делают этот рекурсивный список сложным потому что взаимодействие между ChangeDirectory и ListDirectory не работают, как вы можете ожидать.

правильно

Он отлично работает, когда параметр ChangeDirectory() является "."

но если вы делаете

SftpClient sftp ...;
sftp.ChangeDirectory("some_folder");
//get file list
List<SftpFile> fileList = sftp.ListDirectory("some_folder").ToList();

то есть утверждение, потому что вызов ListDirectory() ожидает "Some_folder/some_folder"

Обходной путь, который я использую, заключается в том, чтобы сохранить и восстановить текущий каталог перед удаленной загрузкой/переименованием в "some_folder", и вам нужно указать эту папку перед операцией (например, чтобы увидеть, что файл уже существует)

string working_directory = sftp.WorkingDirectory;
sftp.ChangeDirectory("some_folder");
sftp.RenameFile("name", "new_name");
sftp.ChangeDirectory(working_directory);

чтобы проверить, существует ли файл, этого вызова достаточно

sftp.Exists(path)

или если вы хотите добавить некоторые другие критерии, например, с учетом регистра или не

 public FileExistence checkFileExists(string folder, string fileName)
    {
      //get file list
      List<SftpFile> fileList = sftp.ListDirectory(folder).ToList();

      if (fileList == null)
      {
        return FileExistence.UNCONFIRMED;
      }

      foreach (SftpFile f in fileList)
      {
        Console.WriteLine(f.ToString());
        //a not case sensitive comparison is made
        if (f.IsRegularFile && f.Name.ToLower() == fileName.ToLower())
        {
          return FileExistence.EXISTS;
        }
      }

      //if not found in traversal , it does not exist
      return FileExistence.DOES_NOT_EXIST;
    }

где FileExistence -

public enum FileExistence
    {
      EXISTS,
      DOES_NOT_EXIST,
      UNCONFIRMED
    };

Ответ 5

Вот полный класс. Это .NET Core 2.1 Http триггер приложение приложения (v2)

Я хотел избавиться от любых каталогов, начинающихся с '.', Потому что на моем сервере sftp есть папки .cache и .ssh с ключами. Также не хотел иметь дело с именами папок, такими как '.' или ".."

В конечном итоге я буду проецировать SftpFile в тип, с которым я работаю, и возвращать его вызывающей стороне (в этом случае это будет приложение логики). Затем я передам этот объект в хранимую процедуру и использую OPENJSON для построения моей таблицы мониторинга. По сути, это первый шаг в создании моей очереди обработки SFTP, которая переместит файлы из моей папки SFTP в мое озеро данных (пока, думаю, пока не получится что-то лучшее).

Причина, по которой я использовал .WorkingDirectory, заключается в том, что я создал пользователя с домашним каталогом как "/home". Это позволяет мне просматривать все мои пользовательские папки. Моему приложению не нужно иметь определенную папку в качестве отправной точки, просто, так сказать, пользователя "root".

using Microsoft.AspNetCore.Http;
using Microsoft.AspNetCore.Mvc;
using Microsoft.Azure.WebJobs;
using Microsoft.Azure.WebJobs.Extensions.Http;
using Microsoft.Extensions.Logging;
using Renci.SshNet;
using Renci.SshNet.Sftp;
using System;
using System.Collections.Generic;
using System.Linq;
using System.Threading.Tasks;

namespace SFTPFileMonitor
{
    public class GetListOfFiles
    {
        [FunctionName("GetListOfFiles")]
        public async Task<IActionResult> RunAsync([HttpTrigger(AuthorizationLevel.Anonymous, "get")] HttpRequest req, ILogger log)
        {
            log.LogInformation("C# HTTP trigger function processed a request.");

            List<SftpFile> zFiles;
            int fileCount;
            decimal totalSizeGB;
            long totalSizeBytes;

            using (SftpClient sftpClient = new SftpClient("hostname", "username", "password"))
            {
                sftpClient.Connect();
                zFiles = await GetFiles(sftpClient, sftpClient.WorkingDirectory, new List<SftpFile>());
                fileCount = zFiles.Count;
                totalSizeBytes = zFiles.Sum(l => l.Length);
                totalSizeGB = BytesToGB(totalSizeBytes);
            }

            return new OkObjectResult(new { fileCount, totalSizeBytes, totalSizeGB, zFiles });
        }
        private async Task<List<SftpFile>> GetFiles(SftpClient sftpClient, string directory, List<SftpFile> files)
        {
            foreach (SftpFile sftpFile in sftpClient.ListDirectory(directory))
            {
                if (sftpFile.Name.StartsWith('.')) { continue; }

                if (sftpFile.IsDirectory)
                {
                    await GetFiles(sftpClient, sftpFile.FullName, files);
                }
                else
                {
                    files.Add(sftpFile);
                }
            }
            return files;
        }
        private decimal BytesToGB(long bytes)
        {
            return Convert.ToDecimal(bytes) / 1024 / 1024 / 1024;
        }
    }
}