это проблема на стороне сервера, и она не появлялась ранее, потому что более ранние версии FileZilla поставлялись с версией GnuTLS, которая не выполняла эту проверку.

цитирую Тим Коссе в FileZilla форум тема:

в любом случае проблема с цепочкой сертификатов X. 509 вашего сервера: либо сам сертификат сервера, либо другой сертификат в цепочке имеет ограничение на использование ключа, которое нарушается. Например сертификат с ограничением использования ключа для подписи не может использоваться для проверки подлинности подключений TLS. См. раздел 4.2.1.3 RFC 5280.

это проблема с генерированием сертификатов Microsoft IIS (но может также произойти, если вы неправильно сгенерировали сертификат другим методом), поскольку это не позволяет сертификатам использоваться для цифровых подписей. OpenSSL гораздо более расслаблен в этом и не подведет из-за этого, поэтому он может работать с другими приложения.

на стороне клиента, вы можете либо отключить TLS, понизить до более ранней версии FileZilla (ни один из них не рекомендуется из-за потенциальных угроз безопасности), или использовать другой клиент, который использует другую библиотеку, такую как OpenSSL на данный момент.

как создать действительный сертификат с IIS

это должно быть сделано на стороне сервера, очевидно. Если вы не являетесь администратором, перешлите им эти инструкции.

согласно сообщению в the форумы IIS, вы можете создать сертификат с помощью PowerShell, а пока проблема не будет устранена корпорацией Майкрософт:

New-SelfSignedCertificate -CertStoreLocation cert:\LocalMachine\My -dnsname ftp.example.com

заменить ftp.example.com на имя хоста вашего сервера.

вы получите отпечатки, понял. Установите пароль для закрытого ключа:

$password = ConvertTo-SecureString -String "password goes here" -Force -AsPlainText

теперь экспортируйте его (вы можете изменить C:\cert.pfx на пути вы хотите сохранить его, просто убедитесь, что он заканчивается .pfx):

Export-PfxCertificate -cert cert:\LocalMachine\My\FINGERPRINT -FilePath C:\cert.pfx -Password $password