提问人:Cheers and hth. - Alf 提问时间:5/13/2015 最后编辑:CommunityCheers and hth. - Alf 更新时间:7/2/2015 访问量:1208
如何使 Unicode iostream i/o 在 Windows 和 Unix 领域中都有效?
How can I make Unicode iostream i/o work in both Windows and Unix-land?
问:
注意:这是一个带答案的问题,目的是记录其他人可能认为有用的技术,并可能了解其他人更好的解决方案。请随时添加批评或问题作为评论。也请随时添加其他答案。:)
问题#1:
- 在 Windows API 级别,通过流对 Unicode 的控制台支持受到严格限制。唯一可用于普通桌面应用程序的相关代码页是 65001,UTF-8。然后交互式输入在 API 级别失败,甚至非 ASCII 字符的输出也会失败——C++ 标准库实现没有提供此问题的解决方法。
#include <iostream>
#include <string>
using namespace std;
auto main() -> int
{
wstring username;
wcout << L"Hi, what’s your name? ";
getline( wcin, username );
wcout << "Pleased to meet you, " << username << "!\n";
}
H:\personal\web\blog alf on programming at wordpress\002\code>chcp 65001 Active code page: 65001 H:\personal\web\blog alf on programming at wordpress\002\code>g++ problem.input.cpp -std=c++14 H:\personal\web\blog alf on programming at wordpress\002\code>a Hi, whatSøren Moskégård ← No visible output. H:\personal\web\blog alf on programming at wordpress\002\code>_
在 Windows API 级别,当相关标准流绑定到控制台时,解决方案是使用非基于流的直接控制台 I/O。例如,使用 API 函数。作为Visual C++和MinGW g++标准库都支持的扩展,可以为使用的标准宽流设置模式,并且还有一种用于转换为UTF-8作为外部编码的模式。WriteConsole
WriteConsole
在Unix领域中,对 或其更高级别的C++等价物的单个调用就足以使宽流工作。setlocale( LC_ALL, "" )
但是,如何透明和自动地设置这种模式,以便使用宽流的相同普通标准C++代码在Windows和Unix-land中都可以工作?
请注意,对于那些一想到在 Unix-land 程序中使用宽文本就不寒而栗的读者来说,这实际上是在 Unix-land 中使用 UTF-8 窄文本控制台 I/o 的可移植代码的先决条件。也就是说,在 Unix 领域自动使用 UTF-8 窄文本和 Windows 中自动使用宽文本的代码成为可能,并且可以在 Windows 中对 Unicode 的支持之上构建。但是,如果没有这样的支持,一般情况下就没有可移植性。
问题#2:
- 使用宽流时,输出项的默认转换不起作用。
wchar_t const*
#include <iostream>
using namespace std;
struct Byte_string
{ operator char const* () const { return "Hurray, it works!"; } };
struct Wide_string
{ operator wchar_t const* () const { return L"Hurray, it works!"; } };
auto main() -> int
{
wcout << "Byte string pointer: " << Byte_string() << endl;
wcout << "Wide string pointer: " << Wide_string() << endl;
}
Byte string pointer: Hurray, it works! Wide string pointer: 0x4ad018
这是我很久以前报告过的标准中实现层面的不一致类型的缺陷。我不确定状态,它可能已经被遗忘了(我从未收到任何关于它的邮件),或者可能会在 C++17 中应用修复程序。无论如何,如何解决这个问题呢?
简而言之,如何使使用Unicode宽文本控制台i/o的标准C++代码在Windows和Unix领域中都能正常工作并实用?
答:
解决转换问题:
cppx/stdlib/iostreams_conversion_defect.fix.hpp#pragma once
//----------------------------------------------------------------------------------------
// PROBLEM DESCRIPTION.
//
// Output of wchar_t const* is only supported via an operator<< template. User-defined
// conversions are not considered for template matching. This results in actual argument
// with user conversion to wchar_t const*, for a wide stream, being presented as the
// pointer value instead of the string.
#include <iostream>
#ifndef CPPX_NO_IOSTREAM_CONVERSION_FIX
namespace std{
template< class Char_traits >
inline auto operator<<(
basic_ostream<wchar_t, Char_traits>& stream,
wchar_t const ch
)
-> basic_ostream<wchar_t, Char_traits>&
{ return operator<< <wchar_t, Char_traits>( stream, ch ); }
template< class Char_traits >
inline auto operator<<(
basic_ostream<wchar_t, Char_traits>& stream,
wchar_t const* const s
)
-> basic_ostream<wchar_t, Char_traits>&
{ return operator<< <wchar_t, Char_traits>( stream, s ); }
} // namespace std
#endif
在 Windows 中设置直接 I/O 模式:
这是 Visual C++ 和 MinGW g++ 都支持的标准库扩展。
首先,仅仅因为它在代码中使用,类型构建器的定义(库提供的类型构建器的主要缺点是普通类型推理不会启动,即在某些情况下仍然需要使用原始运算符符号):Ptr
⋮
template< class T > using Ptr = T*;
⋮
帮助程序定义,因为它在多个文件中使用:
cppx/stdlib/Iostream_mode.hpp#pragma once
// Mode for a possibly console-attached iostream, such as std::wcout.
namespace cppx {
enum Iostream_mode: int { unknown, utf_8, direct_io };
} // namespace cppx
模式设置器(基本功能):
cppx/stdlib/impl/utf8_mode.for_windows.hpp cppx/stdlib/impl/utf8_mode.generic.hpp cppx/stdlib/utf8_mode.hpp#pragma once
// UTF-8 mode for a stream in Windows.
#ifndef _WIN32
# error This is a Windows only implementation.
#endif
#include <cppx/stdlib/Iostream_mode.hpp>
#include <stdio.h> // FILE, stdin, stdout, stderr, etc.
// Non-standard headers, which are de facto standard in Windows:
#include <io.h> // _setmode, _isatty, _fileno etc.
#include <fcntl.h> // _O_WTEXT etc.
namespace cppx {
inline
auto set_utf8_mode( const Ptr< FILE > f )
-> Iostream_mode
{
const int file_number = _fileno( f ); // See docs for error handling.
if( file_number == -1 ) { return Iostream_mode::unknown; }
const int new_mode = (_isatty( file_number )? _O_WTEXT : _O_U8TEXT);
const int previous_mode = _setmode( file_number, new_mode );
return (0?Iostream_mode()
: previous_mode == -1? Iostream_mode::unknown
: new_mode == _O_WTEXT? Iostream_mode::direct_io
: Iostream_mode::utf_8
);
}
} // namespace cppx
#pragma once
#include <stdio.h> // FILE, stdin, stdout, stderr, etc.
#include <cppx/core_language/type_builders.hpp> // cppx::Ptr
namespace cppx {
inline
auto set_utf8_mode( const Ptr< FILE > )
-> Iostream_mode
{ return Iostream_mode::unknown; }
} // namespace cppx
#pragma once
// UTF-8 mode for a stream. For Unix-land this is a no-op & the locale must be UTF-8.
#include <cppx/core_language/type_builders.hpp> // cppx::Ptr
#include <cppx/stdlib/Iostream_mode.hpp>
namespace cppx {
inline
auto set_utf8_mode( const Ptr< FILE > ) -> Iostream_mode;
} // namespace cppx
#ifdef _WIN32 // This also covers 64-bit Windows.
# include "impl/utf8_mode.for_windows.hpp" // Using Windows-specific _setmode.
#else
# include "impl/utf8_mode.generic.hpp" // A do-nothing implementation.
#endif
配置标准流。
除了在 Windows 中适当设置直接控制台 I/O 模式或 UTF-8 之外,这还修复了隐式转换缺陷;(间接)调用,以便宽流在 Unix 领域工作;设置只是为了好,作为更合理的默认;并包括与 iostreams 相关的所有标准库标头(我没有显示这样做的单独头文件,在某种程度上,包含多少或是否完全包含此类内容是个人偏好):setlocale
boolalpha
#pragma once
// Standard iostreams but configured to work, plus, as utility, with boolalpha set.
#include <raw_stdlib/iostreams.hpp> // <iostream>, <sstream>, <fstream> etc. for convenience.
#include <cppx/core_language/type_builders.hpp> // cppx::Ptr
#include <cppx/stdlib/utf8_mode.hpp> // stdin etc., stdlib::set_utf8_mode
#include <locale> // std::locale
#include <string> // std::string
#include <cppx/stdlib/impl/iostreams_conversion_defect.fix.hpp> // Support arg conv.
inline auto operator<< ( std::wostream& stream, const std::string& s )
-> std::wostream&
{ return (stream << s.c_str()); }
// The following code's sole purpose is to automatically initialize the streams.
namespace cppx { namespace utf8_iostreams {
using std::locale;
using std::ostream;
using std::cin; using std::cout; using std::cerr; using std::clog;
using std::wostream;
using std::wcin; using std::wcout; using std::wcerr; using std::wclog;
using std::boolalpha;
namespace detail {
using std::wstreambuf;
// Based on "Filtering streambufs" code by James Kanze published at
// <url: http://gabisoft.free.fr/articles/fltrsbf1.html>.
class Correcting_input_buffer
: public wstreambuf
{
private:
wstreambuf* provider_;
wchar_t buffer_;
protected:
auto underflow()
-> int_type override
{
if( gptr() < egptr() ) { return *gptr(); }
const int_type result = provider_->sbumpc();
if( result == L'\n' )
{
// Ad hoc workaround for g++ extra newline undesirable behavior:
provider_->pubsync();
}
if( traits_type::not_eof( result ) )
{
buffer_ = result;
setg( &buffer_, &buffer_, &buffer_ + 1 );
}
return result ;
}
public:
Correcting_input_buffer( wstreambuf* a_provider )
: provider_( a_provider )
{}
};
} // namespace detail
class Usage
{
private:
static
void init_once()
{
// In Windows there is no UTF-8 encoding spec for the locale, in Unix-land
// it's the default. From Microsoft's documentation: "If you provide a code
// page like UTF-7 or UTF-8, setlocale will fail, returning NULL". Still
// this call is essential for making the wide streams work correctly in
// Unix-land.
locale::global( locale( "" ) ); // Effects a `setlocale( LC_ALL, "" )`.
for( const Ptr<FILE> c_stream : {stdin, stdout, stderr} )
{
const auto new_mode = set_utf8_mode( c_stream );
if( c_stream == stdin && new_mode == Iostream_mode::direct_io )
{
static detail::Correcting_input_buffer correcting_buffer( wcin.rdbuf() );
wcin.rdbuf( &correcting_buffer );
}
}
for( const Ptr<ostream> stream_ptr : {&cout, &cerr, &clog} )
{
*stream_ptr << boolalpha;
}
for( const Ptr<wostream> stream_ptr : {&wcout, &wcerr, &wclog} )
{
*stream_ptr << boolalpha;
}
}
public:
Usage()
{ static const bool dummy = (init_once(), true); (void) dummy; }
};
namespace detail {
const Usage usage;
} // namespace detail
}} // namespace cppx::utf8_iostreams
问题中的两个示例程序只需包含上面的标头而不是或除了 .当它被添加到一个单独的翻译单元中时(除了隐式转换缺陷修复,如果需要,必须以某种方式包含它的标题)。或者,例如,作为构建命令中的强制包含。<iostream>
评论