このセクションで説明する関数は、最大限のパフォーマンスが得られるよう最適化されており、ほとんどの場合 RFC-3986 標準には準拠していません。
RFC-3986 を実装する関数には、関数名の末尾に RFC が付き、一般に低速です。
@ 記号を含まない公開登録済みドメインを扱う場合は、RFC なしの関数バリアントを使用できます。
以下の表は、URL 内のどの記号を各 RFC および非 RFC バリアントで parse できるか (✔) またはできないか (✗) を示しています。
| Symbol | non-RFC | RFC | |
|---|
| ’ ’ | ✗ | ✗ | |
| \t | ✗ | ✗ | |
| < | ✗ | ✗ | |
| > | ✗ | ✗ | |
| % | ✗ | ✔* | |
| { | ✗ | ✗ | |
| } | ✗ | ✗ | |
| | ✗ | ✗ |
| \ | ✗ | ✗ | |
| ^ | ✗ | ✗ | |
| ~ | ✗ | ✔* | |
| [ | ✗ | ✗ | |
| ] | ✗ | ✔ | |
| ; | ✗ | ✔* | |
| = | ✗ | ✔* | |
| & | ✗ | ✔* | |
* が付いた記号は、RFC 3986 ではサブ区切り文字であり、@ 記号に続くユーザー情報で使用できます。
URL 関数には 2 種類あります。
- URL の一部を抽出する関数。該当する部分が URL に存在しない場合は、空文字列が返されます。
- URL の一部を削除する関数。URL に該当する部分がない場合、URL は変更されません。
以下の関数は、system.functions システムテーブルから生成されています。
/、?、# を区切りとして末尾側から切り詰められます。連続する区切り文字は 1 つとして扱われます。結果の最初の要素にはプロトコルとホストが含まれ、以降はより長いパスが階層的に並びます。
構文
引数
戻り値
階層を成す、段階的に長くなる URL の配列を返します。Array(String)
例
基本的な使い方
SELECT URLHierarchy('https://example.com/a/b?c=1')
['https://example.com/','https://example.com/a/','https://example.com/a/b','https://example.com/a/b?c=1']
/、?、# の各記号で区切った形に切り詰められます。URLHierarchy とは異なり、結果にはプロトコルとホストは含まれず、パスから始まります。連続する区切り文字は 1 文字として扱われます。
構文
引数
戻り値
階層構造を成す、URL パスの各部分を短いものから順に並べた配列を返します。 Array(String)
例
基本的な使い方
SELECT URLPathHierarchy('https://example.com/a/b?c=1')
['/a/','/a/b','/a/b?c=1']
String
例
使用例
SELECT cutFragment('http://example.com/path?query=value#fragment123');
┌─cutFragment('http://example.com/path?query=value#fragment123')─┐
│ http://example.com/path?query=value │
└────────────────────────────────────────────────────────────────┘
String
例
使用例
SELECT cutQueryString('http://example.com/path?query=value¶m=123#fragment');
┌─cutQueryString('http://example.com/path?query=value¶m=123#fragment')─┐
│ http://example.com/path#fragment │
└──────────────────────────────────────────────────────────────────────────┘
cutQueryStringAndFragment
cutQueryStringAndFragment(url)
String
例
使用例
SELECT cutQueryStringAndFragment('http://example.com/path?query=value¶m=123#fragment');
┌─cutQueryStringAndFragment('http://example.com/path?query=value¶m=123#fragment')─┐
│ http://example.com/path │
└─────────────────────────────────────────────────────────────────────────────────────┘
cutToFirstSignificantSubdomain
cutToFirstSignificantSubdomain(url)
url — 処理対象の URL またはドメイン文字列。String
戻り値
可能な場合は、トップレベルサブドメインから最初の有意なサブドメインまでを含むドメイン部分を返し、それ以外の場合は空文字列を返します。String
例
使用例
SELECT
cutToFirstSignificantSubdomain('https://news.clickhouse.com.tr/'),
cutToFirstSignificantSubdomain('www.tr'),
cutToFirstSignificantSubdomain('tr');
┌─cutToFirstSignificantSubdomain('https://news.clickhouse.com.tr/')─┬─cutToFirstSignificantSubdomain('www.tr')─┬─cutToFirstSignificantSubdomain('tr')─┐
│ clickhouse.com.tr │ tr │ │
└───────────────────────────────────────────────────────────────────┴──────────────────────────────────────────┴──────────────────────────────────────┘
cutToFirstSignificantSubdomainCustom
<!-- <top_level_domains_path>/var/lib/clickhouse/top_level_domains/</top_level_domains_path> -->
<top_level_domains_lists>
<!-- https://publicsuffix.org/list/public_suffix_list.dat -->
<public_suffix_list>public_suffix_list.dat</public_suffix_list>
<!-- 注意: パスは top_level_domains_path の下にあります -->
</top_level_domains_lists>
cutToFirstSignificantSubdomainCustom(url, tld_list_name)
url — 処理する URL またはドメイン文字列。 Stringtld_list_name — ClickHouse で設定したカスタム TLD リストの名前。 const String
戻り値
上位のサブドメインから最初の有意なサブドメインまでを含む、ドメインの一部を返します。 String
例
非標準ドメインでカスタム TLD リストを使用する
SELECT cutToFirstSignificantSubdomainCustom('bar.foo.there-is-no-such-domain', 'public_suffix_list')
foo.there-is-no-such-domain
cutToFirstSignificantSubdomainCustomRFC
<!-- <top_level_domains_path>/var/lib/clickhouse/top_level_domains/</top_level_domains_path> -->
<top_level_domains_lists>
<!-- https://publicsuffix.org/list/public_suffix_list.dat -->
<public_suffix_list>public_suffix_list.dat</public_suffix_list>
<!-- 注意: パスは top_level_domains_path の下に配置します -->
</top_level_domains_lists>
cutToFirstSignificantSubdomainCustomRFC(url, tld_list_name)
url — RFC 3986 に従って処理される URL またはドメイン文字列。 - tld_list_name — ClickHouse で設定したカスタム TLD リストの名前。
戻り値
最初の有意なサブドメインまでのトップレベルサブドメインを含む、ドメインの部分を返します。String
例
使用例
SELECT cutToFirstSignificantSubdomainCustomRFC('www.foo', 'public_suffix_list');
┌─cutToFirstSignificantSubdomainCustomRFC('www.foo', 'public_suffix_list')─────┐
│ www.foo │
└──────────────────────────────────────────────────────────────────────────────┘
cutToFirstSignificantSubdomainCustomWithWWW
www を削除せず、最初の有意なサブドメインまでのトップレベルサブドメインを含むドメイン部分を返します。カスタム TLD リスト名を受け取ります。最新の TLD リストが必要な場合や、カスタム リストを使用している場合に便利です。
設定例
<!-- <top_level_domains_path>/var/lib/clickhouse/top_level_domains/</top_level_domains_path> -->
<top_level_domains_lists>
<!-- https://publicsuffix.org/list/public_suffix_list.dat -->
<public_suffix_list>public_suffix_list.dat</public_suffix_list>
<!-- 注: パスは top_level_domains_path の配下です -->
</top_level_domains_lists>
**Syntax**
```sql
cutToFirstSignificantSubdomainCustomWithWWW(url, tld_list_name)
url — 処理対象の URL またはドメイン文字列。 - tld_list_name — ClickHouse で設定したカスタム TLD リストの名前。
戻り値
www を削除せず、最初の意味のあるサブドメインまでのトップレベルサブドメインを含むドメインの一部。String
例
使用例
SELECT cutToFirstSignificantSubdomainCustomWithWWW('www.foo', 'public_suffix_list');
┌─cutToFirstSignificantSubdomainCustomWithWWW('www.foo', 'public_suffix_list')─┐
│ www.foo │
└──────────────────────────────────────────────────────────────────────────────┘
cutToFirstSignificantSubdomainCustomWithWWWRFC
www を削除せずに、最初の有意なサブドメインまでのトップレベルサブドメインを含むドメイン部分を返します。
カスタム TLD リスト名を受け取ります。
新しい TLD リストが必要な場合や、カスタム リストがある場合に役立ちます。
cutToFirstSignificantSubdomainCustomWithWWW と似ていますが、RFC 3986 に準拠しています。
設定例
{/* <top_level_domains_path>/var/lib/clickhouse/top_level_domains/</top_level_domains_path> */}
<top_level_domains_lists>
{/* https://publicsuffix.org/list/public_suffix_list.dat */}
<public_suffix_list>public_suffix_list.dat</public_suffix_list>
{/* 注意: パスは top_level_domains_path の配下に置いてください */}
</top_level_domains_lists>
**Syntax**
```sql
cutToFirstSignificantSubdomainCustomWithWWWRFC(url, tld_list_name)
url — RFC 3986 に従って処理する URL またはドメイン文字列。 - tld_list_name — ClickHouse で設定したカスタム TLD リストの名前。
戻り値
www を削除せず、上位のサブドメインから最初の有意なサブドメインまでを含むドメイン部分を返します。String
例
カスタム TLD リストを使用して www を保持した RFC 3986 パース
SELECT cutToFirstSignificantSubdomainCustomWithWWWRFC('https://www.subdomain.example.custom', 'public_suffix_list')
cutToFirstSignificantSubdomainRFC
cutToFirstSignificantSubdomain と似ていますが、RFC 3986 に準拠しています。
構文
cutToFirstSignificantSubdomainRFC(url)
url — RFC 3986 に従って処理する URL またはドメイン文字列。String
戻り値
可能であれば、トップレベルサブドメインから最初の有意なサブドメインまでを含むドメイン部分を返します。そうでない場合は空文字列を返します。String
例
使用例
SELECT
cutToFirstSignificantSubdomain('http://user:password@example.com:8080'),
cutToFirstSignificantSubdomainRFC('http://user:password@example.com:8080');
┌─cutToFirstSignificantSubdomain('http://user:password@example.com:8080')─┬─cutToFirstSignificantSubdomainRFC('http://user:password@example.com:8080')─┐
│ │ example.com │
└─────────────────────────────────────────────────────────────────────────┴────────────────────────────────────────────────────────────────────────────┘
cutToFirstSignificantSubdomainWithWWW
cutToFirstSignificantSubdomain と似ていますが、存在する場合は ‘www.’ プレフィックスを保持します。
構文
cutToFirstSignificantSubdomainWithWWW(url)
url — 処理対象の URL またはドメイン文字列。String
戻り値
可能であれば、最初の有意なサブドメインまでのトップレベルサブドメイン (www を含む) を含むドメイン部分を返します。該当しない場合は空文字列を返します。String
例
使用例
SELECT
cutToFirstSignificantSubdomainWithWWW('https://news.clickhouse.com.tr/'),
cutToFirstSignificantSubdomainWithWWW('www.tr'),
cutToFirstSignificantSubdomainWithWWW('tr');
┌─cutToFirstSignificantSubdomainWithWWW('https://news.clickhouse.com.tr/')─┬─cutToFirstSignificantSubdomainWithWWW('www.tr')─┬─cutToFirstSignificantSubdomainWithWWW('tr')─┐
│ clickhouse.com.tr │ www.tr │ │
└──────────────────────────────────────────────────────────────────────────┴─────────────────────────────────────────────────┴─────────────────────────────────────────────┘
cutToFirstSignificantSubdomainWithWWWRFC
www を削除せず、トップレベルサブドメインから「最初の有意なサブドメイン」までを含むドメイン部分を返します。cutToFirstSignificantSubdomainWithWWW に似ていますが、RFC 3986 に準拠しています。
構文
cutToFirstSignificantSubdomainWithWWWRFC(url)
url — RFC 3986 に従って処理する URL またはドメイン文字列。
戻り値
可能であれば、最初の有意なサブドメインまでを含むドメイン部分 (www を含むトップレベルサブドメインを含む) を返します。該当しない場合は、空文字列 String を返します。
例
使用例
SELECT
cutToFirstSignificantSubdomainWithWWW('http:%2F%2Fwwwww.nova@mail.ru/economicheskiy'),
cutToFirstSignificantSubdomainWithWWWRFC('http:%2F%2Fwwwww.nova@mail.ru/economicheskiy');
┌─cutToFirstSignificantSubdomainWithWWW('http:%2F%2Fwwwww.nova@mail.ru/economicheskiy')─┬─cutToFirstSignificantSubdomainWithWWWRFC('http:%2F%2Fwwwww.nova@mail.ru/economicheskiy')─┐
│ │ mail.ru │
└───────────────────────────────────────────────────────────────────────────────────────┴──────────────────────────────────────────────────────────────────────────────────────────┘
name パラメータが含まれている場合は、それを削除します。
この関数は、パラメータ名の文字をエンコードまたはデコードしません。たとえば、Client ID と Client%20ID は別のパラメータ名として扱われます。
構文
cutURLParameter(url, name)
name で指定した URL パラメータを削除した URL。 String
例
使用例
SELECT
cutURLParameter('http://bigmir.net/?a=b&c=d&e=f#g', 'a') AS url_without_a,
cutURLParameter('http://bigmir.net/?a=b&c=d&e=f#g', ['c', 'e']) AS url_without_c_and_e;
┌─url_without_a────────────────┬─url_without_c_and_e──────┐
│ http://bigmir.net/?c=d&e=f#g │ http://bigmir.net/?a=b#g │
└──────────────────────────────┴──────────────────────────┘
www. がある場合は、それを削除します。
構文
引数
戻り値
ドメインから先頭の www. を除去した URL を返します。 String
例
使用例
SELECT cutWWW('http://www.example.com/path?query=value#fragment');
┌─cutWWW('http://www.example.com/path?query=value#fragment')─┐
│ http://example.com/path?query=value#fragment │
└────────────────────────────────────────────────────────────┘
String
例
使用例
SELECT decodeURLComponent('http://127.0.0.1:8123/?query=SELECT%201%3B') AS DecodedURL;
┌─DecodedURL─────────────────────────────┐
│ http://127.0.0.1:8123/?query=SELECT 1; │
└────────────────────────────────────────┘
+ 記号は空白に変換され、パーセントエンコードされた文字はデコードされます。
構文
decodeURLFormComponent(url)
String
例
使用例
SELECT decodeURLFormComponent('http://127.0.0.1:8123/?query=SELECT%201+2%2B3') AS DecodedURL;
┌─DecodedURL────────────────────────────────┐
│ http://127.0.0.1:8123/?query=SELECT 1 2+3 │
└───────────────────────────────────────────┘
String
例
使用例
SELECT domain('svn+ssh://some.svn-hosting.com:80/repo/trunk');
┌─domain('svn+ssh://some.svn-hosting.com:80/repo/trunk')─┐
│ some.svn-hosting.com │
└────────────────────────────────────────────────────────┘
domain に似ていますが、RFC 3986 に準拠しています。
構文
引数
戻り値
入力文字列を URL として解析できる場合はホスト名を返し、そうでない場合は空文字列を返します。String
例
使用例
SELECT
domain('http://user:password@example.com:8080/path?query=value#fragment'),
domainRFC('http://user:password@example.com:8080/path?query=value#fragment');
┌─domain('http://user:password@example.com:8080/path?query=value#fragment')─┬─domainRFC('http://user:password@example.com:8080/path?query=value#fragment')─┐
│ │ example.com │
└───────────────────────────────────────────────────────────────────────────┴──────────────────────────────────────────────────────────────────────────────┘
www. がある場合、それを除いたドメインを返します。
構文
引数
戻り値
入力文字列をURLとして解釈できる場合はドメイン名 (先頭の www. を除く) を返し、そうでない場合は空文字列を返します。String
例
使用例
SELECT domainWithoutWWW('http://paul@www.example.com:80/');
┌─domainWithoutWWW('http://paul@www.example.com:80/')─┐
│ example.com │
└─────────────────────────────────────────────────────┘
www. が付いている場合は、それを除いたドメインを返します。domainWithoutWWW と似ていますが、RFC 3986 に準拠しています。
構文
引数
戻り値
入力文字列をURLとして解析できる場合はドメイン名 (先頭の www. を除く) を返し、そうでない場合は空文字列を返します。String
例
使用例
SELECT
domainWithoutWWW('http://user:password@www.example.com:8080/path?query=value#fragment'),
domainWithoutWWWRFC('http://user:password@www.example.com:8080/path?query=value#fragment');
┌─domainWithoutWWW('http://user:password@www.example.com:8080/path?query=value#fragment')─┬─domainWithoutWWWRFC('http://user:password@www.example.com:8080/path?query=value#fragment')─┐
│ │ example.com │
└─────────────────────────────────────────────────────────────────────────────────────────┴────────────────────────────────────────────────────────────────────────────────────────────┘
String
例
使用例
SELECT encodeURLComponent('http://127.0.0.1:8123/?query=SELECT 1;') AS EncodedURL;
┌─EncodedURL───────────────────────────────────────────────┐
│ http%3A%2F%2F127.0.0.1%3A8123%2F%3Fquery%3DSELECT%201%3B │
└──────────────────────────────────────────────────────────┘
+ 記号に変換され、特殊文字はパーセントエンコードされます。
構文
encodeURLFormComponent(url)
String
例
使用例
SELECT encodeURLFormComponent('http://127.0.0.1:8123/?query=SELECT 1 2+3') AS EncodedURL;
┌─EncodedURL────────────────────────────────────────────────┐
│ http%3A%2F%2F127.0.0.1%3A8123%2F%3Fquery%3DSELECT+1+2%2B3 │
└───────────────────────────────────────────────────────────┘
name パラメータが存在する場合はその値を返し、存在しない場合は空文字列を返します。
この名前のパラメータが複数ある場合は、最初に出現したものが返されます。
この関数は、url 引数内のパラメータが name 引数と同じ方法でエンコードされていることを前提としています。
構文
extractURLParameter(url, name)
String
例
使用例
SELECT extractURLParameter('http://example.com/?param1=value1¶m2=value2', 'param1');
┌─extractURLPa⋯, 'param1')─┐
│ value1 │
└──────────────────────────┘
extractURLParameterNames(url)
Array(String)
例
使用例
SELECT extractURLParameterNames('http://example.com/?param1=value1¶m2=value2');
┌─extractURLPa⋯m2=value2')─┐
│ ['param1','param2'] │
└──────────────────────────┘
name=value 形式の文字列の配列を返します。
値はデコードされません。
Syntax
extractURLParameters(url)
name=value 形式の文字列の配列を返します。 Array(String)
例
使用例
SELECT extractURLParameters('http://example.com/?param1=value1¶m2=value2');
┌─extractURLParame⋯¶m2=value2')─┐
│ ['param1=value1','param2=value2'] │
└───────────────────────────────────┘
firstSignificantSubdomain
firstSignificantSubdomain(url)
SELECT firstSignificantSubdomain('https://news.clickhouse.com/')
firstSignificantSubdomainCustom
firstSignificantSubdomainCustom(url, tld_list_name)
url — サブドメインの抽出元となるURL。 Stringtld_list_name — 設定内のカスタムTLDリストの名前。 String
戻り値
最初の有意なサブドメインを返します。 String
例
基本的な使い方
SELECT firstSignificantSubdomainCustom('https://news.example.com', 'public_suffix_list')
firstSignificantSubdomainCustomRFC
firstSignificantSubdomainCustom と似ていますが、簡略化されたアルゴリズムではなく、RFC 3986 に準拠した URL パースを使用します。
構文
firstSignificantSubdomainCustomRFC(url, tld_list_name)
url — サブドメインを抽出する対象の URL。 Stringtld_list_name — 設定内のカスタム TLD リストの名前。 String
戻り値
最初の有意なサブドメインを返します。 String
例
基本的な使い方
SELECT firstSignificantSubdomainCustomRFC('https://news.example.com', 'public_suffix_list')
firstSignificantSubdomainRFC
firstSignificantSubdomainRFC(url)
String
例
使用例
SELECT fragment('https://clickhouse.com/docs/getting-started/quick-start/cloud#1-create-a-clickhouse-service');
┌─fragment('http⋯ouse-service')─┐
│ 1-create-a-clickhouse-service │
└───────────────────────────────┘
username:password@host:port) を抽出します。
構文
引数
戻り値
指定したURLの username:password@host:port を返します。 String
例
使用例
SELECT netloc('http://paul@www.example.com:80/');
┌─netloc('http⋯e.com:80/')─┐
│ paul@www.example.com:80 │
└──────────────────────────┘
String
例
使用例
SELECT path('https://clickhouse.com/docs/sql-reference/functions/url-functions/?query=value');
┌─path('https://clickhouse.com/en/sql-reference/functions/url-functions/?query=value')─┐
│ /docs/sql-reference/functions/url-functions/ │
└──────────────────────────────────────────────────────────────────────────────────────┘
path と同様ですが、URL のクエリ文字列とフラグメントも含みます。
構文
引数
戻り値
クエリ文字列とフラグメントを含む URL のパスを返します。String
例
使用例
SELECT pathFull('https://clickhouse.com/docs/sql-reference/functions/url-functions/?query=value#section');
┌─pathFull('https://clickhouse.com⋯unctions/?query=value#section')─┐
│ /docs/sql-reference/functions/url-functions/?query=value#section │
└──────────────────────────────────────────────────────────────────┘
default_port を返します。
構文
port(url[, default_port])
url — URL。Stringdefault_port — 任意。返されるデフォルトのポート番号です。デフォルトは 0 です。UInt16
戻り値
URL のポートを返します。URL にポートがない場合、またはバリデーションエラーが発生した場合は、デフォルトのポートを返します。UInt16
例
使用例
SELECT port('https://clickhouse.com:8443/docs'), port('https://clickhouse.com/docs', 443);
┌─port('https://clickhouse.com:8443/docs')─┬─port('https://clickhouse.com/docs', 443)─┐
│ 8443 │ 443 │
└──────────────────────────────────────────┴──────────────────────────────────────────┘
default_port を返します。
port と似ていますが、RFC 3986 に準拠しています。
構文
portRFC(url[, default_port])
url — URL。Stringdefault_port — 任意。返すデフォルトのポート番号です。既定値は 0 です。UInt16
戻り値
URL にポートが含まれない場合、または検証エラーが発生した場合は、ポート番号またはデフォルトのポート番号を返します。UInt16
例
使用例
SELECT port('http://user:password@example.com:8080/'), portRFC('http://user:password@example.com:8080/');
┌─port('http:/⋯com:8080/')─┬─portRFC('htt⋯com:8080/')─┐
│ 0 │ 8080 │
└──────────────────────────┴──────────────────────────┘
String
例
使用例
SELECT protocol('https://clickhouse.com/');
┌─protocol('https://clickhouse.com/')─┐
│ https │
└─────────────────────────────────────┘
#、および # 以降のすべてを除いた文字列を返します。
構文
引数
戻り値
先頭の疑問符とフラグメントを除いたURLのクエリ文字列を返します。String
例
使用例
SELECT queryString('https://clickhouse.com/docs?query=value¶m=123#section');
┌─queryString(⋯3#section')─┐
│ query=value¶m=123 │
└──────────────────────────┘
queryStringAndFragment(url)
String
例
使用例
SELECT queryStringAndFragment('https://clickhouse.com/docs?query=value¶m=123#section');
┌─queryStringAnd⋯=123#section')─┐
│ query=value¶m=123#section │
└───────────────────────────────┘
URL はプロトコルの有無にかかわらず指定できます。
例:svn+ssh://some.svn-hosting.com:80/repo/trunk
some.svn-hosting.com:80/repo/trunk
https://clickhouse.com/time/
String
例
使用例
SELECT topLevelDomain('svn+ssh://www.some.svn-hosting.com:80/repo/trunk');
┌─topLevelDomain('svn+ssh://www.some.svn-hosting.com:80/repo/trunk')─┐
│ com │
└────────────────────────────────────────────────────────────────────┘
topLevelDomainRFC
導入バージョン: v22.10.0
URL からトップレベルドメインを抽出します。
topLevelDomain と似ていますが、RFC 3986 に準拠しています。
構文
引数
戻り値
入力文字列を URL として解析できる場合はドメイン名、それ以外の場合は空文字列。String
例
使用例
SELECT topLevelDomain('http://foo:foo%41bar@foo.com'), topLevelDomainRFC('http://foo:foo%41bar@foo.com');
┌─topLevelDomain('http://foo:foo%41bar@foo.com')─┬─topLevelDomainRFC('http://foo:foo%41bar@foo.com')─┐
│ │ com │
└────────────────────────────────────────────────┴───────────────────────────────────────────────────┘
