オープンデータ・プラットフォーム KYOTO OPEN DATA
•
3 likes•2,083 views
2017/07/06 「オープンデータ・プラットフォームと公民連携シンポジウム」でのセッション
Recommended
More Related Content
What's hot
What's hot (20)
Similar to オープンデータ・プラットフォーム KYOTO OPEN DATA
Similar to オープンデータ・プラットフォーム KYOTO OPEN DATA (20)
More from 惠 紀野
More from 惠 紀野 (14)
オープンデータ・プラットフォーム KYOTO OPEN DATA
- 1. 2017/07/06 1 P オープンデータ・プラットフォーム KYOTO OPEN DATA 2017年7月6日 ANNAI 株式会社
- 2. 2017/07/06 2 P アジェンダ データプラットフォームのトレンドと現状の問題点 KYOTO OPEN DATAのソリューション DKANとは？ 自治体に向けて 開発者に向けて 市民に向けて 今後の課題
- 3. 2017/07/06 3 P データポータルとは 総務省や経産省の旗振りのもと、自治体が保有する様々なデータを「オープンデータ」として広く公開し、 利用を促進する動きが強まっています 「官民データ活用推進基本法」に基づき「官民データ活用推進基本計画」が閣議決定されました。 オープンデータの公開は、一般ユーザー向けのWebプレビュー機能と、エンジニア向けのAPI提供の両方 を備えたオープンデータポータルサイトとして公開することが求められます
- 4. 2017/07/06 4 P • 情報が探しやすいデザインであること • 情報が探しやすい検索のインターフェースを持つこと • ファイルの中身も検索できることが大切！ • ファイルに公開／非公開の権限設定ができること • データのプレビュー機能が充実していること • データがAPI化されていること。 > APIであれば、最新のデータを入手できる > 手動ではなく、プログラムにより自動でデータを入手できる • データの販売機能やソーシャル機能など拡張が自由にできること データプラットフォームに求められること
- 5. 2017/07/06 5 P これらの機能をパッケージした 『データ・ポータル』の オープンソース・ソリューション が 普及してきています
- 6. 2017/07/06 6 P http://ckan.org/ckan • オープンソースのデータカタログエンジン • 世界中でデータポータルが普及するきっかけとなった • すぐに使い出せる簡易性がすばらしい
- 7. 2017/07/06 7 P しかし「ckan」には強い制約が。。 ckanはデザインの自由度が低く、 Extentionを開発しなければデザイン変 更ができません。 ニュースなどの簡単な情報発信するこ ともカスタマイズが必要です ckanの独自カスタマイズはマイナーな フレームワークのため技術的難易度が 高く、セキュリティ面の脆弱性リスク 増大につながります ckanはCMS機能を持たないため、多く の既存オープンデータポータルサイト は、DrupalやWordPress等の外部CMS をckanと並行稼働していますが、運用 とメンテナンスにコストがかかります ckan データカタログ WordPress Drupal CMS メンテナンスコストが倍かかる
- 8. 2017/07/06 8 P 既存ソリューションの限界 各自治体が「５つ星」オープンデータ化を目指していますが、すべてのデータには適用できません ごく一部の「加工処理しやすい形のデータ」だけでもLOD化できれば先進的という状況 「データを共通フォーマットに合わせる」取り組みは、まだまだ緒についたばかり http://www.nikkeibp.co.jp/atcl/tk/PPP/news/012500154/
- 9. 2017/07/06 9 P SPARQL エンドポイントの必要性 LODデータを公開するには、SPARQL（スパークル）エンドポイントを用意する必要があります しかしckanの場合、そのための「データ変換」作業と、別途サーバを立ててのSPARQLエンドポイント構 築が必要で、手間とコストがかかります CKAN + Sparqlのパターンでは、データカタログとSparql Endpointにはデータの関連性がありません。 別のシステムに別のデータが搭載されています。 データ変換が 必要 SPARQL エンドポイント
- 10. 2017/07/06 10 P DKAN データプラットフォーム・ソリューション • Drupalのディストリビューションで、CKANとの機能互換性をもっている。 • CKANの課題を解決し、データポータルとして使いやすい機能を備える。
- 11. 2017/07/06 11 P DKAN の事例
- 28. 2017/07/06 28 P http://www.eboladata.org/ エボラデータポータル（Ebora Open data jam）
- 30. 2017/07/06 30 P http://www3.unog.ch/web/hlcm/inventory/ http://data.code4ikoma.org/ CODE for IKOMA
- 32. 2017/07/06 32 P http://www3.unog.ch/web/hlcm/inventory/ https://data.city.kyoto.lg.jp/ KYOTO OPEN DATA
- 33. 2017/07/06 33 P KYOTO OPEN DATA DKANをもとに拡張したシステム
- 34. 2017/07/06 34 P データプラットフォーム 3 つのユーザー 行政職員 アプリケーション開発者 市民
- 36. 2017/07/06 36 P KYOTO OPEN DATAの特長 ① CMS機能を備えており、ポータルサイトとしての使いやすさを大幅に高められる ② PDF/Excelのファイルを、加工の手間をかけずにそのまま「LOD=五つ星のオープンデータ」として公開 できる dkanは、世界中で高いシェアを持つオープンソースCMS “Drupal 8” をベースに、オープンデータ関連業務に便利な機 能を組み込んだパッケージ＝ディストリビューションです。
- 37. 2017/07/06 37 P CMS機能 基盤となるDrupalは、日本政府CIOポータル、ホワイトハウスやNASAでも利用されている、世界的にポ ピュラーなCMSです PHPベースで、柔軟なデザインカスタマイズが可能なので、オリジナリティのあるサイトデザインを用意 し、一般ユーザーへのユーザビリティを高められます。 https://appel.nasa.gov/https://www.whitehouse.gov/
- 38. 2017/07/06 38 P オープンデータの品質は「５段階評価」 オープンデータ化にあたり、データの利用しやすさ等による５段階の評価があります 各自治体では、最高ランク「５つ星」の形式《 LOD (Linked Open Data) 》での公開が望ましいとされて います（★の数が多いほど、低コストで多くのアプリ＝活用事例が作れる） Excel→CSV→RDF→LODとステップアップするには 所定のフォーマットへの変換等 準備が必要です http://5stardata.info/en/ 「１つ星」 PDF 「２つ星」 Excel 「３つ星」 CSV 「４つ星」 RDF / JSON 「５つ星」 LOD
- 39. 2017/07/06 39 P 《問題》いわゆる「ネ申Excel」問題 しかし、自治体の各部局が保有するデータの形式は、《紙データをスキャンしたPDF》や《見栄え優先で CSV化しにくいExcel》がほとんどで、CSV/RDFへの変換は困難です 各部局にデータの修正やフォーマット統一を依頼することは、大変な負荷となります http://5stardata.info/en/ 高い壁 https://twitter.com/h_okumura/status/793305155932295168 × × ×
- 40. 2017/07/06 40 P KYOTO OPEN DATAによるLOD化の考え方 KYOTO OPEN DATAでは、従来の「1行1レコードとして利用できないとオープンデータとして使えな い」という前提を覆し、「ファイル単位で情報を発見できること」をオープンデータ化のゴールとして再 設定しました これにより、Excel->CSV->RDFに変換するプロセスを省略し、既存ファイルをそのままLOD形式で公開 できます 登録 公開 https://data.city.kyoto.lg.jp/
- 41. 2017/07/06 41 P 1ページ＝1つのLODデータ 考え方のベースは「1ページ＝1つのLODデータ」というとらえ方です（LOD 4つ星の条件 参照解決（コ ンテンツネゴシエーション）を実現しています） 例えばKYOTO OPEN DATAサイトをブラウザで開くとRDFaとしてのWebページ(HTML)が閲覧できます が、同じURLでRDF/JSONなどの形式でもデータを出力・提供しています https://data.city.kyoto.lg.jp/node/14558 https://data.city.kyoto.lg.jp/node/14558.rdf https://data.city.kyoto.lg.jp/node/14558.json
- 42. 2017/07/06 42 P SPARQLエンドポイント KYOTO OPEN DATAページに紐づけたファイルへのリンクは、そのまま（別途加工の手間をかけずに） SPARQLエンドポイントに自動で送り込むことが可能です。規定されたフォーマットでオープンデータを 提供することが容易にできるのです RDFはデータとデータを繋ぐための形式 RDF形式のデータ
- 43. 2017/07/06 43 P ckan互換API もちろん、API利用にも対応。DKANのAPIはckan互換なので、既存のソリューションを再利用すること も問題ありません。
- 45. 2017/07/06 45 P メタデータだけでなく、ファイル内検索も可能 • DKANは、ApacheSolrと連携させることで、全文検索が可能 • メタデータの検索に加え、ファイルの中身もすべて検索することができる PDFやエクセルなどのファイル内コンテンツの中身も検索できる • Drupalのモジュールと連携させることで、管理画面からSolrの設定ができる • ユーザーの検索を補助する、オートコンプリート機能も搭載
- 46. 2017/07/06 46 P データの一括登録補助機能 データポータルのデータセット及びリソースの一括登録を行う機能です。 リソース一括登録用のExcelテンプレートに、DKAN及びリソースに関する情報（メタデータ等も含む）を入 力し、CSVで出力します。 一括登録するリソースファイルを まとめてフォルダに入れておく ①ローカル環境でExcel テンプレートで登録用 データを準備 一括登録対象 リソースファイル リソース一括登録用CSV（Excelテンプレートで作成してCSV出力） ②DKANで CSVファイル を読み込み ③ファイル登録 リソース作成 組織 データセット リソース 実ファイル … 情報統計担当 人口統計 人口統計2015 toukei2015.csv … 情報統計担当 人口統計 人口統計2014 toukei2014.csv … ローカル サーバー
- 47. 2017/07/06 47 P API化のためにIPA共通語彙基盤による変換機能搭載 共通語彙基盤に合致させたAPIを作れるようにするため、表形式データのヘッダ部分をローマ字 に自動変換するためのテーブルを、ポータルサイト上に準備しています。ローマ字の変換を担 当課に任せるのは難しい範囲になると想定されるため、変換表をメンテナンスの担当課で整備 し、自動で変換を行えるようにします。 住所 緯度 経度 address lat lon ・・ ・ 日本語 語彙 住所 address 緯度 lat ・・・ ・・・ 登録時、変換表を元にヘッダを日本語から自動変換します 共通語彙基盤対応表（Web上） データ（リソース） データ（リソース）
- 48. 2017/07/06 48 P Excel to CSV – データ変換支援機能 セル結合やマクロ処理等がなく、CSV加工がしやすい形状のExcelファイルについては、CSV化作業を効率化する ツールを備えています タイトル行の日本語を、経産省・IPAが規定する「共通語彙基盤」の英数字表記に自動置換する機能を使えば、 APIなどでのデータ利用が可能になります。 住所 緯度 経度 … address lat lng … 日本語 語彙 住所 address 緯度 lat 経度 lng 自動変換 データ（リソース） データ（リソース） CSV 共通語彙基盤対応表（Web上）
- 49. 2017/07/06 49 P CSV/Excel to RDF 変換サービス 統計データなどデータそのものをRDF化しやすいものに関しては別途変換を掛けて登録しています SPARQLエンドポイントで取り出しやすいデータに加工が可能です
- 50. 2017/07/06 50 P 自治体Webサイトとのファイルアップロード同期 【オプション】 既存の自治体公式Webサイトにファイルをアップロードしている場合、公式Webサイト側のCMSをカスタ マイズして、KYOTO OPEN DATAと公開データを同期することが可能です KYOTO OPEN DATAが持つAPIに対してメタデータとファイルを送信すれば、普段通り自治体Webサイト を運用するだけで、自動的にオープンデータカタログが構築できます。 公式Webサイト CMS API経由 ファイル同期 組織 データセット リソース 実ファイル … 情報統計担当 人口統計 人口統計2015 toukei2015.csv … 情報統計担当 人口統計 人口統計2014 toukei2014.csv … ファイルアップロード・登録
- 51. 2017/07/06 51 P コミュニティ機能 【オプション】 「五つ星」のオープンデータ提供を実現したら、次はそれを「活用」してもらう段階です Drupalのフォーラム機能を使って市民、自治体、開発者の意見交換 ホワイトハウス請願サイト的な仕組みで市民からNeedsを吸い上げることも https://petitions.whitehouse.gov/
- 52. 2017/07/06 52 P ckan -> KYOTO OPEN DATA マイグレーション【オプション】 既存のckanからKYOTO OPEN DATA への載せ替えも可能 200の組織、6000データリソースを移 行してdkan化を実施しました 【実績】アーバンデータチャレンジ http://udct-data.aigid.jp/ ※現在は、国からG空間情報センターを運営を委託されてい るAIGIDがサポートしています。こちらもフロントのDrupal はANNAIが担当しています。
- 53. 2017/07/06 53 P KYOTO OPEN DATA vs ckan 機能比較表 技術項目 KYOTO OPEN DATA ckan ユーザーの権限情報を自由に追加 ◯ メタデータ項目の新規登録・追加・編集・削除 ◯ データセットの公開期間設定 ◯ リソースの多彩なプレビュー ◎ ◯ リソースを共通語彙基盤に基づく語彙に自動変換 ◯ 共通語彙基盤の語彙の変更時にリソースを一括更新 ◯ 大量データの一括登録・編集・削除に対応 ◯ １つのリソースを複数のデータセットに紐づけることができる ◯ 編集者による掲載申請と、管理者による承認 ◯ 管理者による掲載申請の一括承認 ◯ データリソースファイルのファイル内検索 ◯ 英語メニュー対応 ◯ ◯ ダウンロード数・利用者数などの統計情報 ◯ △ 機能拡張性（ECなどの他機能） ◯ トップページなどのデザインを自由に変更 ◯ レスポンシブ・デザイン ◯ CKAN API互換 ◯ ◯ RDFファイルをSPARQLエンドポイントから提供 △ △ 上記の機能が入ったサイトを１つのサイトで管理・運用 ◯
- 58. 2017/07/06 58 P ファイル内検索 Webサイトからのデータの検索は、DKANに組み込まれたファイル内検索機能を利用し、 PDFやExcelのファイル内検索にも対応しています DKANの機能
- 59. 2017/07/06 59 P • データをダウンロードすると、ある時点でのデータしか取得できないが、APIで取得する ことで常に最新のデータを取得することができる • 手動ではなく、プログラムを通じて自動でデータを取得することができる イラスト出典：http://www.mashery.com/api-management/evolution API 化するメリット
- 60. 2017/07/06 60 P API機能① • DKANは、標準でCKAN互換のAPIを持っています • APIの追加やカスタマイズも非常に簡単。必要フィールドのみのデータ取得も可能。
- 61. 2017/07/06 61 P • APIのクエリ例が表示されるためわかりやすい API機能②
- 63. 2017/07/06 63 P 市民・ユーザー向け 機能 アプリ紹介ページ お問い合わせフォーム DKANのCMS機能を利用した市民向けページ
- 66. 2017/07/06 66 P 開発者向け 欲しいデータを行政へフィードバックするコミュニ ティ フォーラム機能 Code for Xのようなリアルコミュニティ ビジネスに使ってもらいやすいデータ提供 DBPediaなどSPARQL Endpoint間のデータ連携と数 珠つなぎ検索はまだまだこれからの機能
- 68. 2017/07/06 68 P ありがとうございました！ 既存データを加工する手間を最小限に抑えながら、広く市民に利用されるオープンデータ提供を実現。 KYOTO OPEN DATAを利用したオープンデータ化業務の推進、KYOTO OPEN DATAの導入支援・構築に ついては以下の連絡先まで、お気軽にご相談くださいませ。 ANNAI株式会社（アンナイ） E-MAIL support@annai.co.jp URL http://annai.co.jp TEL 050-3754-7111 KYOTO：京都市下京区中堂寺南町134 KRP内 ASTEM8F OSAKA：大阪市北区鶴野町4-A-202 TOKYO：東京都台東区台東1-9-4 松浦ビル5F
- 69. 2017/07/06 69 P ASP提供 これらの特徴を備えたKYOTO OPEN DATAを、ANNAIはクラウドサービス(ASP)としても提供しています 国内でホストされるMicrosoft Azure、Amazon Web Service (AWS) 、GCP (Google）上にシステムを構築。 月額の利用料という形で費用をご負担いただくため、初期費用を抑えることができ、サーバメンテナンス などの負荷からも解放されます
Editor's Notes
- 世界中で使われていて、日本でも、政府・省庁・地方自治体など事例も多い。Python 、PostgreSQL, Python 言語で書かれた オープンソース の webアプリケーションフレームワークである Pylonsフレームワークを使って構築されています。
- DKANは、CKANとの機能互換性を保ちながら、CKANにはない機能を加えつつ、開発されているデータポータルソリューションです。単なるデータカタログエンジンではなく、Drupalのディストリビューションとして作られていますので、CMS機能をもち、さらにDrupalの数あるモジュールを使って自由に拡張することができます。
- データを活用してもらうには、まずどのようなデータがあるのか探しやすいサイトであることが大切です。CKANなどのデータカタログ機能では、メタデータの検索は出来ますが、データ自体の検索はできません。DKANではPDFやエクセルなどのファイルの中身までを含めた、全文検索が可能です。また、検索バーでキーワードを入力すると、文字入力を補完してくれるオートコンプリート機能も搭載しています。
- データを活用してもらうには、まずどのようなデータがあるのか探しやすいサイトであることが大切です。CKANなどのデータカタログ機能では、メタデータの検索は出来ますが、データ自体の検索はできません。DKANではPDFやエクセルなどのファイルの中身までを含めた、全文検索が可能です。また、検索バーでキーワードを入力すると、文字入力を補完してくれるオートコンプリート機能も搭載しています。
- データを活用してもらうには、まずどのようなデータがあるのか探しやすいサイトであることが大切です。CKANなどのデータカタログ機能では、メタデータの検索は出来ますが、データ自体の検索はできません。DKANではPDFやエクセルなどのファイルの中身までを含めた、全文検索が可能です。また、検索バーでキーワードを入力すると、文字入力を補完してくれるオートコンプリート機能も搭載しています。
- データのダウンロードすると、もしデータが更新されても開発者は知ることができます。しかし、APIで取得することで、開発者は何も考えずに、常に最新のデータを取得できます。手動でデータを取得しなくても、プログラムを通じて自動でデータを取得することもできます。
- DKANの採用事例が増えている理由のひとつに、CKAN互換のAPIを持っていることが挙げられます。データが活用されるというのは、開発者にいかに使ってもらえるか、ということになります。APIでデータを取得したり、連携できることはとても大切な機能です。
- DKANなら、APIのクエリ例が表示されるためわかりやすい。Harvesting機能によって、API互換のあるCKANとも連携できる。