このページでは、汎用的なデータ記述言語である XML を主に扱います。
XML の基本をおさえつつ、その Web の世界での活用方法についてご紹介します。
お知らせ
- 12月25日(火)は月曜日の授業を実施する日ですので、この授業はありません。
そんなの初耳、という人は
大学公式ページの学年暦
を確認しましょう。
-
本科目は Java によるプログラミングを含みます。
文字列、入出力ストリーム、クラスライブラリの使い方について、
不安な人は復習しておきましょう。
-
2017年度までの科目「データ記述とXML」(後後期)とは内容に若干の違いがあります。
再履修の人はシラバスを確認しましょう。
テキスト
- データとデータ記述
- XMLの基本
- ストリームとネットワーク接続
- ストリームを用いたファイルの読み込み
- ストリームを用いたWeb上のリソースの取得
- ストリームを用いたデータの送信 [参考]
- 文字列の処理
- XMLの応用例(1) - Feed (RSS/Atom)
- XML文書とDOM
- XMLの応用例(2) - Webサービス
- 参考
総合メディアセンターの授業フォルダに提出してください。
なお、他の人と同じファイルを提出すると 0点以下の点数になります。
- 発表会 (1/8)
- 最終課題の成果物について発表
発表5分(立候補の人は10分まで延長可)、質疑5分程度を予定しています。
なお、発表はアピールポイントに集中して話すことができるため、レポートよりも成果を認められやすい傾向にあります。
- 発表手順
- 学籍番号と名前を述べる。
- プログラムのタイトルを示し、何をするプログラムなのか概要を説明する。
- デモをする。
- プログラムの中で、特にアピールしたい工夫点を述べる。
- 質疑を受ける。
- 発表者は立候補優先 + 当日指名。
- 楽しんで作成した人は、ぜひ披露しましょう。
- プログラムの完成度が低くても、
結果が面白そうだと指名されることがあります。
指名されるか否かと成績は必ずしも一致しません。
- 発表会に参加しないと減点になります。
- 自分のノートパソコンで発表できるように準備をしてきてください。
- 教卓にはアナログRGBとHDMI(標準タイプ)しか端子がありません。
アダプタの必要な人は忘れずに持ってきてください。
- Linux で開発をしている人は外部モニタに表示できるか事前に確認をしてきてください。
ディスプレイドライバのセットアップが必要なことがあります。
表示できない場合は、発表用に環境を Windows に移行しておいてください。
- 最終課題
- 最終課題: 自分の好きなテーマでマッシュアップ
複数のリソースから得られる情報を組み合わせて有益な情報を得る
マッシュアップのプログラムを作成しましょう。
- 複数リソースのうち少なくとも1つはWebサービスまたはフィード(RSS または Atom)にしてください。
HTML を直接扱うと繁雑になりますので、最後の手段と考えてください。
- 提出先: 授業フォルダの最終課題
- 提出期限: 1月5日(土) 22:00
- 最終課題のレポート
上記プログラムのレポート。詳細...
- 課題12
- 最終課題のベータ版
最終課題のプログラムを進めましょう。取得した複数のリソースから必要な情報を取り出し、組み合わせます。
全体が1つのプログラムとして動作するようにしましょう。
- 組み合わせ部分は未完成でもかまいません。
- 提出: プログラムと、更新した plan.txt (変更がなければそのまま)
- 提出先: 授業フォルダの「最終課題ベータ版」
- 提出期限: 次回の前日 18:00
- 課題11
- 最終課題のリソース取得
最終課題のプログラムで利用する複数のリソースを取得するプログラムを作成しましょう。
今回はサーバからのレスポンスを受け取るところまでで、必要な情報を抽出したり組み合わせたりする部分はなくてかまいません。
- 3つ以上のリソースを取得する予定の人でも、今回は2つまででかまいません。
- プログラムは1つ (使用するmainメソッドは1つ)にすることが望ましいのですが、今回はリソースごとに別になっていても可とします。
- 提出: プログラムと、更新した plan.txt (今回取得したリソースが一部の場合はその旨末尾に追記)
- 提出先: 授業フォルダの「最終課題リソース取得」
- 提出期限: 次回の前日 18:00
- 課題10
- 最終課題のプラン
最終課題(上記参照)のプログラムから取得するリソースの候補と、機能(組み合わせかた)の概要を、テキストファイルに記述してください。
- 以下の項目を記載してください。
- プログラムの概要
複数のリソースをどう組み合わせて、どのような機能を実現するのか記述してください。
- 利用するリソースのリスト
各リソース(2つ以上)について以下を記述してください。
- 名前
- 説明
- URL
- 形式: Webサービス | RSS | Atom | HTML | plain text | その他
- 組み合わせの条件(重要): 並び替えや選択の基準を独自にするか、他の情報を使ってフィルタリング等をするものにしてください。
- 例:
- 検索結果の各項目についての情報を別に取得し、それに基づいて順位を並び替え
- ex. オークションを「本棚」で検索し、ヒットした各商品のリンク先ページにある商品説明文から寸法の情報を取り出してソート。
- ex. ヤフオクの検索結果の各商品の標準価格を別のサイトから探し、値下げ率の高いものから表示。
- 複数の検索結果をマージし、独自の基準で並び替え
- ex. ヤフオクの即決の価格と楽天市場の価格をそれぞれ検索し、マージして安い順にソートしたり、相場を比較。
- 更新情報の各項目への反応を twitter から抽出
- ex. 自分の好きなゲーム会社の発売予定のゲーム一覧を取得し、各ゲームの名前を twitter で検索し前評判を分類。
- よくない例:
- サイト上で人が操作すれば同じことができるもの
- オークションの検索結果を安い順に
- ランキングの1位で何かを検索
- 有益な情報と言い難いもの
- 集計間隔が異なるランキングの統合。デイリーランキングとウィークリーランキングの統合など。
- 内容を公表するかもしれませんので、公表してもよい内容にしてください。
- ファイル名: plan.txt
- ファイルの文字コード: シフトJIS (UTF-8ではなく)
- 備考: まだプランの段階ですので、評価対象とはしません。また、後での変更も可能としますので、気軽に考えてかまいません。
- 提出先: 授業フォルダの「最終課題プラン」
- 提出期限: 次回の前日 18:00
- 課題9
- 課題9a: アイテムのリンク先の情報によりアイテムを絞り込むプログラムの作成
課題8aで考えたプログラムを実装しましょう。
課題3,4でWebページを取得するプログラムを作成しましたが、これを改変して、
指定されたWebページから情報を得るメソッドを作成しましょう。
そして、フィードの各item要素についてこのメソッドを呼び出しましょう。
- [参考] 前回授業中に作成していた、アイテムのリンク先に指定された語が出現するか確認するサンプルプログラム:
- メインのクラスのあるファイル名: ItemSearcherUsingLinkedPages.java
- プログラムを構成するすべてのファイルを提出すること。
- 提出先: 授業フォルダの第9回
- 提出期限: 次回の前日 18:00
- 課題8
- 課題8a: アイテムのリンク先の情報によりアイテムを絞り込むプログラムの構想
課題7では description要素の内容を対象に情報の抽出をしましたが、
description要素の内容では情報が不足していることもあります。
そこで、link要素のリンク先(Webページ)の情報を取得して、そこから情報を抽出しましょう。
そして、得られた情報を用いて、フィードのアイテムを絞り込みましょう。
- フィードや絞り込みの条件は任意とします。
- 例: リンク先に検索語を含むアイテムを表示
- どのフィードを使うか、リンク先のどういう情報でアイテムを絞り込むか、説明してください。
- ファイル名: ItemSearcherUsingLinkedPages.txt
- 提出先: 授業フォルダの第8回
- 提出期限: 次回の前日 18:00
- 練習(復習)
- 練習1: アイテムを表すクラスの導入
課題7a,7bでは商品の属性(棚の幅や商品の価格)による絞り込みをしました。商品の属性を扱うのであれば、商品を表すクラスを導入するのが自然です。課題7bでアイテム(商品)を表すクラスを導入しなかった人は、導入してみましょう。また、アイテムは ArrayList に入れて管理しましょう。
- 練習2: Collections によるソート
練習1のリストを、価格の安い順に並び替えましょう。Collections.sort メソッドを利用してください。
- 提出不要です。
- 課題7
- 課題7a: Yahoo!ショッピングで「棚」を検索し、幅65cm未満のものだけを表示するプログラムの作成
説明(description要素)内の、棚の寸法が記述されている部分を正規表現で抜き出しましょう。
- 課題7b: ユーザが入力した検索語で Yahoo!ショッピングを検索し、相場より安い商品を表示するプログラムの作成
検索結果に含まれる各商品の価格の平均値を相場の値とし、その値よりも安い価格の商品だけを表示してください。
- 提出先: 授業フォルダの第7回
- 提出期限: 次回の前日 18:00
- 課題6
- 課題6a: 指定された単語をタイトルに含むアイテムを表示するプログラムの作成 (XPath版)
指定された単語を含む title要素を子に持つitem要素を取り出し、
そのタイトル(title要素)と説明(description要素)を表示するプログラムを作成しましょう。
XPath を用いてください。
- description要素のあるフィードを指定しましょう。
DocumentViewer.java で指定されているフィード
https://news.yahoo.co.jp/pickup/rss.xml
は description要素がないレアなフィードなので、他のものにしましょう。
- ファイル名: ItemSearcherByWordInTitleXPath.java
- 提出先: 授業フォルダの第6回
- 提出期限: 次回の前日 18:00
- 課題5
- 課題5a: 指定された単語をタイトルに含むアイテムを表示するプログラムの作成
フィードの全item要素を取り出し、各item要素の下のtitle要素の内容に指定された単語が含まれているかどうかを確認、含まれていればタイトルとURLを表示するプログラムを作成しましょう。
- DocumentViewer.java を改造する場合は、クラス定義のクラス名だけでなく、
インスタンスを生成する箇所についてもクラス名を変更しましょう。
DocumentViewer viewer = new DocumentViewer();
の部分を以下のようにします。
ItemSearcherByWordInTitle viewer = new ItemSearcherByWordInTitle();
- ファイル名: ItemSearcherByWordInTitle.java
- 提出先: 授業フォルダの第5回
- 提出期限: 次回の前日 18:00
- 課題4
- 課題4a: Webページを取得する ShowFile1.java の変更(2)
Webページを取得し、そのページの見出し(h1～h6要素)の内容を表示するようにしましょう。
正規表現を活用してください。
- h1～h6要素の開始タグと終了タグは同じ行にあると仮定してかまいません。
- h1～h6要素の内容に含まれるタグ(aなど)はそのままでよいことにします。
- ヒント: パターン1つでできてしまいます。
パターン内の抜き出したい箇所を () でくくっておき、
Matcher クラスの find メソッドでマッチングさせ、
マッチした場合に Matcher クラスの group メソッドを使って
() でくくった部分だけを抜き出します。
(「コード例 - リンク先の抽出」参照。
group メソッドの引数に注意)
- ファイル名: ShowHeadingsRegEx.java
- 提出先: 授業フォルダの第4回
- 提出期限: 次回の前日 18:00
- 課題3
- 課題3a: Webページを取得する ShowFile1.java の変更(1)
Webページを取得し、そのページの見出し(h1～h6要素)の内容を表示するようにしましょう。
String クラスのメソッドを活用してください。
- h1～h6要素の開始タグと終了タグは同じ行にあると仮定してかまいません。
- h1～h6要素の内容に含まれるタグ(aなど)はそのままでよいことにします。
- ヒント
- まず h1 だけに対応したプログラムを作成し、それができたら h1～h6 に拡張しましょう。
- 練習として、h1 タグが含まれている行の行全体を表示するプログラムを作成しましょう。
contains メソッドか indexOf メソッドを使います。
文字列 line に対して、文字列 <h1> が含まれているかを尋ねるには
line.contains("<h1>") とします。
- String クラスの indexOf メソッドを利用して開始タグと終了タグの先頭の位置を調べ、
その情報から内容が書かれている位置を求めて、
substring メソッドを利用して抜き出すとよいでしょう。
- 見出しの含まれているWebページでテストしましょう。
- ファイル名: ShowHeadings.java (別解: ShowHeadings2.java)
- 提出先: 授業フォルダの第3回
- 提出期限: 次回の前日 18:00 当日11:10
- 課題2
- 課題2a: 「妥当な」XML文書ファイルの作成
XML文書ファイルを作成しましょう。
記述する対象はなんでもかまいませんが、
意味的に適切な構造を持つようにしてください。
意味的に適切な構造を持つとは、例えば、実世界で階層構造を持つものは、
XMLの構造上も階層構造を持っている、といったことです。
5階層以上の構造を持つようにしてください。
- ファイル名の拡張子は「.xml」としてください。
- 文法的に正しい整形式の文書になっているか、ブラウザで表示させてみるなどして提出前に確認をしてください。
- スキーマを記述する必要はありません。
- 提出先: 授業フォルダの第2回
- 提出期限: 次回の前日 18:00
- 課題1
- 課題1a: JavaによるCSVファイルの生成と Excel によるグラフ化
Java のプログラムにより生成した 2次元もしくは3次元座標の値を csv 形式で保存し、
そのファイルを Excel で読み込んでグラフにしてみましょう。
例えば y = f(x) の x の値の適当な範囲で動かして、その範囲内でグラフ化しましょう。
- 直線 y = 1 みたいなのはつまらないのでやめましょう。
- ファイル名は「Generator.java」「Data.csv」「Graph.xlsx」としてください。
- 提出先: 授業フォルダの第1回
- 提出期限: 次回の前日 18:00
欠席した場合には、速やかに担当者に報告し指示を受けてください。
また後日、事務部指定の用紙による欠席届を提出してください。